English
Тугдуал Гралл, MapR
30 октября 2016
3 часа
Мастер-класс читается на английском языке
Требуется отдельная регистрация
Если раньше с большими данными в виде временных рядов справлялись просто периодическим удалением логов, то теперь в чаще решается задача по их оперативному хранению и потоковой обработке. Такая задача актуальна во многих областях – в телекоме, банкинге, IoT. Данный воркшоп будет хорошим стартом в правильном понимании темы распределенных вычислений и обработки временных рядов.
Основная цель воркшопа – изучить построение распределенной, надежной и масштабируемой системы сбора и и обработки большого (очень большого) объема разнородных данных в режиме реального времени с использованием технологий Apache Spark, Kafka API и Apache HBase.
Участники будут использовать Scala и Java для работы с упражнениями, нацеленными на понимание особенностей Spark Streaming для обработки непрерывных потоков данных, полученных из таких источников, как Apache Kafka, сокеты или файлы и хранения обработанных данных в HBase.
Дополнительная информация
https://www.mapr.com/services/mapr-academy/big-data-hadoop-online-training
https://www.mapr.com/blog/getting-started-sample-programs-apache-kafka-09
https://www.mapr.com/blog/getting-started-sample-programs-mapr-streams
https://www.mapr.com/blog/high-speed-kafka-api-publish-subscribe-streaming-architecture-how-works-message-level
https://www.mapr.com/blog/spark-streaming-hbase
https://www.mapr.com/blog/guidelines-hbase-schema-design
NB!
Участники должны иметь при себе ноутбуки с доступом в интернет (wifi будет доступен) и следующим ПО:
- JDK 8
- Git
- Maven 3.x or later
- Virtual Box
О ведущих мастер-класса
Тугдуал Гралл
Technical Evangelist, MapR
Тугдуал Гралл – технический евангелист в MapR. Консультирует разработчиков и предпринимателей по процессу внедрения технологий больших данных. Эксперт в области больших данных и Spark. Часто выступает в качестве спикера на конференциях, посвященных большим данным. Увлекается дизайном архитектуры приложений, созданием новых продуктов и аналитикой в области больших данных. В течение последних 20 лет Тугдуал успешно провел внедрение и развитие нескольких инновационных продуктов, начиная с этапа создания концепции до релиза продукта. Ранее занимал позицию технического директора eXo, отработав в Oracle 9 лет. Работал также в нескольких высокотехнологичных компаниях как директор по развитию нового продукта.
Кристал Валентайн
VP Technology Strategy, MapR
Кристал Валентайн – вице-президент по технологическим стратегиям в MapR, компании в Силиконовой долине, занимающейся Big Data. Кристал обладает обширным опытом исследований и практической работы с большими данными. До прихода в MapR она была профессором информатики в Amherst College.
Является автором нескольких научных публикаций в области алгоритмов, высокопроизводительных вычислений и вычислительной биологии, имеет патент в области Экстремальной виртуальной памяти. Как бывший консультант в Ab Initio Software работает с компаниями Fortune 500 в разработке и реализации высокой пропускной способности критически важных приложений, а также в качестве технологического эксперта консультирует фондовых инвесторов, ориентированных на технологии, имеет значительный опыт в крупном бизнесе компьютерной индустрии.
Др. Валентайн получила докторскую степень в области компьютерных наук в Brown University и являлась стипендиатом программы Fulbright в Италии.
LinkedIn: https://www.linkedin.com/in/crystal-valentine-29003a53
Comment