Самая большая проблема в аналитике потоковых данных - это их получение - быстро, надежно и с приоритетом для анализа с четкой прослеживаемостью.
Cloudera DataFlow (CDF), ранее Hortonworks DataFlow (HDF), представляет собой масштабируемую платформу для аналитики потоковых данных в режиме реального времени, которая принимает, обрабатывает и анализирует данные для получения ключевых аналитических результатов и мгновенных информированных действий.
DataFlow решает ключевые проблемы, с которыми сталкиваются предприятия при работе с потоковыми данными:
- Потоковая передача данных в реальном времени в большом объеме и большом масштабе
- Отслеживание происхождения данных и прослеживание потоковых данных (lineage).
- Управление и мониторинг периферийных устройств и источников потоковых данных
Платформа Cloudera DataFlow (CDF)
В настоящее время, как часть открытой платформы Cloudera для обработки потоковых данных в реальном времени, доступны Cloudera Edge Management, Cloudera Flow Management и Cloudera Stream Processing.
Ключевые преимущества
Сокращение сроков разработки при интеграции данных
Не требует написания кода - построение сложных конвейеров данных с минимальными усилиями. CDF предлагает простой визуальный пользовательский интерфейс для создания сложных потоков данных для выполнения основных операций ввода, преобразования и обогащения данных из различных потоковых источников. Работая на базе Apache NiFi , CDF принимает данные от устройств, корпоративных приложений, партнерских систем и периферийных приложений, генерирующих потоковые данные в реальном времени.
Управление и защита ваших данных от периферии до центра обработки данных предприятия
CDF позволяет собирать большие объемы данных с периферии, даже с периферийных устройств, использующих Minifi. Теперь вы можете легко настроить широко распространенные модели развертывания IoT для локального сбора данных, используя NiFi и Minifi для потоковой передачи данных с периферии. Тесная интеграция с Apache Ranger дает CDF уникальное преимущество бесперебойной защиты всех ваших "данных в движении" и "данных в покое".
Получайте аналитическую информацию в реальном времени быстрее, чем когда-либо
Аналитика и рекомендации в реальном времени означают, что вы можете действовать быстрее. Используя мощную потоковую платформу Apache Kafka, CDF может обрабатывать несколько миллионов сообщений в секунду, идентифицировать ключевые шаблоны, сравнивать их с результатами моделей машинного обучения и предлагать прогнозную или предиктивную аналитику, чтобы помочь руководителям в принятии ключевых решений и использовать все возможности.
Соответствие нормативным требованиям "из коробки"
CDF является единственным продуктом на рынке, предлагающим готовые к развертыванию функции контроля происхождения данных и управления данными от периферии до предприятия. В эпоху GDPR (Общий/Генеральный регламент по защите персональных данных) и других нормативных требований важно отслеживать происхождение данных, в том числе и при потоковой передаче. NiFi в CDF обеспечивает отслеживание происхождения данных без какой-либо дополнительной настройки или конфигурирования. Благодаря тесной интеграции с Apache Atlas вы получаете полное управление данными от периферии до ЦОД предприятия.
Создайте архитектуру данных, которая адаптируется к масштабу IoT
Воспользуйтесь богатыми возможностями аналитики данных IoT
CDF - это технология со 100% открытым исходным кодом, так что вы можете разработать архитектуру, ориентированную на будущее, без какой-либо привязки к конкретному поставщику. Внедрение решений IoT для критически важных сценариев использования в таких отраслях, как автомобилестроение, производство, транспорт, коммунальное хозяйство, розничная торговля и государственный сектор.Вы можете принять стратегию данных для обработки диверсифицированных и больших объемов данных с высокой скоростью.
