Для большинства команд инженеров данных надежность конвейеров традиционно сводится к реагированию на оповещения, ручному поиску причин сбоев в распределенных кластерах и устранению проблем уже после того, как они нанесли ущерб бизнесу. Появление агентных систем искусственного интеллекта предъявляет новые требования к качеству и своевременности потоков данных: неисправный или работающий с задержками конвейер теперь ставит под угрозу работоспособность всей ИИ-инфраструктуры.
Чикагский стартап Definity предложил принципиально иной подход к управлению данными. Вместо внешнего мониторинга компания предлагает внедрять интеллектуальных агентов непосредственно в драйверы Spark или DBT. Это позволяет системе совершать действия внутри конвейера во время его выполнения, а не после завершения процесса.
Содержание
Инвестиции и результаты внедрения
Компания объявила о привлечении 12 миллионов долларов в рамках раунда финансирования серии A. Лид-инвестором выступил фонд GreatPoint Ventures при участии Dynatrace и текущих инвесторов — StageOne Ventures и Hyde Park Venture Partners.
Первые результаты внедрения технологии демонстрируют высокую эффективность:
- Один из корпоративных клиентов обнаружил 33% потенциальных возможностей для оптимизации уже в первую неделю работы платформы.
- Затраты времени на устранение неполадок и оптимизацию процессов сократились на 70%.
- Скорость решения сложных технических проблем, связанных с платформой Spark, выросла до 10 раз.
Технологическое отличие: работа внутри, а не снаружи
Традиционные инструменты мониторинга, такие как Datadog, Unravel Data или Acceldata, анализируют метрики только после того, как задание полностью выполнено. По мнению представителей Definity, такой подход является реактивным: к моменту обнаружения ошибки вычислительные ресурсы уже потрачены, а некорректные данные могли успеть распространиться по системе.
Архитектура Definity строится на следующих принципах:
- Встраиваемая инструментация: агент JVM (виртуальной машины Java) устанавливается в слой исполнения конвейера с помощью одной строки кода и извлекает данные напрямую из Spark.
- Контекст выполнения: в процессе работы агент отслеживает использование памяти, структуру запросов, распределение данных и нагрузку на оборудование, динамически выстраивая связи между таблицами без необходимости в предварительном каталогизировании.
- Активное вмешательство: система способна изменять распределение ресурсов в режиме реального времени, останавливать выполнение при выявлении некорректных данных или предотвращать запуск новых задач, если входные таблицы оказались неактуальными.
Опыт эксплуатации в корпоративной среде
Ранним пользователем решения стала компания Nexxen, специализирующаяся на рекламных технологиях. В условиях эксплуатации собственных серверов без возможности мгновенного масштабирования облачных ресурсов, повышение эффективности стало критически важной задачей.
Внедрение платформы Definity позволило Nexxen перевести управление данными из режима реагирования на инциденты в режим постоянной проактивной оптимизации. Команда смогла высвободить дополнительные мощности инфраструктуры, что позволило масштабировать нагрузку без необходимости закупки нового оборудования. Эксперты отмечают, что при работе в крупных масштабах главной проблемой становится не отсутствие инструментов мониторинга, а нехватка наглядности, позволяющей принимать взвешенные инженерные решения.
Значение для будущего ИИ-инфраструктуры
Для команд, работающих со средами Spark, переход к интеллектуальному управлению данными внутри конвейера имеет долгосрочные последствия:
- Управление конвейерами становится ключевой частью ИИ-инфраструктуры. Поскольку потоки данных теперь обеспечивают работу критически важных систем ИИ, любые сбои напрямую влияют на бизнес-результаты.
- Сокращение времени на отладку позволяет инженерам перераспределить ресурсы в пользу разработки новых продуктов.
- Автоматизация рутинных задач оптимизации становится необходимым условием для работы в условиях ограниченных вычислительных ресурсов.
