ML Cloud – перша національна платформа для AI/ML
Створення та запуск хмарної AI/ML-платформи у партнерстві з De Novo
Наша команда інженерів зібрала в одному продукті найпопулярніші інструменти ШІ інженерів, зручний білінг та супровід в реалізації ШІ/ML проектів, від Proof of Concept (PoC) до Production. ДеНово надає ресурси для PoC та ціни значно нижче інтернаціональних гіперскейлерів. Ми ведемо клієнтів від ідеї і бізнес аналізу до реалізації.
Платформа доступна для розгортання в середині організацій та в інших датацентрах. Можливі різні методи обмежання доступу до датасетів для навчання моделей третіх сторін.
Наш клієнт
De Novo – провідний український провайдер хмарних сервісів, перший національний оператор хмари (працює з 2008 року), що надає послуги IaaS, BaaS/DRaaS, Kubernetes-as-a-Service тощо. Метою De Novo було створити в Україні захищену високопродуктивну платформу для задач штучного інтелекту та машинного навчання (AI/ML) з використанням передового обладнання NVIDIA та програмних інструментів MLOps.
Цінність співпраці
Альянс De Novo та MK Consulting дозволив запустити ML Cloud – перший в Україні хмарний сервіс для виконання задач машинного навчання та AI. Багаторічний досвід De Novo у хмарних технологіях та експертиза MK Consulting у побудові AI-моделей дали змогу створити сервіс промислового рівня, орієнтований на українських споживачів. Рішення повністю розгорнуте в українському дата-центрі De Novo, що гарантує зберігання і обробку даних в межах України та відповідність національним вимогам безпеки інформації. Для замовників це означає можливість використовувати потужності AI/ML без ризиків для суверенітету даних і з повною відповідністю регуляторним вимогам.
Характеристики
1
AI/ML-платформа в Україні
2
нижча вартість послуг у порівнянні з гіперскейлерами
100
даних обробляються в межах України
5
інтегрованих MLOps-інструментів (Kubeflow, MLFlow, MinIO, CVAT, Grafana)
Технології
Ілюстрація: Архітектура платформи ML Cloud, що об’єднує інфраструктурні компоненти (GPU, віртуалізація) та програмні інструменти для повного циклу ML-Ops. На діаграмі показано інтеграцію відкритих рішень: Kubeflow (ноутбуки, конвеєри, сервіси розгортання моделей), MLFlow (відстеження експериментів), MinIO (об’єктне сховище даних), CVAT/Doccano (розмітка даних), а також інструменти для масштабування та моніторингу (Ray, Feast, Redis, Grafana).
ML Cloud – перша AI/ML хмара України
Замовник
ТОВ «De Novo» (Україна)
Період надання послуг
2023 – 2024 рр. розробка та запуск платформи; подальша технічна підтримка – дотепер
Мета
• Створити першу в Україні хмарну платформу для інженерів з AI/ML, яка забезпечить готове до роботи середовище з усім необхідним програмним забезпеченням та обчислювальними ресурсами для повного циклу робіт з ML.
• Реалізувати високопродуктивну інфраструктуру на базі новітніх GPU NVIDIA (H100, L40S), здатну прискорювати тренування моделей та виконання AI-завдань до рівня світових стандартів продуктивності.
• Гарантувати суверенність даних та безпеку: платформа має розміщуватися в надійному українському дата-центрі, відповідати вимогам ДСТЗІ, щоб державні та приватні організації могли обробляти чутливі дані без передачі за кордон.
• Забезпечити оптимізацію витрат на AI/ML інфраструктуру – запропонувати тарифи значно нижчі за глобальні хмарні платформи (hyperscalers) при повній прозорості та прогнозованості цін.
• Знизити порог входження в AI/ML для українських компаній і держсектору – спростити розгортання ML-рішень за рахунок готової платформи, підтримки мульті-GPU сценаріїв та інтеграції з популярними ML-фреймворками.
Результати
• Запуск платформи ML Cloud: розроблено та впроваджено перший в Україні хмарний сервіс для задач штучного інтелекту та машинного навчання, доступний як у публічному багатокористувацькому, так і приватному хмарному режимах. Платформа поєднала найпотужніші GPU NVIDIA з інтегрованим стеком віртуалізації VMware та контейнеризації Kubernetes, що гарантує високу продуктивність та масштабованість рішення.
• Готове MLOps-середовище: користувачі ML Cloud отримують повністю налаштоване середовище з набором популярних open-source інструментів – Kubeflow (для керування життєвим циклом ML, від експериментів до продакшену), MLFlow (відстеження експериментів, метрик, моделей), MinIO (локальне об’єктне сховище даних, сумісне з S3), CVAT/Doccano (інструменти розмітки даних), Grafana (моніторинг) тощо. Це дозволяє інженерам швидко розпочати роботу без витрат часу на розгортання інфраструктури.
• Висока продуктивність та масштабування: Завдяки використанню GPU NVIDIA H100 та L40S платформа забезпечує обчислювальну потужність, недосяжну раніше для більшості локальних рішень. Підтримується динамічна масштабованість ресурсів (в тому числі розподілене навчання моделей на декількох GPU), що дає змогу запускати великі моделі та паралельні експерименти.
• Економія витрат: Вартість користування ML Cloud суттєво нижча за аналогічні пропозиції глобальних провайдерів хмарних GPU. За рахунок оптимізації інфраструктури та партнерства з NVIDIA, вдалося досягти зниження цін до 2 разів при повній прогнозованості – фіксовані тарифи у гривні без прив’язки до валютних курсів. Це робить передові AI-ресурси фінансово доступнішими для українських замовників.
• Пілотні проекти на ML Cloud: На базі платформи вже реалізовано кілька інноваційних AI-рішень. Зокрема, Міністерство молоді та спорту запустило AI-асистента для аналізу заявок на конкурси, який повністю працює на інфраструктурі ML Cloud (усі обчислення виконуються в дата-центрі De Novo). Це перший випадок використання великих мовних моделей (LLM) у державних системах України – рішення було розроблено за експертної підтримки MK Consulting і стало показовим кейсом успішного застосування ML Cloud у держсекторі. Цей та інші проекти підтвердили ефективність платформи: скоротився час впровадження AI-сервісів (пілот з LLM реалізовано за ~3,5 місяці), забезпечена вимога щодо невиходу даних за межі країни, досягнуто високої якості моделей для українськомовних даних.
• Прецедент для масштабування AI-рішень: Успішний запуск ML Cloud та перші реалізовані кейси створили важливий прецедент для розвитку суверенних AI-рішень в Україні. Платформу можна адаптувати під інші дата-центри та організації; MK Consulting і De Novo вже опрацьовують можливості розгортання ML Cloud для інших державних та комерційних замовників, що прагнуть використовувати AI/ML на власних умовах без залежності від іноземних хмарних сервісів.
Виконані роботи
• Проектування архітектури платформи: вибір оптимального поєднання апаратних (GPU) та програмних компонентів, розробка інфраструктури віртуалізації і контейнеризації для підтримки задач AI/ML.
• Розробка та розгортання хмарного середовища: налаштування кластерів VMware vSphere та Kubernetes (Tanzu Kubernetes Grid), інтеграція програмного забезпечення NVIDIA AI Enterprise для віртуалізації GPU, впровадження систем оркестрації контейнерів та керування навантаженнями.
• Інтеграція MLOps-інструментів: встановлення і конфігурація платформ Kubeflow (ноутбуки, конвеєри, сервіси розгортання моделей), MLFlow (відстеження експериментів, управління моделями), MinIO (сховище даних), систем для розмітки даних (CVAT, Doccano) та моніторингу (Grafana, Prometheus).
• Тестування продуктивності та надійності: проведення навантажувального тестування платформи на типових ML-завданнях, оптимізація під багатогопроцесорні обчислення, перевірка відмовостійкості та безпеки рішення.
• Передача знань і запуск експлуатації: підготовка документації та тренінгів для команди De Novo щодо підтримки ML Cloud, спільний запуск сервісу у промислову експлуатацію.
• Супровід та розвиток: постійна технічна підтримка платформи, моніторинг та оновлення компонентів; консалтинг і допомога замовникам (державним і корпоративним) у впровадженні їхніх ML/AI-проектів на базі ML Cloud (від адаптації моделей до оптимізації споживання ресурсів). Це забезпечує успішний запуск нових AI-сервісів “під ключ” та максимальну віддачу від використання платформи.
