DataOps/DevOps (КШ)

Технологический стек:

- MLOps & Experiment Tracking: MLflow, ClearML, DVC, Rerun;

- Data Management & Storage: LakeFS, MinIO, DuckDB, PostgreSQL;

- Orchestration & Scheduling: Apache Airflow 2, Kubernetes, Docker;

- Visualization & BI: Apache Superset, Grafana, Prometheus;

- Development & Research Environment: JupyterHub, Conan, NVIDIA Isaac Sim/Lab, Mujoco, Llama.

- Настройка мониторинга, бэкапов, безопасности;

- Обучение команды работе с инфраструктурой;

- Поддержка и масштабирование;

- Поддержка и развитие инфраструктуры обработки данных с роботов;

- Написание DAG'ов;

- Оптимизация SQL-запросов к Data Lake;

- Создание дашбордов в Superset.

Опыт в MLOps и управлении экспериментами:

- Глубокие знания MLflow или ClearML для трекинга экспериментов и управления реестром моделей;

- Опыт работы с DVC для версионирования данных.

Работа с данными и хранилищами:

- Опыт работы с объектными хранилищами (MinIO
/ S3);

- Опыт построения Data Lake решений с использованием LakeFS3.

Оркестрация и инфраструктура:

- Экспертные знания Kubernetes;

- Уверенное владение Docker и написание оптимизированных образов.

Мониторинг и BI:

- Настройка мониторинга системы и инфраструктуры: Prometheus +
Grafana.

Python (продвинутый уровень):

- Опыт написания production-кода, понимание особенностей работы с большими данными (эффективность операций, например, сложность append и альтернативы);

- Уверенная работа с библиотеками: pyarrow (создание/чтение таблиц, партицирование), duckdb (встраиваемый SQL-движок);

- Опыт использования многопроцессности (multiprocessing, concurrent.futures) для параллельной обработки данных.

SQL (средний уровень):

- Умение писать аналитические запросы (агрегации, оконные функции);

- Понимание разницы между DuckDB и Pandas для аналитических задач.

Apache Airflow:

- Понимание архитектуры Airflow: DAG, операторы (Python, Bash, Docker), XCom;

- Практический опыт написания DAG'ов для ETL-процессов;

- Понимание, зачем используется Airflow.

Docker и контейнеризация:

- Уверенное владение Docker CLI: inspect, system, ps, rm, exec и другими командами для диагностики;

- Знание docker compose: чтение и написание конфигураций, добавление новых сервисов, работа с сетями и томами;

- Навыки отладки внутри контейнеров (просмотр логов, проверка состояния файловой системы, запуск вспомогательных команд).

Хранение данных и форматы:

- Опыт работы с объектными хранилищами, совместимыми с S3 (MinIO или аналоги);

- Понимание, зачем используется Parquet (колоночное хранение, сжатие, эффективность запросов) и его преимущества перед построчными форматами.

Визуализация данных (Apache Superset):

- Готовность заниматься рутинной работой по созданию и поддержке дашбордов;

- Понимание структуры Superset: виртуальные датасеты, SQL Lab 7.