Web studio MCODLAB
Бизнес
Товарищество с ограниченной ответственностью
Data Engineer (Инженер по данным) ID: 253
Опыт работы: Более 6 лет
Тип занятости: Полная занятость
Образование: Высшее
График работы: Полный день
Обязанности
Проектирование, создание и поддержка инфраструктуры для сбора, хранения и обработки данных.
Оптимизация ETL процессов для эффективной обработки больших данных.
Настройка и мониторинг хранилищ данных (Data Lakes, Data Warehouses).
Разработка и поддержка конвейеров данных для обеспечения их целостности и доступности.
Работа с большими объемами данных и обеспечение высокой производительности систем.
Сотрудничество с командами аналитиков и data science для создания удобных в использовании решений.
Обеспечение качества данных, настройка систем мониторинга и алертинга
Требования
Опыт работы в роли Data Engineer от 2 лет.
Глубокие знания в области проектирования и управления базами данных (SQL, NoSQL).
Опыт работы с инструментами ETL (Airflow, Talend, Apache NiFi).
Опыт работы с большими данными (Hadoop, Spark).
Опыт работы с облачными платформами (AWS, GCP, Azure).
Навыки работы с контейнерами и оркестрацией (Docker, Kubernetes).
Понимание принципов обработки и интеграции данных в реальном времени (Kafka, RabbitMQ).
Умение работать с системами управления версиями (Git).
Условия
Работа в ведущей технологической компании с инновационными проектами.
Возможность работать в гибком графике и удаленно.
Конкурентная заработная плата и бонусы по результатам работы.
Возможности для профессионального роста и сертификаций.
Участие в международных проектах и работа с крупными заказчиками.
Доступ к передовым технологиям и оборудованию.
Ключевые навыки
ETL процессы
Hadoop