Web studio MCODLAB
Azienda
Società a responsabilità limitata
Data Engineer ID: 253
Esperienza lavorativa: Più di 6 anni
Tipo di impiego: Piena occupazione
Istruzione: Più alto
Orario di lavoro: Giornata intera
Responsabilità
Disegnare, creare e mantenere infrastrutture per la raccolta, la conservazione e l'elaborazione dei dati.
Ottimizzare i processi ETL per la gestione efficiente dei grandi dati.
Configurare e monitorare i Data Lakes, i Data Warehouses.
Desenare e mantenere i convogli di dati per garantire la loro integrità e accessibilità.
Operazione con grandi volumi di dati e prestazioni dei sistemi.
Collaborazione con team di analisti e data science per creare soluzioni facili da usare.
Assicurazione della qualità dei dati, configurazione dei sistemi di monitoraggio e allerta
Requisiti
Esperienza di 2 anni come Data Engineer.
Sapere progettare e gestire database (SQL, NoSQL).
Sapere usare strumenti ETL (Airflow, Talend, Apache NiFi).
- Sapere usare i big data (Hadoop, Spark).
Esperienza con piattaforme cloud (AWS, GCP, Azure).
Abilità con i container e l'orchestrazione (Docker, Kubernetes).
Comprensione dei principi di elaborazione e integrazione dei dati in tempo reale (Kafka, RabbitMQ).
Abilità con i sistemi di gestione delle versioni (Git).
Condizioni
Competenze chiave
Processi ETL
Hadoop