Web studio MCODLAB
사업
유한 책임 파트너십
데이터 엔지니어 ID: 253
경력: 6년 이상
고용 유형: 완전고용
학력: 더 높은
근무 일정: 하루 종일
업무 내용
데이터 수집, 저장 및 처리 기반 시설을 설계, 구축 및 지원합니다.
대량의 데이터를 효율적으로 처리하기 위해 ETL 프로세스를 최적화합니다.
데이터 호수, 데이터 웨어하우스 (Data Lakes, Data Warehouses) 를 설정 및 모니터링합니다.
데이터 통합 및 접근성을 보장하기 위해 데이터 컨베이어 개발 및 지원을 제공합니다.
대량의 데이터와 함께 작업하고 시스템 성능을 높이는 것.
이용하기 쉬운 솔루션을 만들기 위해 분석가와 데이터 과학 팀과 협력하는 것.
데이터 품질을 보장하고 모니터링 및 알레팅 시스템을 설정하는 것
요구 사항
2년 이상의 데이터 엔지니어로서의 경험.
데이터베이스 설계 및 관리 (SQL, NoSQL) 에 대한 깊은 지식.
ETL (Airflow, Talend, Apache NiFi) 도구와 작업 경험.
빅 데이터 (Hadoop, Spark) 에 대한 경험.
클라우드 플랫폼 (AWS, GCP, Azure) 에 대한 경험.
컨테이너와 오케스트레이션 (Docker, Kubernetes) 에 대한 기술.
실제 데이터 처리 및 통합의 원칙을 이해 (Kafka, RabbitMQ).
버전 관리 시스템 (Git) 과 작업할 수 있습니다.
조건
혁신적인 프로젝트를 가진 선도적인 기술 회사에서 일합니다.
유연하고 원격으로 일할 수 있습니다.
경쟁력 있는 연봉과 보너스.
직업성장과 자격증의 기회.
국제 프로젝트 참여 및 대기업과 작업.
최첨단 기술과 장비에 접근할 수 있습니다.
핵심 기술
ETL 프로세스
Hadoop