Data Engineer DATABRICKS
Responsabilità: Progettare, sviluppare e mantenere pipeline di ingestione e trasformazione dati utilizzando Databricks. Implementare processi ETL/ELT per integrare dati provenienti da diverse fonti. Ottimizzare performance e costi delle pipeline dati in ambiente cloud. Collaborare con Data Scientist, Data Analyst e team di sviluppo per rendere i dati disponibili e affidabili. Gestire e monitorare workflow di elaborazione dati. Garantire data quality, sicurezza e governance dei dati . Supportare attività di troubleshooting e miglioramento continuo delle soluzioni dati. Requisiti: 3–5 anni di esperienza come Data Engineer o ruolo simile. Esperienza pratica con Databricks (Spark, notebooks, job orchestration). Ottima conoscenza di Python e/o Scala . Esperienza con Apache Spark e processamento di grandi volumi di dati. Buona conoscenza di SQL e modellazione dati. Esperienza con pipeline ETL/ELT e data ingestion. Familiarità con ambienti cloud (Azure, AWS o GCP). Conoscenza di strumenti di versioning (es. Git). Nice to Have: Esperienza con Delta Lake . Conoscenza di strumenti di orchestrazione (es. Airflow, Azure Data Factory). Esperienza con Data Lake / Lakehouse architecture . Competenze di CI/CD per pipeline dati .