Descrição da vaga
Estamos em busca de Engenheiros de Dados Pleno/Sênior para atuar no desenvolvimento, manutenção e otimização de pipelines de dados na plataforma Databricks. A pessoa selecionada trabalhará em conjunto com times de Analytics, Engenharia e Produto para garantir a qualidade, escalabilidade e governança dos dados que sustentam decisões estratégicas da empresa.
Desenvolver e manter pipelines de dados (batch e streaming) utilizando Databricks e Apache Spark.
Projetar e implementar arquiteturas de dados seguindo o padrão Medallion (Bronze, Silver, Gold).
Otimizar a performance de jobs Spark e consultas SQL em larga escala.
Implementar e manter processos de ETL/ELT orquestrados (Databricks Workflows, Airflow etc.).
Garantir a qualidade, consistência e governança dos dados (Unity Catalog, testes de dados).
Colaborar com times de Analytics Engineering, Data Science e Engenharia de Software.
Documentar processos, arquiteturas e decisões técnicas.
Participar de revisões de código e contribuir para boas práticas de engenharia de dados.
Requisitos
Experiência comprovada com Databricks (Notebooks, Jobs, Clusters, Delta Lake)
Sólido conhecimento em Apache Spark (PySpark e/ou Scala)
Experiência com SQL avançado para modelagem e otimização de queries
Conhecimento em Python para desenvolvimento de pipelines de dados
Experiência com arquitetura Medallion (Bronze/Silver/Gold) ou similar
Vivência com ferramentas de orquestração (Airflow, Databricks Workflows, Azure Data Factory ou similar)
Familiaridade com versionamento de código (Git) e práticas de CI/CD
Conhecimento em modelagem de dados (dimensional, normalização)
Experiência com um provedor de cloud (AWS, Azure ou GCP)
Inglês técnico para leitura de documentação
3+ anos de experiência em engenharia de dados
Certificações Databricks (Data Engineer Associate/Professional)
Experiência com Delta Live Tables (DLT)
Conhecimento em Unity Catalog para governança e segurança de dados
Experiência com streaming de dados (Kafka, Structured Streaming)
Vivência com ferramentas de transformação analítica (dbt)
Conhecimento em Infraestrutura como Código (Terraform)
Experiência com testes de qualidade de dados (Great Expectations, dbt tests)
Vivência em ambientes de Machine Learning (MLflow) é um diferencial
Experiência prévia em squads ágeis (Scrum/Kanban)
Conhecimento em ferramentas de observabilidade e monitoramento de pipelines
Conhecimento em D365
Se identificou com essa oportunidade? Então inscreva-se e #VemPraSauter