Descrição da vaga
Estamos em busca de uma pessoa Machine Learning Engineer Sênior com forte experiência em Databricks e MLflow para liderar a construção de uma nova Feature Store corporativa, atuando com arquitetura, governança, qualidade e escalabilidade para projetos de Machine Learning.
Modelo de Trabalho: Remoto
Principais Responsabilidades:
- Desenvolvimento de Framework Core: Desenvolver componentes modulares e reutilizáveis (Writer, Data Quality, Feature Functions) baseados em boas práticas de engenharia de software, evitando os famosos "Spaghetti Notebooks";
- Garantia de Qualidade e Auditoria: Implementar motores de validação de dados (Data Quality) integrados a ferramentas como Great Expectations ou Delta Expectations, criando lógica de "Gatekeeper" para bloquear dados inconsistentes;
- Modelagem e Persistência Histórica: Desenvolver lógicas avançadas de persistência de dados históricos, incluindo SCD Tipo 2 e Tipo 4, garantindo consistência temporal completa (Point-in-Time Correctness via as-of join);
- Governança e Linhagem: Estruturar o registro de metadados de negócio e técnicos no Unity Catalog (Feature Registry), garantindo consistência semântica e rastreabilidade total integrando com MLflow (FeatureLookup);
- Orquestração e DevOps de Dados: Configurar e orquestrar pipelines de dados complexos e atômicos no Databricks, gerenciando de forma eficiente ambientes (Dev/Prod) e políticas de versionamento/release;
- Foco no Usuário (Discovery & UX): Realizar rodadas de alinhamento com Cientistas de Dados para coletar feedbacks, ajustar escopos técnicos e garantir que a usabilidade da Feature Store atenda às reais necessidades do time de negócios;
- Disseminação de Conhecimento: Liderar a migração de projetos piloto, criar documentações no estilo Self-Service ("Como criar minha primeira Feature") e ministrar workshops práticos (Hands-on) para capacitar o time de Ciência de Dados.
Requisitos
- Experiência sólida e comprovada atuando como Engenheiro(a) de Dados Sênior ou Engenheiro(a) de Machine Learning;
- Domínio avançado do ecossistema Databricks (incluindo Unity Catalog, Delta Tables, Databricks Workflows/Jobs);
- Fortes conhecimentos em frameworks de validação de dados (ex: Great Expectations ou Delta Expectations);
- Sólida experiência com MLflow para gerenciamento do ciclo de vida de modelos e linhagem de features.[;
- Experiência prática com estratégias de versionamento de dados e histórico (SCD Tipo 2 / Tipo 4);
- Proficiência em Python voltado para desenvolvimento de pacotes, classes reutilizáveis e testes unitários independentes;
- Conhecimento em conceitos de governança de dados (Metadados, Catálogo, Linhagem, Controle de Acesso).
Diferenciais:
- Experiência prévia na implementação de Feature Stores do zero (ex: Feast, Databricks Feature Store);
- Familiaridade com taxonomias de transformações complexas (MIT, MDT, ODT);
- Conhecimento da metodologia/lógica de negócio modular E-A-C-TIM.