Descrição da vaga
Engenheiro(a) de Dados Pleno – Big Data / Spark
Sobre a oportunidade
Buscamos um(a) Engenheiro(a) de Dados Pleno para atuar no desenvolvimento, manutenção e otimização de soluções de processamento de dados na plataforma
Client Contribution . O profissional será responsável por construir pipelines escaláveis, garantir a qualidade dos dados e contribuir para a evolução da arquitetura de Big Data em um ambiente ágil e orientado por boas práticas de engenharia.
Desenvolver, manter e otimizar soluções de processamento de dados;
Projetar e desenvolver processos de
ETL
e transformação de dados;
Implementar e manter pipelines utilizando
Apache Spark ;
Apoiar iniciativas de integração de dados entre diferentes sistemas;
Analisar e solucionar incidentes relacionados a dados;
Garantir a qualidade, performance e confiabilidade das soluções de dados;
Trabalhar em conjunto com equipes multidisciplinares em ambiente
Agile .
Requisitos
Mínimo de
3 anos de experiência
em Engenharia de Dados e desenvolvimento;
Conhecimento sólido em
SQL , incluindo:
ANSI SQL;
Hive SQL;
Spark SQL;
Experiência com
Apache Spark ;
Conhecimento em pelo menos uma das seguintes linguagens:
Scala ;
Python ;
Java ;
Experiência com plataformas
Big Data , como:
Azure Databricks ;
Amazon EMR ;
Hive ;
Cloudera ;
ou outro ambiente baseado em Spark;
Experiência com
Qlik Sense
para desenvolvimento de relatórios e dashboards;
Vivência em ambientes de
Integração Contínua (CI) ,
DevOps
e metodologias ágeis;
Conhecimento em ferramentas como:
Git ;
GitHub ;
SonarQube ;
Nexus ;
Capacidade de análise de requisitos e trabalho colaborativo;
Inglês
nível B2 ou superior .
Espanhol nível B2 ou superior.
Diferenciais
Interesse ou experiência no uso de ferramentas de
Inteligência Artificial
aplicadas à Engenharia de Dados;
Conhecimento em automação de processos utilizando IA;
Interesse em utilizar assistentes de desenvolvimento para aumentar produtividade, qualidade do código e eficiência das soluções analíticas.
Condições da posição
Atuação 100% remota ;
É
obrigatória a disponibilidade para mudança futura para Portugal ou Espanha , caso seja necessário por questões de projeto, estratégia da empresa ou requisitos legais;
Enquanto estiver no Brasil, o trabalho será realizado integralmente em regime remoto;
Os currículos deverão ser apresentados em inglês .