DataBricks Data Engineer
Infosys
São Paulo, BrazilPosted about 1 month agoDiscoveredMatch locked
Data and Analytics
Infosys Brasil
está em busca de profissionais com o perfil de
DataBricks Data Engineer (Plataforma/Arquitetura)
para juntar-se ao nosso time.
Qualificações requeridas
Ter pelo entre 2 a 3 anos de experiência como Data Engineer e pelo menos 1 ano atuando com DataBricks. O foco do perfil desta vaga é atuar com Plataforma/Arquitetura com foco: Construir governança, automação e fundações da plataforma Lakehouse.
Requsitos Mandatórios:
- AWS, Databricks, Python, Pyspark, SQL
- PySpark e Python avançados: desenvolvimento de pipelines batch em escala, com testes e boas práticas de engenharia.
- SQL básico e modelagem de dados: transformações complexas, tuning de performance e modelagem relacional/dimensional em contexto de DW.
- Databricks e Delta Lake: jobs, workflows e arquitetura medalhão (bronze, silver, gold) em produção; Delta Live Tables / Lakeflow e Asset Bundles.
- Migração / reconstrução de pipelines ETL: tradução de regras de negócio de ferramentas legadas para Spark (sem lift-and-shift), com ingestão CDC/batch de bancos relacionais.
- Ecossistema AWS: S3, Glue, EMR, Athena, Lambda, DMS e Step Functions.
- Azure Synapse: experiência com o ambiente legado (SQL pools e pipelines) para apoiar a engenharia reversa.
- Qualidade e reconciliação de dados: testes automatizados, DQ gates e comparação legado × novo para aceite de paridade.
- Git e CI/CD aplicados a pipelines de dados.
Requisitos Desejáveis:
- Conhecimento de DataStage (leitura de jobs para engenharia reversa) - diferencial importante.
- Experiência prévia em programas de migração de DW para lakehouse - diferencial.
- Unity Catalog (permissões, lineage) e contratos de dados.
- Vivência em projetos de Data Mesh (domínios, data products, governança federada) - diferencial importante.
- Experiência no mercado financeiro ou de crédito - diferencial importante.
- Observabilidade e monitoramento de plataformas de dados (system tables, métricas de jobs, qualidade de dados).
- FinOps: monitoramento, alocação e otimização de custos em Databricks (DBUs, dimensionamento de clusters, políticas de compute).
- Delta Sharing em cenários cross-company, cross-cloud ou cross-region.
- Especificações abertas de contrato de dados (Open Data Contract Standard, ODPS).
Tipo de trabalho
CLT, Horários flexíveis.
Pacote de benefícios
Vale Transporte, Vale Refeição, Auxílio Creche, Seguro de Vida, Auxílio Funerário, Convênio Médico e Odontológico.
Carreira
Atuação Global em clientes e/ou projetos nacionais e internacionais, possibilidade de movimentação de carreira internacional.
Not included in the source posting: about the role, what you'll do, benefits.
Skills
databrickssqlawspythonazureci-cdetlgitsemspark
Who can apply
The employer didn't state any visa, work authorization, citizenship or clearance requirements in this posting. Confirm with the employer before applying.
Read automatically from the employer's posting text. Always confirm with the employer — requirements can change after a job is published.