Descrição do Perfil

Principais responsabilidadesComo Data Engineer, terás um papel central no desenvolvimento de software e de sistemas distribuídos, aplicando boas práticas de engenharia ao universo dos dados. O teu foco será:Implementar soluções de processamento (Batch e Streaming) onde o desempenho é essencial;Desenhar pipelines de dados e modelos organizacionais que otimizem operações de pesquisa e armazenamento;Garantir a escalabilidade e fiabilidade do software, independentemente do crescimento do volume de dados;Colaborar com engenheiros de plataforma para integrar standards da indústria em soluções de produção;Analisar problemas complexos de manipulação de dados e desenvolver APIs para consultas de dados de alta velocidade.Stacks:Linguagens: Java, Scala ou Python;Frameworks & processamento: Apache Spark, Kafka/Confluent;Cloud: Azure, AWS, or Google Cloud;Storage/Databases: Delta Lake, MongoDB, SQL e NoSQL.