Data Contracts: Para o Infinito e Além – Uma Entrevista com Tomer Peleg

À medida que as organizações gerem volumes crescentes de dados, os desafios de comunicação entre equipas tornam-se críticos. Nesta entrevista, Tomer Peleg da Riskified partilha como os data contracts revolucionaram a sua abordagem à gestão de dados. Descobre como esta prática emergente pode reduzir erros, melhorar a confiança nos dados e transformar a colaboração entre equipas técnicas.

#1 Tomer, o que te inspirou a escrever sobre data contracts (contratos de dados)?

Tomer: Na Riskified, lidamos com muita complexidade de dados—múltiplas equipas, alterações rápidas e um número crescente de pipelines. O que percebemos foi que, enquanto estávamos a esforçar-nos para construir toda esta infraestrutura, não tínhamos realmente uma boa forma de definir expectativas claras entre as equipas. Alterações no schema passariam despercebidas, ou problemas de data quality surgiriam demasiado tarde.

Foi então que começámos a explorar data contracts—não como uma buzzword, mas como algo prático que poderíamos implementar para garantir que produtores e consumidores estivessem alinhados. Este artigo do blogue é apenas eu a partilhar o que fizemos e o que aprendemos ao longo do caminho.

#2 Para aqueles que podem ser novos no conceito, podes explicar o que são data contracts?

Tomer: Claro. Pensa num data contract como um acordo entre a equipa que produz os dados e a equipa que os utiliza. Não é apenas sobre o schema—embora isso seja parte dele—mas também coisas como quão recentes os dados devem ser, que tipo de valores esperamos, e o que acontece quando algo muda.

Na Riskified, fizemos destes contracts parte do nosso CI/CD e data catalog. Assim, se alguém quiser alterar um schema ou remover um campo, os consumidores downstream são notificados, e nada é quebrado por surpresa. Trata-se de tornar as expectativas claras e aplicáveis.

#3 Como é que os data contracts beneficiam uma organização como a Riskified?

Tomer: Uma das maiores vantagens é reduzir aqueles momentos de 'oh não' quando algo se quebra e ninguém sabe porquê. Com data contracts, temos um processo claro: as alterações são revistas, as aprovações são rastreadas, e os problemas de data quality acionam alertas automaticamente.

Ajuda-nos a evitar falhas de comunicação entre equipas e torna mais fácil confiar nos dados com que estamos a trabalhar. Também dá às pessoas a confiança de que, se algo correr mal, serão notificadas imediatamente e saberão quem é responsável por corrigir o problema.

#4 Quais são alguns desafios que as empresas podem enfrentar ao implementar data contracts?

Tomer: É principalmente sobre change management. Estás a pedir às pessoas para trabalharem de forma um pouco diferente, e isso pode ser difícil no início. Algumas equipas estão habituadas a mover-se rapidamente e a fazer alterações no schema sem pensar muito nos efeitos downstream. Conseguir buy-in leva tempo, especialmente se o valor não for imediatamente óbvio. O outro desafio está relacionado com as tooling—precisas de construir ou integrar os sistemas certos para validar contracts, rastrear violações e notificar as pessoas certas quando algo se quebra.

#5 O teu blogue descreve vários princípios-chave para data contracts eficazes. Podes partilhar alguns destes princípios?

Tomer: Para nós, uma das maiores coisas foi a clarity. Um contract deve ser fácil de entender—sem pressupostos ocultos. Também adicionámos version control para podermos acompanhar como as coisas evoluem e evitar breaking changes. Outro grande componente foi a automation: se um contract for violado, não queremos depender de alguém para o detetar manualmente. Por isso, integrámos checks nos nossos pipelines e adicionámos notificações através do Slack e PagerDuty. Basicamente, tentámos tornar o mais fácil possível detetar e corrigir problemas precocemente.

#6 Olhando para o futuro, como vês a evolução do papel dos data contracts na indústria?

Tomer: Penso que se tornarão apenas uma parte regular de como as data teams trabalham, um pouco como os testes e o CI são agora parte de qualquer software project. À medida que mais empresas avançam para real-time data e ML-driven decisions, ter contracts claros em vigor será crítico. Não te podes dar ao luxo de ter unexpected changes ou bad data a entrarem nos teus sistemas. Não acho que seja uma trend—é algo que veremos tornar-se standard ao longo do tempo.

#7 Que conselho darias às organizações que começam a implementar data contracts?

Tomer: Não compliques demasiado. Começa em pequena escala—escolhe alguns datasets importantes e define contracts simples para eles. Envolve tanto os produtores como os consumidores desde o início para que não pareça algo que está a ser imposto top-down. E não tenhas como objetivo a perfeição no primeiro dia. O objetivo é reduzir surpresas e melhorar a comunicação, não lock everything down para sempre. Itera, aprende com os incidentes e constrói a partir daí.