O grande desafio da observabilidade de dados: construir confiança em escala

O custo da limpeza de dados geralmente está além da zona de conforto das empresas inundadas com dados potencialmente sujos. Isso obstrui os caminhos para o fluxo de dados corporativos confiáveis ​​e em conformidade.

Poucas empresas têm os recursos necessários para desenvolver ferramentas para desafios como observabilidade de dados em escala, de acordo com Kyle Kirwan, cofundador e CEO da plataforma de observabilidade de dados Bigeye . Como resultado, muitas empresas estão essencialmente voando às cegas, reagindo quando algo dá errado, em vez de abordar proativamente a qualidade dos dados.

A confiança de dados fornece uma estrutura legal para gerenciar dados compartilhados. Promove a colaboração por meio de regras comuns de segurança, privacidade e confidencialidade de dados; e permite que as organizações conectem com segurança suas fontes de dados em um repositório de dados compartilhado.

Bigeye reúne engenheiros de dados, analistas, cientistas e partes interessadas para criar confiança nos dados. Sua plataforma ajuda as empresas a automatizar o monitoramento e a detecção de anomalias e criar SLAs para garantir a qualidade dos dados e pipelines confiáveis.

Com acesso completo à API, uma interface amigável e personalização automatizada e flexível, as equipes de dados podem monitorar a qualidade, detectar e resolver problemas de forma proativa e garantir que todos os usuários possam confiar nos dados.

Experiência de dados Uber

Dois primeiros membros da equipe de dados da Uber – Kirwan e Bigeye Cofundador e CTO Egor Gryaznov – decidiram usar o que aprenderam construindo a escala da Uber para criar ferramentas SaaS mais fáceis de implantar para engenheiros de dados.

Kirwan foi um dos primeiros cientistas de dados da Uber e o primeiro gerente de produtos de metadados. Gryaznov era um engenheiro de nível de equipe que gerenciava o data warehouse Vertica da Uber e desenvolveu várias ferramentas e estruturas internas de engenharia de dados.

Eles perceberam as ferramentas que suas equipes estavam construindo para gerenciar o enorme data lake da Uber e milhares de usuários de dados internos estavam muito à frente do que estava disponível para a maioria das equipes de engenharia de dados.

Monitorar e detectar automaticamente problemas de confiabilidade em milhares de tabelas em data warehouses não é tarefa fácil. Empresas como Instacart, Udacity, Docker e Clubhouse usam o Bigeye para manter suas análises e aprendizado de máquina funcionando continuamente.

Um campo em crescimento

Fundando a Bigeye em 2019, eles reconheceram o crescente problema que as empresas enfrentam na implantação de dados em casos de uso de alto ROI, como fluxos de trabalho de operações, produtos e serviços com aprendizado de máquina e análise estratégica e tomada de decisões orientadas por business intelligence.

O espaço de observabilidade de dados viu vários participantes em 2021. Bigeye se separou desse pacote, fornecendo aos usuários a capacidade de avaliar automaticamente a qualidade dos dados do cliente com mais de 70 métricas exclusivas de qualidade de dados.

Essas métricas são treinadas com milhares de modelos separados de detecção de anomalias para garantir que problemas de qualidade de dados — mesmo os mais difíceis de detectar — nunca passem pelos engenheiros de dados.

No ano passado, a observabilidade de dados entrou em cena com nada menos que dez startups de observabilidade de dados anunciando rodadas de financiamento significativas.

Este ano, a observabilidade dos dados se tornará uma prioridade para as equipes de dados, pois elas buscam equilibrar a demanda de gerenciamento de plataformas complexas com a necessidade de garantir a qualidade dos dados e a confiabilidade do pipeline, previu Kirwan.

Resumo da solução

A plataforma de dados do Bigeye não está mais na versão beta. Alguns recursos de nível empresarial ainda estão no roteiro, como controle de acesso completo baseado em função. Mas outras, como implantações de SSO e in-VPC, estão disponíveis hoje.

O aplicativo é de código fechado, assim como os modelos proprietários usados ​​para detecção de anomalias. Bigeye é um grande fã de opções de código aberto, mas decidiu desenvolver o seu próprio para atingir as metas de desempenho definidas internamente.

O aprendizado de máquina é usado em alguns locais importantes para trazer uma combinação exclusiva de métricas para cada tabela nas fontes de dados conectadas de um cliente. Os modelos de detecção de anomalias são treinados em cada uma dessas métricas para detectar comportamentos anormais.

Três recursos integrados no final de 2021 detectam e alertam automaticamente sobre problemas de qualidade de dados e habilitam SLAs de qualidade de dados.

O primeiro, Deltas, facilita a comparação e validação de várias versões de qualquer conjunto de dados.

Os problemas, o segundo, reúnem vários alertas em uma única linha do tempo com contexto valioso sobre problemas relacionados. Isso torna mais simples documentar correções anteriores e acelerar as resoluções.

O terceiro, Dashboard, fornece uma visão geral da integridade dos dados, ajudando a identificar pontos de acesso de qualidade de dados, fechar lacunas na cobertura de monitoramento e quantificar as melhorias de confiabilidade de uma equipe.

De olho nos data warehouses

A TechNewsWorld conversou com Kirwan para desmistificar algumas das complexidades que a plataforma de detecção de dados de sua empresa oferece aos cientistas de dados.

TechNewsWorld: O que torna a abordagem de Bigeye inovadora ou de ponta?

Kyle Kirwan Bigeye Cofundador e CEO
Kyle Kirwan, cofundador e CEO da Bigeye

Kyle Kirwan: A observabilidade de dados requer conhecimento constante e completo do que está acontecendo dentro de todas as tabelas e pipelines em sua pilha de dados. É semelhante ao que as equipes de SRE [engenharia de confiabilidade do site] e DevOps usam para manter os aplicativos e a infraestrutura funcionando 24 horas por dia. Mas é reimaginado para o mundo da engenharia de dados e ciência de dados.

Embora a qualidade e a confiabilidade dos dados sejam um problema há décadas, os aplicativos de dados agora são essenciais para quantas empresas líderes operam; porque qualquer perda de dados, interrupção ou degradação pode resultar rapidamente em perda de receita e clientes.

Sem a observabilidade dos dados, os revendedores de dados devem reagir constantemente aos problemas de qualidade dos dados e ter que disputar os dados à medida que os utilizam. Uma solução melhor é identificar os problemas de forma proativa e corrigir as causas-raiz.

Como a confiança afeta os dados?

Kirwan: Muitas vezes, os problemas são descobertos por partes interessadas, como executivos, que não confiam em seu painel frequentemente quebrado. Ou os usuários obtêm resultados confusos de modelos de aprendizado de máquina no produto. Os engenheiros de dados podem se antecipar melhor aos problemas e evitar o impacto nos negócios se forem alertados com antecedência suficiente.

Como esse conceito é diferente de tecnologias semelhantes, como gerenciamento unificado de dados?

Kirwan: A observabilidade de dados é uma função central nas operações de dados (pense: gerenciamento de dados). Muitos clientes procuram as melhores soluções para cada uma das funções das operações de dados. É por isso que tecnologias como Snowflake, Fivetran, Airflow e dbt estão explodindo em popularidade. Cada um é considerado uma parte importante da “pilha de dados moderna” em vez de uma solução de tamanho único.

Observabilidade de dados, SLAs de dados, controle de versão de código ETL [extrair, transformar, carregar], teste de pipeline de dados e outras técnicas devem ser usadas em conjunto para manter os pipelines de dados modernos funcionando sem problemas. Assim como engenheiros de software de alto desempenho e equipes de DevOps usam suas técnicas irmãs.

Qual o papel do pipeline de dados e do DataOps na visibilidade dos dados?

Kirwan: A observabilidade de dados está intimamente relacionada ao DataOps e à prática emergente de engenharia de confiabilidade de dados. DataOps refere-se ao conjunto mais amplo de todos os desafios operacionais que os proprietários de plataformas de dados enfrentarão. A engenharia de confiabilidade de dados faz parte das operações de dados, mas apenas uma parte, assim como a engenharia de confiabilidade do site está relacionada, mas não abrange todo o DevOps.

A observabilidade de dados pode trazer benefícios para a segurança de dados, pois pode ser usada para identificar alterações inesperadas no volume de consultas em diferentes tabelas ou alterações no comportamento de pipelines ETL. No entanto, a observabilidade de dados provavelmente não seria uma solução completa de segurança de dados por si só.

Quais desafios essa tecnologia enfrenta?

Kirwan: Esses desafios abrangem problemas como descoberta e governança de dados, rastreamento e gerenciamento de custos e controles de acesso. Ele também aborda como gerenciar um número cada vez maior de consultas, painéis e recursos e modelos de ML.

Confiabilidade e tempo de atividade certamente são desafios pelos quais muitas equipes de DevOps são responsáveis. Mas eles geralmente também são cobrados por outros aspectos, como velocidade do desenvolvedor e considerações de segurança. Dentro dessas duas áreas, a observabilidade de dados permite que as equipes de dados saibam se seus dados e pipelines de dados estão livres de erros.

Quais são os desafios de implementar e manter a tecnologia de observabilidade de dados?

Kirwan: Sistemas eficazes de observabilidade de dados devem se integrar aos fluxos de trabalho da equipe de dados. Isso permite que eles se concentrem no crescimento de suas plataformas de dados, em vez de reagir constantemente a problemas de dados e apagar incêndios de dados. Um sistema de observabilidade de dados mal ajustado, no entanto, pode resultar em uma enxurrada de falsos positivos.

Um sistema de dados eficaz também deve eliminar grande parte da manutenção dos testes de problemas de qualidade de dados, adaptando-se automaticamente às mudanças nos negócios. Um sistema de observabilidade de dados mal otimizado, no entanto, pode não corrigir as mudanças nos negócios ou corrigir demais as mudanças nos negócios, exigindo ajuste manual, o que pode ser demorado.

Deixe uma resposta

O seu endereço de email não será publicado. Campos obrigatórios marcados com *