Scheduling Notebooks at Netflix

Este artigo da Netflix relata como eles estão conseguindo adotar os Jupyter Notebooks como peças de integração da infraestrutura de dados.

Algumas perguntas básicas que eles têm se perguntado e que os notebooks têm sido a resposta:

  • Qual interface o cientista de dados usará para comunicar os resultados de uma análise estatística aos negócios?
  • Como um engenheiro de dados pode escrever um código que um engenheiro confiável pode ajudar a garantir a execução a cada hora?
  • Como um engenheiro de aprendizado de máquina encapsula um modelo o qual seus colegas podem reutilizar?

Um fato interessante no artigo é que eles recomendam o uso do Airflow como a ferramenta para o agendamento das rotinas, porém acabam utilizando o Meson, um software similar desenvolvido pela própria Netflix. :rocket:

1 Curtida

A cada dia estou tentando me distanciar mais dos notebooks. Com o tempo tenho identificado os prós e contras nos notebooks e os contras têm pesado mais. Isso é surreal, olha a infraestrutura que os caras montaram para integrar os notebooks ao workflow deles :scream: insano!

De todo o jeito ainda não encontrei o meu workflow ideal, mas tenho tetado utilizar menos NBs e mais um editor de textos como o VSCode.