DataOps: será esse o seu próximo emprego em Data Science? — Data Hackers

#1

O podcast :headphones: Data Hackers discute neste episódio o conceito de Data Ops. Como colocar em produção :rocket: o seu projeto de ciência de dados? :test_tube: É importante empacotar o seu projeto de uma maneira que favoreça a reprodutibilidade (evitar o proverbial “funcionava na minha máquina” :construction: :hole::running_man:). Muitas das ferramentas :hammer_and_wrench: que ajudam nisso são as mesmas usadas em DevOps.

No epoisódio, o Airflow :kite: também e apontado como algo que pode facilitar projetos que precisem automatizar a leitura periódica de dados. :robot:

1 Curtida
#2

Olhando os slides da palestra sobre o tema dada pela Daniela Petruzalek na Python Brasil 14, descobri também o Manifesto Dataops:

Indivíduos, interações sobre processos e ferramentas.
Trabalho de análise sobre uma documentação abrangente.
Colaboração do cliente sobre negociação de contratos.
Experimentação, iteração, e resposta sobre um projeto detalhado e extenso.
Propriedade de todas as equipes nas operações sobre silos de responsabilidades.

Princípios do DataOps

  1. Satisfaça continuamente o seu cliente
  2. Valor do trabalho analítico
  3. Abrace a mudança
  4. É um esporte em equipe
  5. Interações diárias
  6. Auto-organização
  7. Reduza o heroísmo
  8. Reflita
  9. Os códigos
  10. Orquestração
  11. Faça tudo ser reproduzível
  12. Ambientes descartáveis
  13. Simplicidade
  14. Análise de dados é manufatura
  15. A qualidade é primordial
  16. Monitorar a qualidade e o desempenho
  17. Reutilizar
  18. Melhorar os tempos dos ciclos

Veja mais detalhes no site do manifesto.

1 Curtida