Netflix abre o código do Metaflow, uma ferramenta de workflow para ciência de dados

Na última terça feira, a Netflix abriu o código de sua ferramenta de workflow para ciência de dados, chamada Metaflow.

É fácil de instalar (pip install metaflow) e o site tem alguns tutoriais disponíveis (que curiosamente seguem o modelo temporada / episódio, como se fossem uma série :film_strip: ). A ferramenta não possui uma interface gráfica como o Airflow, mas a minha primeira impressão é que o código é fácil de se escrever.

Uma dificuldade que tive ao tentar usar o Airflow é que não parece ser muito simples você isolar as tarefas que ele vai executar, junto com o seu próprio ambiente e dependências, dentro de um container. A promessa do Metaflow é tornar isso fácil. Ainda não verifiquei se é mesmo fácil, mas acho que vale a pena experimentar. :test_tube:

Links:

O Ecodados esteve fora do ar esta semana e demorou a voltar. Nesse meio tempo, ainda não consegui brincar com o Metaflow, mas já saíram várias notícias sobre o lançamento da ferramenta. Exemplo:

2 Curtidas

Será que já existe alguma análise comparando o metaflow com o mlflow?

1 Curtida