Em 1979, o acadêmico grego Spyros Makridakis publicou um artigo no Journal of the Royal Statistical Society. O artigo demonstrou que métodos de previsão simples (estatísticos tradicionais) superavam métodos mais complexos. Naquela época, o aumento do poder computacional facilmente acessível permitiu que métodos de previsão mais novos, computacionais e aparentemente mais precisos proliferassem nos negócios e na academia. Makridakis, que nesta fase era Professor na Insead, estava cético quanto ao verdadeiro valor desses métodos de previsão mais complexos, o que o levou a embarcar no extenso estudo empírico que deu origem ao artigo.

Os resultados do estudo de Makridakis foram amplamente criticados na época, principalmente devido à crença de que a complexidade e um maior poder computacional deveriam produzir resultados mais precisos. A discordância subsequente levou à criação da série de competições de previsão “M”, que visavam encontrar os métodos de previsão mais precisos para diferentes tipos de previsões. Houve um total de quatro “M-Competitions” desde 1982, com a mais recente a terminar em maio deste ano. O vencedor desta competição será anunciado em outubro.

Quarenta anos depois, um debate semelhante foi desencadeado por um artigo publicado pelo mesmo autor. No seu estudo mais recente, lançado em março deste ano, Makridakis e os seus colegas compararam a eficácia de oito métodos de Machine Learning (“ML”) versus oito métodos estatísticos mais simples, utilizados para previsão de séries temporais.

O estudo mais recente foi motivado pela crescente popularidade dos métodos de ML em previsão, apesar da falta de evidências suficientes da sua superioridade sobre os métodos estatísticos tradicionais. Por esta razão, os autores propuseram-se a testar se a sua afirmação original, de que métodos de previsão simples são mais precisos do que os computacionais complexos, ainda era verdadeira.

Termos Chave

Em termos gerais, os autores procuraram medir o desempenho da previsão em relação a duas métricas: precisão e requisitos computacionais. Para ajudar a definir estas métricas, os autores utilizam uma série de termos chave que descrevem como estas medições foram feitas.

• Complexidade Computacional – O tempo necessário para treinar um determinado ML usando dados históricos
• Ajuste do Modelo – Uma medida de quão bem um modelo se “ajusta” aos dados históricos
• Medidas de Precisão – Duas medidas de desempenho de previsão são utilizadas no estudo:
  ‍
  
  • Erro Percentual Absoluto Médio Simétrico (sMAPE)
  • Erro Escalonado Absoluto Médio (MASE)

• Pré-processamento de Dados – O trabalho que precisa ser feito em um conjunto de dados antes que possa ser usado para fins de modelagem de ML.

Principais Conclusões

O próprio artigo se estende por mais de 20 páginas com uma análise detalhada e comparação da precisão dos diferentes métodos de previsão analisados. Algumas das principais conclusões do estudo são:

1. O Simples Ainda é Melhor

A pesquisa contida neste estudo mostrou que os métodos de previsão estatística mais simples "dominaram" os métodos de ML em ambas as medidas de precisão utilizadas para todos os horizontes de previsão examinados. O método mais simples de previsão estatística foi o método ingênuo (naïve), que consiste essencialmente na repetição de dados históricos. O método ingênuo teve um desempenho melhor do que todos, exceto três, dos métodos de ML para uma previsão de um passo à frente, usando ambas as medidas de precisão, com muito menos Complexidade Computacional.

2. Complexidade Computacional

Os autores destacam a complexidade computacional excessiva de alguns dos métodos de ML como uma barreira para sua aplicação prática. Para que esses métodos sejam usados em negócios e outros campos, "seus requisitos computacionais devem ser consideravelmente reduzidos". O relatório sugere a dessazonalização de dados, o uso de modelos mais simples e a limitação do número de iterações de treinamento como formas de reduzir a complexidade computacional.

3. Os Modelos com Melhor Ajuste Não Produzem as Melhores Previsões

As técnicas de previsão de ML tipicamente "ajustam" uma linha ou um modelo a dados históricos e usam isso para extrapolar para o futuro. Uma medida da eficácia de uma técnica de ML é o quão bem ela consegue ajustar este modelo aos dados históricos. Este estudo mostra que métodos ou modelos que melhor se ajustaram a um conjunto de dados não resultaram necessariamente em previsões mais precisas.

4. Necessidade de Abrir a Caixa Preta

Uma das principais sugestões neste artigo é que, para que os métodos de previsão de ML se tornem úteis em aplicações práticas de negócios, a forma como funcionam e como produzem resultados precisa ser mais clara para os usuários. Os pesquisadores afirmaram que "obter números de uma caixa preta não é aceitável para profissionais que precisam saber como as previsões surgem e como podem ser influenciadas ou ajustadas para chegar a previsões viáveis".

5. Automatizar Tarefas de Pré-processamento

O pré-processamento de dados históricos consome tempo e exige decisões do usuário que aumentam a complexidade do processo geral de previsão. A automação dessas tarefas de pré-processamento é vista como fundamental para que as técnicas de previsão de ML se tornem úteis para os usuários, no dia a dia.

Rumo a Algoritmos Especializados

Embora o artigo destaque as deficiências dos métodos de previsão de ML, Makridakis e seus colegas ressaltam o "grande potencial da ML para aplicações de previsão". A conclusão deste artigo reitera este ponto e menciona que "algoritmos especializados", únicos para previsão, podem ser necessários para justificar a ML como uma técnica de previsão viável. Por enquanto, no entanto, os métodos mais eficazes de previsão de séries temporais são os simples e estatísticos.

Utilizando as Mais Recentes Tecnologias

Na Ripple Treasury, impulsionada pela GTreasury, acreditamos que a previsão é diferente de qualquer outra disciplina ou tarefa de negócios. Ao contrário de muitos outros processos de negócios, o resultado final é medido em graus de precisão (e outros fatores), em vez de um certo ou errado binário.

Como uma empresa de tecnologia e como especialistas dedicados em previsão de liquidez, é nosso dever estar na vanguarda para garantir que nossos clientes se beneficiem do melhor que a tecnologia tem a oferecer. Isso significa testar exaustivamente a aplicação de novas tecnologias e medir suas vantagens e desvantagens. Assim como Makridakis, acreditamos que a análise empírica é a melhor medida de eficácia.

‍