En 1979, el académico griego Spyros Makridakis publicó un artículo en el Journal of the Royal Statistical Society. El artículo mostró que los métodos simples (estadísticos tradicionales) de predicción superaron a los métodos más complejos. En aquella época, el aumento de la capacidad informática de fácil acceso había permitido la proliferación de métodos de predicción más novedosos, computacionales y aparentemente más precisos, en el mundo empresarial y académico. Makridakis, que en ese momento era profesor en En cambio, se mostró escéptico sobre el verdadero valor de estos métodos de predicción más complejos, lo que lo llevó a emprender el extenso estudio empírico en el que se basa el artículo.

Los resultados del estudio de Makridakis fueron ampliamente criticados en su momento, principalmente debido a la creencia de que la complejidad y una mayor potencia de cálculo debían producir resultados más precisos. El posterior desacuerdo llevó a la creación de la serie «M» de concursos de pronósticos, cuyo objetivo era encontrar los métodos de pronóstico más precisos para diferentes tipos de predicciones. Se han celebrado un total de cuatro «concursos M» desde 1982, y el más reciente concluyó en mayo de este año. El ganador de este concurso se anunciará en octubre.

40 años después, un artículo publicado por el mismo autor ha provocado un debate similar. En su último estudio, publicado en marzo de este año, Makridakis y sus colegas compararon la eficacia de ocho métodos de aprendizaje automático («ML») con la de ocho métodos estadísticos más simples que se utilizan para pronosticar series temporales.

El estudio más reciente se debió a la creciente popularidad de los métodos de aprendizaje automático en la predicción, a pesar de la falta de pruebas suficientes de su superioridad sobre los métodos estadísticos tradicionales. Por este motivo, los autores se propusieron comprobar si su afirmación original, según la cual los métodos de predicción simples son más precisos que los métodos computacionales complejos, seguía siendo cierta.

Términos clave

En términos generales, los autores buscaron medir el rendimiento de las previsiones en función de dos métricas: la precisión y los requisitos computacionales. Para ayudar a definir estas métricas, los autores utilizan una serie de términos clave que describen cómo se realizaron estas mediciones.

• Complejidad computacional: el tiempo necesario para entrenar un ML determinado utilizando datos históricos
• Ajuste del modelo: una medida de qué tan bien un modelo «se ajusta» a los datos históricos
• Medidas de precisión: en el estudio se utilizan dos medidas del rendimiento de las previsiones:
  ‍
  
  • Error porcentual absoluto medio simétrico (SMape)
  • Error escalado absoluto medio (MASE)

• Preprocesamiento de datos: el trabajo que debe realizarse en un conjunto de datos antes de que pueda usarse con fines de modelado de aprendizaje automático.

Hallazgos clave

El documento en sí tiene más de 20 páginas con un desglose detallado y una comparación de la precisión de los diferentes métodos de previsión analizados. Algunas de las principales conclusiones del estudio concluyen:

1. Lo simple es aún mejor

La investigación contenida en este estudio mostró que los métodos de pronóstico estadístico más simples «dominaron» los métodos de aprendizaje automático en las dos medidas de precisión utilizadas en todos los horizontes de pronóstico examinados. El método más simple de previsión estadística era el método ingenuo, que consiste esencialmente en acumular datos históricos. El método ingenuo funcionó mejor que todos los métodos de aprendizaje automático, excepto tres, para obtener una previsión anticipada, utilizando ambas medidas de precisión y con una complejidad computacional mucho menor.

2. Complejidad computacional

Los autores destacan la excesiva complejidad computacional de algunos de los métodos de aprendizaje automático como un obstáculo para su aplicación práctica. Para que estos métodos se utilicen en los negocios y otros campos, «sus requisitos computacionales deben reducirse considerablemente». El informe sugiere desestacionalizar los datos, usar modelos más simples y limitar el número de iteraciones de entrenamiento como formas de reducir la complejidad computacional.

3. Los modelos que mejor se ajustan no producen mejores pronósticos

Las técnicas de pronóstico de ML suelen «ajustar» una línea o un modelo a los datos históricos y utilizarlos para extrapolarlos al futuro. Una medida de la eficacia de una técnica de aprendizaje automático es la precisión con la que puede ajustar este modelo a los datos históricos. Este estudio muestra que los métodos o modelos que mejor se ajustan a un conjunto de datos no necesariamente dan como resultado pronósticos más precisos.

4. Necesito abrir la caja negra

Una de las sugerencias clave de este documento es que, para que los métodos de previsión del aprendizaje automático sean útiles en aplicaciones empresariales prácticas, los usuarios deben tener más claro cómo funcionan y cómo producen resultados. Los investigadores afirmaron que «los profesionales que necesitan saber cómo surgen los pronósticos y cómo se pueden influir en ellos o ajustarlos para obtener predicciones viables no pueden aceptar obtener cifras de una caja negra».

5. Automatice las tareas de preprocesamiento

El preprocesamiento de los datos históricos lleva mucho tiempo y requiere que el usuario tome decisiones que aumentan la complejidad del proceso general de previsión. La automatización de estas tareas de preprocesamiento se considera clave para que las técnicas de previsión del aprendizaje automático resulten útiles para los usuarios en el día a día.

Trabajando hacia algoritmos especializados

Si bien el documento arroja luz sobre las deficiencias de los métodos de pronóstico del aprendizaje automático, Makridakis y sus colegas destacan el «gran potencial del aprendizaje automático para las aplicaciones de pronóstico». La conclusión de este artículo reitera este punto y menciona que es posible que se requieran «algoritmos especializados», exclusivos de la predicción, para justificar el aprendizaje automático como una técnica de pronóstico viable. Sin embargo, por ahora, los métodos más eficaces para pronosticar series temporales son los sencillos y estadísticos.

Uso de las últimas tecnologías

En Ripple Treasury, impulsado por gTreasury, creemos que la previsión no se parece a ninguna otra disciplina o tarea empresarial. A diferencia de muchos otros procesos empresariales, el resultado final se mide en grados de precisión (y otros factores), y no en términos binarios correctos o incorrectos.

Como empresa de tecnología y como empresa dedicada especialistas en pronósticos de liquidez, es nuestro deber estar a la vanguardia para garantizar que nuestros clientes se beneficien de lo mejor que la tecnología tiene para ofrecer. Esto significa probar minuciosamente la aplicación de las nuevas tecnologías y medir sus ventajas y desventajas. Al igual que Makridakis, creemos que análisis empírico es la mejor medida de la eficacia.

‍