Backtesting y Forward Testing: la importancia de la correlación

Los operadores que están ansiosos por probar una idea comercial en un mercado en vivo a menudo cometen el error de depender completamente de los resultados de las pruebas para determinar si el sistema será rentable. Si bien las pruebas retrospectivas pueden proporcionar a los operadores información valiosa, a menudo es engañosa y es solo una parte del proceso de evaluación.

Las pruebas fuera de la muestra y las pruebas de rendimiento futuras proporcionan una confirmación adicional sobre la efectividad de un sistema y pueden mostrar los colores verdaderos del sistema antes de que el efectivo real esté en juego. Una buena correlación entre los resultados de las pruebas de rendimiento de backtesting, fuera de muestra y avance es vital para determinar la viabilidad de un sistema de negociación. (Ofrecemos algunos consejos sobre este proceso que pueden ayudarlo a refinar sus estrategias comerciales actuales. Para obtener más información, lea: Backtesting: Interpreting the Past ).

Conceptos básicos de backtesting

El backtesting se refiere a la aplicación de un sistema de negociación a datos históricos para verificar cómo se habría desempeñado un sistema durante el período de tiempo especificado. Muchas de las plataformas de negociación actuales admiten backtesting. Los comerciantes pueden probar ideas con unas pocas teclas y obtener información sobre la efectividad de una idea sin arriesgar fondos en una cuenta comercial. El backtesting puede evaluar ideas simples, como el rendimiento de un crossover de promedio móvil en datos históricos o sistemas más complejos con una variedad de entradas y disparadores.

Mientras una idea se pueda cuantificar, se puede volver a probar. Algunos comerciantes e inversores pueden buscar la experiencia de un programador calificado para desarrollar la idea en una forma comprobable. Por lo general, esto implica que un programador codifique la idea en el lenguaje propietario alojado por la plataforma de negociación. El programador puede incorporar variables de entrada definidas por el usuario que le permiten al operador "ajustar" el sistema. Un ejemplo de esto sería en el sistema de cruce de promedio móvil simple mencionado anteriormente: El operador podría ingresar (o cambiar) las longitudes de los dos promedios móviles utilizados en el sistema. El comerciante podría realizar una prueba inversa para determinar qué longitudes de promedios móviles habrían tenido el mejor rendimiento en los datos históricos.

Estudios de optimización

Muchas plataformas comerciales también permiten estudios de optimización. Esto implica ingresar un rango para la entrada especificada y dejar que la computadora "haga los cálculos" para determinar qué entrada hubiera funcionado mejor. Una optimización de múltiples variables puede hacer los cálculos para dos o más variables para determinar qué combinaciones habrían logrado el mejor resultado. Por ejemplo, los comerciantes pueden decirle al programa qué entradas les gustaría agregar a su estrategia; estos serían optimizados a sus pesos ideales dados los datos históricos probados.

El backtesting puede ser emocionante ya que un sistema no rentable a menudo se puede transformar mágicamente en una máquina de hacer dinero con algunas optimizaciones. Desafortunadamente, ajustar un sistema para lograr el mayor nivel de rentabilidad pasada a menudo conduce a un sistema que funcionará mal en el comercio real. Esta optimización excesiva crea sistemas que se ven bien solo en papel.

El ajuste de curvas es el uso de análisis de optimización para crear el mayor número de operaciones ganadoras con el mayor beneficio en los datos históricos utilizados en el período de prueba. Aunque se ve impresionante en los resultados de las pruebas de respaldo, el ajuste de la curva conduce a sistemas poco confiables ya que los resultados están esencialmente diseñados a medida para ese período de datos y datos en particular.

El backtesting y la optimización brindan muchos beneficios a un operador, pero esto es solo una parte del proceso cuando se evalúa un sistema comercial potencial. El siguiente paso de un operador es aplicar el sistema a los datos históricos que no se han utilizado en la fase inicial de backtesting.

Datos en muestra versus datos fuera de muestra

Al probar una idea en datos históricos, es beneficioso reservar un período de tiempo de datos históricos para fines de prueba. Los datos históricos iniciales en los que se prueba y optimiza la idea se denominan datos en la muestra. El conjunto de datos que se ha reservado se conoce como datos fuera de muestra. Esta configuración es una parte importante del proceso de evaluación porque proporciona una forma de probar la idea en datos que no han sido un componente en el modelo de optimización. Como resultado, la idea no habrá sido influenciada de ninguna manera por los datos fuera de la muestra, y los comerciantes podrán determinar qué tan bien el sistema podría funcionar con los nuevos datos, es decir, en el comercio de la vida real.

Antes de iniciar cualquier backtesting u optimización, los comerciantes pueden reservar un porcentaje de los datos históricos que se reservarán para pruebas fuera de la muestra. Un método es dividir los datos históricos en tercios y segregar un tercio para su uso en las pruebas fuera de la muestra. Solo se deben usar los datos de la muestra para la prueba inicial y cualquier optimización. La Figura 1 muestra una línea de tiempo en la que un tercio de los datos históricos se reserva para pruebas fuera de la muestra, y dos tercios se utilizan para las pruebas dentro de la muestra. Aunque la Figura 1 representa los datos fuera de la muestra al comienzo de la prueba, los procedimientos típicos tendrían la porción fuera de la muestra que precede inmediatamente al rendimiento directo.

Figura 1: Una línea de tiempo que representa la longitud relativa de los datos dentro y fuera de la muestra utilizados en el proceso de backtesting.

La correlación se refiere a las similitudes entre los rendimientos y las tendencias generales de los dos conjuntos de datos. Las métricas de correlación se pueden usar para evaluar los informes de rendimiento de la estrategia creados durante el período de prueba (una característica que proporcionan la mayoría de las plataformas de negociación). Cuanto más fuerte sea la correlación entre los dos, mayor será la probabilidad de que un sistema tenga un buen desempeño en las pruebas de rendimiento hacia adelante y el comercio en vivo.

La Figura 2 ilustra dos sistemas diferentes que fueron probados y optimizados en datos dentro de la muestra, y luego aplicados a datos fuera de la muestra. El cuadro de la izquierda muestra un sistema que se ajustaba claramente a la curva para funcionar bien en los datos dentro de la muestra y fallaba completamente en los datos fuera de la muestra. El cuadro de la derecha muestra un sistema que funcionó bien en los datos dentro y fuera de la muestra. Una vez que se ha desarrollado un sistema de negociación utilizando datos dentro de la muestra, está listo para aplicarse a los datos fuera de la muestra. Los comerciantes pueden evaluar y comparar los resultados de rendimiento entre los datos dentro y fuera de la muestra.

Figura 2: Dos curvas de equidad. Los datos comerciales antes de cada flecha amarilla representan las pruebas en la muestra. Los intercambios generados entre las flechas amarilla y roja indican pruebas fuera de la muestra. Las operaciones después de las flechas rojas son de las fases de prueba de rendimiento hacia adelante.

Si existe poca correlación entre las pruebas dentro y fuera de la muestra, como en el gráfico de la izquierda en la Figura 2, es probable que el sistema se haya optimizado en exceso y no funcione bien en el comercio en vivo. Si existe una fuerte correlación en el rendimiento, como se ve en el cuadro de la derecha en la Figura 2, la siguiente fase de evaluación implica un tipo adicional de prueba fuera de la muestra conocida como prueba de rendimiento directo. (Para obtener más información sobre pronósticos, consulte: Pronóstico financiero: El método bayesiano ).

Conceptos básicos sobre las pruebas de rendimiento

Las pruebas de rendimiento avanzadas, también conocidas como comercio en papel, proporcionan a los operadores otro conjunto de datos fuera de la muestra para evaluar un sistema. La prueba de rendimiento hacia adelante es una simulación del comercio real e implica seguir la lógica del sistema en un mercado en vivo. También se llama comercio en papel, ya que todos los intercambios se ejecutan solo en papel; es decir, las entradas y salidas comerciales se documentan junto con cualquier ganancia o pérdida para el sistema, pero no se ejecutan intercambios reales.

Un aspecto importante de las pruebas de rendimiento avanzadas es seguir exactamente la lógica del sistema; de lo contrario, se hace difícil, si no imposible, evaluar con precisión este paso del proceso. Los operadores deben ser honestos acerca de las entradas y salidas de comercio y evitar comportamientos como la selección de cerezas o no incluir un intercambio en papel que justifique que "nunca habría tomado ese intercambio". Si el comercio hubiera ocurrido siguiendo la lógica del sistema, debería documentarse y evaluarse.

Muchos corredores ofrecen una cuenta comercial simulada donde se pueden realizar operaciones y se calculan las ganancias y pérdidas correspondientes. El uso de una cuenta de negociación simulada puede crear una atmósfera semi-realista en la que practicar la negociación y evaluar aún más el sistema.

La Figura 2 también muestra los resultados de las pruebas de rendimiento en dos sistemas. Una vez más, el sistema representado en el gráfico de la izquierda no funciona mucho más allá de la prueba inicial en los datos de la muestra. Sin embargo, el sistema que se muestra en el cuadro de la derecha continúa funcionando bien en todas las fases, incluidas las pruebas de rendimiento avanzadas. Un sistema que muestra resultados positivos con una buena correlación entre las pruebas de rendimiento dentro de la muestra, fuera de la muestra y hacia adelante está listo para implementarse en un mercado en vivo. (Ver también: Pros y contras del comercio de papel ).

La línea de fondo

Backtesting es una herramienta valiosa disponible en la mayoría de las plataformas de negociación. Dividir los datos históricos en múltiples conjuntos para proporcionar pruebas dentro y fuera de la muestra puede proporcionar a los operadores medios prácticos y eficientes para evaluar una idea y un sistema de negociación. Dado que la mayoría de los traders emplean técnicas de optimización en backtesting, es importante evaluar el sistema con datos limpios para determinar su viabilidad.

Continuar con las pruebas fuera de la muestra con pruebas de rendimiento avanzadas proporciona otra capa de seguridad antes de poner un sistema en el mercado arriesgando efectivo real. Los resultados positivos y la buena correlación entre las pruebas de rendimiento y las pruebas de rendimiento dentro y fuera de la muestra aumentan la probabilidad de que un sistema funcione bien en el comercio real. (Para obtener una descripción completa del análisis técnico, consulte: Conceptos básicos del análisis técnico ).