Se hai passato un po' di tempo nei forum di trading algoritmico, avrai visto il post. Qualcuno esegue una strategia che ha testato per mesi, modifica un piccolo parametro, rilancia il backtest — e la equity curve improvvisamente non assomiglia più a nulla di quello che si aspettava. Il commento più votato è di solito una variante di "wth???"
È un momento universale in questo hobby/professione. Ti fidi del tuo processo, ti fidi dei tuoi dati, e poi i numeri fanno qualcosa che non si adatta al tuo modello mentale. L'istinto della maggior parte dei trader è o (a) andare nel panico e dare per scontato che la strategia sia rotta, oppure (b) assumere che il risultato sia reale ed entusiasmarsi per un numero troppo bello per essere vero. Entrambe le reazioni saltano il passaggio più importante: capire perché il backtest si sia comportato in quel modo.
Questo articolo non riguarda una strategia specifica. Riguarda il processo diagnostico di cui ogni trader algoritmico ha bisogno quando un risultato di backtest smette di avere senso — perché succederà, ripetutamente, per tutto il tempo in cui costruirai e testerai sistemi.
Perché i momenti "Wth???" sono più comuni di quanto pensi
Il backtesting sembra deterministico. Stesso codice, stessi dati, stessi parametri dovrebbero equivalere allo stesso risultato ogni volta. In pratica, un numero sorprendente di variabili può cambiare silenziosamente tra un'esecuzione di test e l'altra:
- Cambi nella fonte dei dati. Cambiare broker, riscaricare un data feed o estendere un file storico può alterare silenziosamente spread, gap o densità dei tick per lo stesso intervallo di date.
- Effetti di interazione tra parametri. Modificare un input (ad esempio un moltiplicatore dello stop-loss) può interagire in modo non lineare con un altro (un trailing stop, un filtro di sessione) in modi che non sono ovvi leggendo semplicemente il codice.
- Particolarità della piattaforma. Lo strategy tester di MT4 e quello di MT5 gestiscono in modo diverso la qualità del modeling, la simulazione dei tick e il test multi-simbolo. Lo stesso EA può produrre statistiche sostanzialmente diverse tra le piattaforme pur con logica identica.
- Survivorship e gap di continuazione. I dati sui futures e alcuni feed CFD uniscono contratti diversi tra loro; una serie di continuazione cucita male può creare gap fantasma contro cui il tuo EA fa trading — producendo profitti fantasma o perdite fantasma.
- Look-ahead bias che si infiltra. Indicatori che fanno riferimento al massimo/minimo "di oggi" prima che la barra si sia chiusa, o funzioni personalizzate che leggono accidentalmente indici di array futuri, possono produrre risultati spettacolari finché non ti rendi conto che quella logica non avrebbe potuto essere eseguita in tempo reale.
Nessuno di questi è esotico. Sono le modalità di fallimento standard del backtesting, e quasi ogni trader sistematico serio è stato scottato almeno una volta da uno di questi fattori. La reazione "wth???" è semplicemente il tuo cervello che segnala correttamente che qualcosa nel sistema è cambiato — anche se non riesci subito a identificare cosa.
I soliti sospetti: una checklist diagnostica
Quando un risultato di backtest ti sorprende — in entrambe le direzioni — resisti all'impulso di accettarlo o rifiutarlo immediatamente. Invece, percorri un processo strutturato di eliminazione. Ecco l'ordine che usano gli sviluppatori più esperti, più o meno dal controllo più economico a quello più dispendioso in termini di tempo:
1. Conferma che l'intervallo di date e il simbolo siano davvero quelli che pensi.
Sembra ovvio, ma un intervallo di date disallineato o un simbolo selezionato per errore (EURUSD invece di EURUSD.a, per esempio) è una delle cause più comuni di risultati "impossibili".
2. Controlla la qualità e la fonte dei tuoi dati.
Gap, barre mancanti o granularità dei tick incoerente tra un'esecuzione e l'altra cambieranno i tuoi risultati anche con una logica di strategia identica. Questo è vero soprattutto se nel tempo hai preso dati da più provider diversi. Se stai cercando di risolvere questo problema, vale la pena testare su un dataset pulito e coerente — qualcosa come i pacchetti di dati storici forex disponibili su BacktestMarket, che ti danno un punto di riferimento fisso così puoi isolare se l'anomalia viene dai tuoi dati o dalla tua logica.
3. Ricontrolla le impostazioni di qualità del modeling.
In MT4/MT5, il modeling "every tick", "control points" e "open prices only" può produrre un comportamento di esecuzione degli ordini significativamente diverso, soprattutto per strategie con stop stretti o che fanno trading su timeframe sotto il minuto. Una strategia che sembra robusta con "open prices only" può sgretolarsi con una simulazione a livello di tick.
4. Isola il parametro che è cambiato.
Se hai modificato qualcosa prima che comparisse l'anomalia, ripristinalo e conferma che torni il risultato "normale". Poi cambia di nuovo solo quel singolo parametro. Sembra lento, ma è l'unico modo affidabile per attribuire l'anomalia a una causa specifica invece di tirare a indovinare.
5. Esamina il trade log, non solo la equity curve.
Le statistiche aggregate nascondono molto. Estrai la lista dei singoli trade e cerca gli outlier — un singolo trade con un profitto o una perdita insolitamente grandi è spesso l'intera spiegazione di un risultato "wth". Se l'80% del tuo profitto netto proviene da un solo trade, quello non è un edge robusto; è rumore travestito da segnale.
6. Verifica esplicitamente l'eventuale look-ahead bias.
Ripercorri la tua logica di entrata barra per barra e chiediti: "Questa condizione avrebbe potuto essere realmente nota al momento dell'entrata, in tempo reale?" È noioso ma è il singolo controllo con il valore più alto che puoi fare, perché il look-ahead bias è la causa più comune di backtest che sembrano incredibilmente buoni.
Trasformare il "Wth???" in un processo ripetibile
L'obiettivo non è eliminare i risultati sorprendenti — i risultati sorprendenti sono spesso il modo in cui impari qualcosa di reale sulla tua strategia o sui tuoi dati. L'obiettivo è costruire l'abitudine di trattare ogni anomalia come uno spunto per l'indagine, non come un motivo per l'entusiasmo o lo sconforto immediato.
Ecco alcune abitudini pratiche che rendono tutto più semplice:
- Tieni traccia delle versioni delle tue configurazioni di test. Mantieni un registro semplice (anche un foglio di calcolo) con intervallo di date, simbolo, fonte dei dati, piattaforma, ipotesi su spread/slippage e qualità del modeling per ogni backtest eseguito. Quando un risultato sembra strano, puoi confrontarlo riga per riga con l'ultima esecuzione "normale".
- Separa presto i problemi di dati da quelli di logica. Prima di fare debug del codice del tuo EA, rilancia esattamente lo stesso test su un dataset noto per essere pulito. Se stai configurando MT4 o MT5 con dati esterni, la guida su come importare dati storici in MetaTrader è un riferimento utile per assicurarti che non sia il processo di importazione stesso a introdurre incoerenze.
- Tratta gli outlier su singolo trade come una categoria a parte. Se rimuovere uno o due trade ribalta la tua strategia da profittevole a in perdita (o viceversa), quella è un'informazione sulla fragilità, non sull'alpha. Riporta entrambi i numeri — con e senza l'outlier — quando valuti il sistema.
- Ritesta su più provider di dati quando possibile. Se un risultato appare solo con una specifica fonte di dati, è un forte segnale che l'anomalia è legata ai dati piuttosto che alla strategia. Questo è uno dei motivi per cui molti sviluppatori mantengono l'accesso a più di un pacchetto di dati storici per la cross-validazione, invece di affidarsi all'export di un singolo broker.
- Non fidarti nemmeno di una singola esecuzione out-of-sample. Un periodo out-of-sample pulito che conferma il tuo risultato in-sample è incoraggiante, ma non è una prova. Ruota tra più finestre out-of-sample e diversi regimi di mercato prima di trarre conclusioni.
Quando l'anomalia è in un EA già pronto
Se stai testando un Expert Advisor di terze parti invece di codice scritto da te, il processo diagnostico è lo stesso, solo con un livello in più: non puoi esaminare la logica di entrata riga per riga a meno che il sorgente non venga fornito. In quel caso, appoggiati maggiormente ai controlli sulla qualità dei dati e sulle impostazioni di modeling, e rilancia sempre tu stesso il backtest dell'EA sui dati del tuo broker prima di trarre qualsiasi conclusione da un report fornito dal venditore. Le statistiche pubblicate di una strategia hanno senso solo se riesci a riprodurre in modo indipendente qualcosa di vicino a quei numeri.
Il punto chiave
Un momento "wth???" in un backtest non è un bug nella tua carriera di trader — è una parte normale e ricorrente del processo. I trader che migliorano più in fretta non sono quelli che non vengono mai sorpresi dai loro risultati; sono quelli che hanno sviluppato l'abitudine di risalire metodicamente dall'anomalia alla sua causa, che si tratti di un gap nei dati, di un'impostazione di modeling, di un'interazione tra parametri o di un vero e proprio look-ahead bias nella logica.
Prima di agire su qualsiasi risultato di backtest che sembra troppo bello (o troppo brutto) per essere vero, fallo passare attraverso la checklist qui sopra: conferma i dati