Come Evitare Backtest Difettosi: le Fonti di Dati Intraday da Verificare

Engineer auditing intraday market data

Ti servono tre diverse classi di fonti di dati intraday, non una sola: feed diretti e a bassa latenza, con licenza da exchange, dotati di timestamp del partecipante per l'esecuzione; dataset storici di minute-bar puliti e back-adjusted, con politiche di roll documentate, per il backtesting; e API affidabili e a basso costo per il prototyping, purché tu tenga sotto controllo i loro limiti di timestamp e copertura. Far corrispondere la fonte al compito conta più che scegliere un unico vendor "migliore".

TL;DR:

Usa feed exchange con licenza e timestamp del partecipante per analisi di esecuzione precise, e verifica latenza e dettagli dei timestamp prima dell'uso.

Abbina attentamente il tipo di fonte dati — tick data, minute bar o API — alle esigenze della strategia, agli audit e alla copertura, specialmente per l'accuratezza del backtesting.

Conferma le convenzioni di etichettatura delle barre (timestamp di inizio o fine) e correggi per eventi di mercato o festività, per evitare discrepanze silenziose nei dati.

Pulisci e normalizza regolarmente i dati per individuare spike fantasma, barre mancanti e disallineamenti nelle etichette, che possono distorcere notevolmente i risultati dei backtest.

Richiedi dataset campione ed esegui controlli indipendenti per assicurarti che qualità dei dati, politiche di roll dei contratti e restrizioni di licenza siano allineate al tuo caso d'uso.

Indice

Cosa pubblicano gli exchange e i tape consolidati
API dei vendor e aggregatori: modelli di distribuzione e compromessi
Tick data vs. minute bar e la trappola dell'etichettatura delle barre
Come scegliere una fonte intraday per il tuo caso d'uso
Pulizia e normalizzazione dei dati intraday
Licenze, prezzi e restrizioni sul non-display
Come BacktestMarket si inserisce nella checklist dei dati per il backtest
Gestire corporate action e split nei dati intraday
Eventi di mercato e festività e il loro effetto sulla qualità dei dati
Prospettiva pratica: cosa serve davvero per lavorare con i dati intraday
Prova un campione prima di scegliere un dataset
FAQ
Fonti

Cosa pubblicano gli exchange e i tape consolidati

Gli exchange vendono i dati in tre modi: feed proprietari diretti provenienti direttamente dal matching engine, tape consolidati che uniscono quote e trade tra diverse venue, e pacchetti bundle pensati per piattaforme retail o istituzionali. I feed diretti hanno la latenza più bassa e i timestamp propri dell'exchange, un dettaglio che conta quando devi ricostruire esattamente cosa è successo nel momento dell'esecuzione. I tape consolidati come i feed SIP statunitensi aggregano più venue in un unico flusso di quote e trade, il che è comodo ma introduce una propria latenza e ambiguità sui timestamp.

La granularità del timestamp è il dettaglio che quasi tutti saltano. Un feed con timestamp al secondo intero non può supportare analisi di qualità dell'esecuzione; uno con timestamp al millisecondo e timestamp del partecipante (il momento in cui la venue di origine ha registrato l'evento, non il momento in cui il consolidatore lo ha trasmesso) è molto più utile per allineare i fill rispetto al book. Una ricerca che confronta il monthly TAQ con il dataset Daily TAQ ha rilevato che dati con timestamp aggregati a livello mensile distorcono le misure di spread e di localizzazione dei trade, motivo per cui si raccomanda il prodotto giornaliero, più granulare, quando l'accuratezza conta.

Feed exchange diretti: latenza minima, clock proprio dell'exchange, ideali per l'analisi dell'esecuzione.
Tape consolidati (tipo SIP): ampia copertura delle venue, latenza aggiuntiva di relay, buoni per il contesto a livello di mercato.
Pacchetti bundle retail/istituzionali: distribuzione comoda, ma verifica quale timestamp e quale latenza si nascondono dietro l'etichetta.

Prima di affidarti a una di queste fonti per una strategia live, verifica cosa dicono i documenti di specifica dell'exchange stesso riguardo a latenza e formato dei timestamp. La nostra panoramica sui feed intraday Nasdaq spiega come una venue importante struttura i suoi livelli di accesso e cosa verificare prima di costruirci sopra.

API dei vendor e aggregatori: modelli di distribuzione e compromessi

La maggior parte dei professionisti non tocca mai un feed exchange grezzo. Passano attraverso un vendor, e i vendor si dividono in quattro categorie principali: provider di tick-stream via websocket, API basate su REST per le barre, pacchetti storici scaricabili, e redistributori che rivendono un feed diretto con licenza tramite una propria API. Ognuno scambia costo con copertura e controllo.

I provider di tick-stream sono adatti all'esecuzione live e alle strategie a breve orizzonte, ma richiedono che tu gestisca riconnessioni, rilevamento dei gap e l'aggregazione in barre in autonomia. Le API a barre sono più facili da integrare ma nascondono la loro logica di aggregazione, quindi due vendor possono riportare massimi e minimi diversi per lo stesso minuto. I pacchetti storici scaricabili sono i più semplici per il backtesting perché possiedi un file statico e versionato invece di dipendere da una connessione live. I redistributori si collocano nel mezzo, spesso più economici rispetto a rivolgersi direttamente all'exchange ma comunque vincolati dai termini di licenza dell'exchange.

Chiedi la provenienza del timestamp: il clock è dell'exchange, del vendor o del consolidatore?
Chiedi la copertura delle venue e se i dati futures/forex includono una politica di roll dei contratti documentata.
Richiedi un giorno campione che tu possa verificare personalmente prima di sottoscrivere un abbonamento.
Conferma SLA e garanzie di latenza se dipendi da un feed websocket per decisioni live.

Consiglio pratico: Estrai una giornata reale di trading da un vendor potenziale e riconcilia apertura, massimo, minimo e chiusura con una seconda fonte indipendente prima di acquistare un abbonamento.

Le nostre note su cosa significhi davvero il supporto di un vendor coprono il tipo di reattività che vale la pena verificare prima di firmare qualsiasi cosa.

Tick data vs. minute bar e la trappola dell'etichettatura delle barre

I dati a livello di tick giustificano il loro costo quando stai ricostruendo l'order book, misurando lo slippage o studiando effetti di microstruttura. Per la grande maggioranza dei backtest di strategia, minute bar pulite e back-adjusted rappresentano un equilibrio pragmatico tra fedeltà e storage, purché le convenzioni di etichettatura e aggiustamento siano documentate.

Riserva i tick data all'analisi dell'esecuzione e al lavoro sull'order book. Le minute bar scartano semplicemente troppe informazioni per studi su slippage o posizione in coda.
Conferma se ogni barra è etichettata con il timestamp di inizio o di fine. I provider differiscono, e un disallineamento non rilevato sposta ogni segnale di una barra, un errore facile da trascurare finché una giornata di chiusura anticipata non lo mette in evidenza.
Controlla esplicitamente la gestione del fuso orario e delle sessioni. Pre-market, post-market e chiusure anticipate sono i punti dove gli errori off-by-one e di fuso orario emergono per primi, perché la barra che dovrebbe contenere l'ultimo minuto valido prima della chiusura può sparire o duplicarsi a seconda della convenzione del provider.

I disallineamenti nell'etichettatura delle barre non sono un dettaglio estetico. La stessa ricerca sulle convenzioni dei provider osserva che l'etichettatura a inizio-intervallo rispetto a fine-intervallo causa errori off-by-one che si accumulano silenziosamente lungo un backtest, finché una festività o una chiusura anticipata non rende visibile la discrepanza.

Come scegliere una fonte intraday per il tuo caso d'uso

Sottoponi ogni fonte candidata alla stessa breve checklist prima di impegnare budget o tempo di ingegneria su di essa.

Provenienza del timestamp: clock del partecipante, dell'exchange o del consolidatore, dichiarato chiaramente.
Copertura delle venue: quali exchange o pool di liquidità sono effettivamente inclusi.
Convenzione di etichettatura delle barre: timestamp di inizio o di fine, documentato e non dedotto.
Politica di roll dei contratti: come vengono cuciti e aggiustati i contratti futures tra una scadenza e l'altra.
Continuità storica: nessun gap silenzioso, e granularità coerente lungo tutta la storia.
Termini di licenza: se l'uso non-display, la redistribuzione, o l'uso accademico rispetto a quello commerciale sono soggetti a restrizioni.

Tre test di accettazione intercettano la maggior parte dei problemi catastrofici: un controllo di coerenza del timestamp rispetto a un riferimento noto, un audit della giornata di chiusura anticipata per confermare che il numero di barre corrisponda alla sessione accorciata, e un controllo incrociato con una seconda fonte per gli spike fantasma. Tra i segnali d'allarme: origine del timestamp non documentata, assenza di note scritte sulla politica di roll dei contratti, e un linguaggio di licenza vago riguardo alla redistribuzione.

Consiglio pratico: Se un vendor non è in grado di fornire su richiesta una politica di roll dei contratti scritta, presumi che la sua storia sui futures contenga salti inspiegati alla scadenza, e verificalo prima di fidartene.

Pulizia e normalizzazione dei dati intraday

I feed intraday grezzi arrivano con massimi e minimi fantasma, barre stantie o ripetute e intervalli mancanti, e una pipeline credibile rileva e documenta ciascuno di questi problemi invece di mascherarli.

Spike fantasma: segnala le barre il cui wick devia bruscamente da un wick mediano mobile e il cui volume non supporta il movimento; un metodo di rilevamento documentato utilizza esattamente questa logica di coerenza tra wick e wick-mediano-mobile e volume, parametrizzata per bilanciare falsi positivi e falsi negativi.
Barre stantie o mancanti: segnala invece di inventare. Portare avanti l'ultimo prezzo o interpolare una chiusura fittizia nasconde il gap a ogni modello a valle; l'esclusione o la segnalazione esplicita preserva un registro onesto.
Perdite da chiusura anticipata: verifica il conteggio delle barre nelle sessioni accorciate rispetto al calendario pubblicato, in modo che un disallineamento di etichettatura non estenda o tronchi silenziosamente la giornata di trading.

La stessa ricerca documenta un caso pratico in cui la stessa identica logica di strategia ha prodotto backtest che differivano di oltre tre volte, solo a causa di come due provider gestivano gli spike fantasma e le barre stantie, uno scarto abbastanza grande da far passare una strategia da redditizia a non redditizia solo sulla carta. Esistono pipeline open-source riproducibili per pulire i dati di quotazione, ricostruire l'NBBO e classificare i trade usando algoritmi standard come Lee-Ready, ed è utile adottarle piuttosto che ricostruirle da zero. La nostra guida su come risolvere i dati mancanti in MT4 tratta il lato retail-platform dello stesso problema.

Licenze, prezzi e restrizioni sul non-display

I dati storici proprietari degli exchange non sono economici, e le tariffe sono strutturate per colpirti due volte: una per il feed in corso e un'altra per il backfill. Il listino prezzi pubblicato da NYSE per il Daily TAQ riporta un addebito mensile ricorrente nell'ordine di qualche migliaio di dollari per un abbonamento attivo, con lo storico aggiuntivo fatturato separatamente a una tariffa mensile inferiore, cifre da tenere in considerazione prima di dare per scontato che un dataset storico sia un costo una tantum.

Le restrizioni sul non-display spesso si applicano separatamente dalla licenza per il display, quindi un feed autorizzato per la tua dashboard potrebbe non esserlo per il trading automatizzato.
Le licenze accademiche sono spesso più economiche ma esplicitamente vietate per uso commerciale o di redistribuzione.
I limiti di redistribuzione si applicano anche ai dati che hai già pagato, quindi verifica se puoi condividere dataset derivati con un team o un cliente.
Verifica ogni restrizione direttamente sulla guida ai prodotti dati di mercato dell'exchange stesso, piuttosto che sul riassunto fornito da un vendor.

Come BacktestMarket si inserisce nella checklist dei dati per il backtest

In base a questa checklist, offriamo dati storici intraday a minute-bar puliti su forex, metalli, indici azionari, obbligazioni e commodity, mantenuti dal 2014 con accuratezza e integrità come standard per ogni dataset che pubblichiamo. Consegniamo dataset completi in un unico download, pronti per l'importazione diretta in MT4 e MT5, il che elimina il lavoro di cucitura e formattazione che gli sviluppatori quant farebbero altrimenti a mano. I clienti ricevono supporto in tempo reale direttamente dagli ingegneri che raccolgono i dati, insieme a risorse di trading utili a validare un dataset prima che entri in un backtest live.

Gestire corporate action e split nei dati intraday

Uno split azionario o un aggiustamento per dividendo rompe la continuità dei prezzi esattamente nel punto in cui un backtest è più sensibile, all'apertura della sessione successiva all'evento. I dati intraday non aggiustati mostrano un gap di prezzo che, in termini economici, non è mai avvenuto, e questo può innescare stop-loss falsi o segnali di breakout fantasma in qualsiasi strategia che legge livelli di prezzo assoluti.

La correzione standard è un back-adjustment: i prezzi storici precedenti all'evento vengono scalati in modo che la serie risulti continua attraverso lo split o il dividendo, mentre l'aggiustamento stesso viene registrato separatamente invece di essere assorbito silenziosamente. Per le barre intraday in particolare, l'aggiustamento deve essere applicato in modo uniforme a ogni barra della giornata interessata, non solo alla chiusura giornaliera, altrimenti si ottiene una sessione internamente incoerente in cui le barre iniziali non sono aggiustate mentre quelle successive lo sono.

I contratti futures affrontano un problema analogo alla scadenza del contratto anziché in corrispondenza di una corporate action: una politica di roll documentata, back-adjusted, ratio-adjusted o non aggiustata che sia, deve essere dichiarata esplicitamente da chi ha assemblato la serie. Un dataset che cuce insieme i contratti senza dichiarare il proprio metodo di roll è uno dei segnali d'allarme più chiari della checklist di sourcing vista sopra, perché nasconde esattamente il tipo di discontinuità che l'aggiustamento per split è pensato per correggere sul lato azionario.

Handling corporate actions and splits in intraday data — overview diagram

Eventi di mercato e festività e il loro effetto sulla qualità dei dati

Le festività e le chiusure anticipate sono i punti in cui i dataset intraday falliscono più spesso in modo silenzioso. Una sessione accorciata ha meno barre di una giornata normale, e se la tua pipeline presume un numero fisso di barre per sessione, una chiusura anticipata non rilevata tronca i dati reali oppure, peggio, riempie il gap con una barra stantia ripetuta che sembra legittima.

Eventi di mercato importanti, sospensioni da circuit-breaker e picchi estremi di volatilità mettono sotto pressione anche la logica di pulizia descritta in precedenza. Una sospensione genuina assomiglia a una barra stantia, e un picco di volatilità genuino assomiglia a uno spike fantasma, quindi le regole di rilevamento che applichi devono avere abbastanza contesto (volume, barre circostanti, registri pubblicati delle sospensioni) per distinguere i due casi, piuttosto che segnalare o conservare uno dei due per default.

La gestione del calendario deve essere esplicita e testata, non presunta. Prima di fidarti di una storia intraday pluriennale, verifica il conteggio delle barre rispetto al calendario pubblicato di festività e chiusure anticipate per ogni venue inclusa, lo stesso test di accettazione raccomandato in precedenza per le normali chiusure anticipate, applicato su tutto l'arco del dataset invece che su una singola giornata campione.

Three checks for intraday calendar data quality

Prospettiva pratica: cosa serve davvero per lavorare con i dati intraday

Rendere operativi i dati intraday è soprattutto una questione di contabilità su calendari e contratti, non di modellazione. Aspettati di dover mantenere la logica di roll per i futures, i calendari di festività e chiusure anticipate per ogni venue, e uno schema di versionamento che ti permetta di dimostrare, mesi dopo, quale dataset ha prodotto quale risultato di backtest.

Costruire una pipeline pulita internamente ha senso quando il tuo vantaggio dipende dal controllare ogni singolo passaggio, incluso il lavoro di microstruttura che richiede tick data e ricostruzione dell'NBBO. Per la maggior parte del backtesting a livello di strategia, acquistare una storia a minute-bar mantenuta e back-adjusted e dedicare il tempo di ingegneria alla strategia stessa è il modo migliore in cui un piccolo team può investire le proprie ore. In entrambi i casi, mantieni log di audit e un piccolo set di test standard (coerenza del timestamp, conteggio delle barre nelle chiusure anticipate, controllo incrociato sugli spike) da eseguire su ogni nuova versione del dataset prima che tocchi una strategia live.

— Start

Prova un campione prima di scegliere un dataset

Se la checklist descritta sopra rappresenta lo standard, il passo pratico successivo è testare un dataset rispetto a essa invece di fidarsi della parola di un vendor. Il nostro FOREX SuperPack raggruppa in un unico download una storia a minute-bar pulita e back-adjusted sulle principali coppie valutarie, costruita esattamente per il livello di verifica su politica di roll ed etichettatura descritto in questa guida. Una copertura multi-asset più ampia su forex, metalli, obbligazioni e indici si trova nella nostra linea Historical Data, e l'accesso continuativo a dataset aggiornati è disponibile tramite l'Annual Plan a 119 EUR all'anno.

Richiedi una giornata campione da qualsiasi dataset prima di acquistarlo ed eseguici gli stessi controlli di coerenza del timestamp e di chiusura anticipata descritti sopra. Se stai valutando un feed a bassa latenza per l'esecuzione live rispetto a un set storico pulito per il backtesting, un approfondimento di un nostro partner su cosa significano i dati in tempo reale per gli scalper è un buon complemento al lato backtesting trattato qui. Parti dal catalogo Historical Data e scegli la classe di asset che corrisponde alla tua strategia.

FAQ

Qual è la differenza tra tick data e dati a minute bar?

I tick data registrano ogni singolo trade o variazione di quotazione, mentre le minute bar aggregano quell'attività in intervalli fissi con apertura, massimo, minimo e chiusura. Le minute bar sono adatte alla maggior parte dei backtest di strategia, mentre i tick data sono necessari per la ricostruzione dell'order book e per l'analisi della qualità dell'esecuzione.

Perché i backtest differiscono così tanto tra i diversi provider di dati?

I backtest divergono soprattutto a causa di massimi e minimi fantasma, barre stantie o mancanti, e convenzioni di etichettatura delle barre incoerenti tra i provider. Un caso pratico documentato ha mostrato che la stessa identica logica di strategia produceva risultati che differivano di oltre tre volte una volta prese in considerazione queste differenze nella gestione dei dati.

Quanto costano i dati storici intraday con licenza da exchange?

I dati storici con licenza da exchange comportano sia una tariffa ricorrente sia un addebito separato per il backfill. Il listino pubblicato da NYSE riporta 3.800 dollari al mese per un abbonamento Daily TAQ attivo, più 500 dollari al mese per lo storico aggiuntivo.

Cos'è l'etichettatura delle barre e perché conta per i backtest?

L'etichettatura delle barre si riferisce al fatto che il timestamp di una barra indichi l'inizio o la fine del suo intervallo, e i provider non sono coerenti su questo. Un disallineamento non rilevato sposta ogni segnale di una barra e tipicamente emerge per la prima volta nelle giornate di chiusura anticipata.

Dove posso acquistare dati a minute-bar puliti e pronti per l'importazione in MT4 o MT5?

Offriamo dataset storici completi a minute-bar formattati per l'importazione diretta in MT4 e MT5. La nostra linea Historical Data e il FOREX SuperPack sono costruiti specificamente per questo caso d'uso.

Fonti

Consigliati

Risorse correlate

Scopri i pacchetti di dati storici di BacktestMarket per mettere in pratica le idee di questo articolo.