Backtesting og fremadgående test: betydningen af ​​korrelation

Forhandlere, der er ivrige efter at prøve en handelsidé på et levende marked, begår ofte fejlen ved at stole helt på backtesting-resultater for at afgøre, om systemet vil være rentabelt. Selvom backtesting kan give de handlende værdifulde oplysninger, er det ofte vildledende, og det er kun en del af evalueringsprocessen.

Test uden test og fremadgående ydelsestest giver yderligere bekræftelse af et systems effektivitet og kan vise et systems ægte farver, før reelle kontanter er på banen. God sammenhæng mellem backtesting, out-of-sample og forward performance testresultater er afgørende for at bestemme levedygtigheden af ​​et handelssystem. (Vi tilbyder nogle tip til denne proces, der kan hjælpe med at forbedre dine nuværende handelsstrategier. For at lære mere skal du læse: Backtesting: Fortolkning af fortiden .)

Grundlæggende backtesting

Backtesting henviser til anvendelse af et handelssystem på historiske data for at kontrollere, hvordan et system ville have fungeret i den specificerede periode. Mange af dagens handelsplatforme understøtter backtesting. Forhandlere kan teste ideer med et par tastetryk og få indsigt i effektiviteten af ​​en idé uden at risikere midler på en handelskonto. Backtesting kan evaluere enkle ideer, såsom hvordan et glidende gennemsnitskrydsning ville fungere på historiske data, eller mere komplekse systemer med en række input og triggere.

Så længe en idé kan kvantificeres, kan den testes tilbage. Nogle handlende og investorer kan søge ekspertisen hos en kvalificeret programmør til at udvikle ideen til en testbar form. Dette involverer typisk en programmerer, der koder ideen til det proprietære sprog, der er vært for handelsplatformen. Programmereren kan inkorporere brugerdefinerede inputvariabler, der giver den erhvervsdrivende mulighed for at "justere" systemet. Et eksempel på dette ville være i det enkle bevægelsesmiddelovergangssystem, der er nævnt ovenfor: Den erhvervsdrivende vil være i stand til at indtaste (eller ændre) længderne af de to bevægende gennemsnit, der bruges i systemet. Den erhvervsdrivende kunne backtest for at bestemme, hvilke længder bevægelige gennemsnit ville have fungeret bedst på de historiske data.

Optimeringsundersøgelser

Mange handelsplatforme giver også mulighed for optimeringsundersøgelser. Dette indebærer at indtaste et interval for den specificerede input og lade computeren "gøre matematikken" for at finde ud af, hvilket input der ville have fungeret bedst. En multi-variabel optimering kan gøre matematikken for to eller flere variabler for at bestemme, hvilke kombinationer der ville have opnået det bedste resultat. For eksempel kan forhandlere fortælle programmet, hvilke input de gerne vil tilføje til deres strategi; disse vil derefter blive optimeret til deres ideelle vægt i betragtning af de testede historiske data.

Backtesting kan være spændende, idet et ulønnsomt system ofte magisk kan omdannes til en pengeindtægtsmaskine med et par optimeringer. Desværre fører tilpasning af et system for at opnå det største niveau af fortidens rentabilitet ofte til et system, der vil fungere dårligt i reel handel. Denne overoptimering skaber systemer, der kun ser godt ud på papir.

Kurvepasning er brugen af ​​optimeringsanalyse til at skabe det højeste antal vindende handler med det største overskud på de historiske data, der blev brugt i testperioden. Selvom det ser imponerende ud i backtesting-resultater, fører kurvetilpasning til upålidelige systemer, da resultaterne i det væsentlige er specialdesignet til den bestemte data og tidsperiode.

Backtesting og optimering giver mange fordele for en erhvervsdrivende, men dette er kun en del af processen, når man vurderer et potentielt handelssystem. En erhvervs næste trin er at anvende systemet til historiske data, der ikke er blevet brugt i den indledende backtesting-fase.

In-sample versus out-of-sample data

Når man tester en idé om historiske data, er det fordelagtigt at reservere en periode med historiske data til testformål. De oprindelige historiske data, som ideen testes og optimeres på, kaldes dataene i prøven. Datasættet, der er reserveret, kaldes data uden for prøven. Denne opsætning er en vigtig del af evalueringsprocessen, fordi den giver en måde at teste ideen om data, der ikke har været en komponent i optimeringsmodellen. Som et resultat vil ideen på ingen måde være påvirket af data uden for prøven, og forhandlere vil være i stand til at bestemme, hvor godt systemet kan fungere på nye data, dvs. i den virkelige handel.

Før de påbegynder enhver backtesting eller optimering, kan de erhvervsdrivende afsætte en procentdel af de historiske data, der skal reserveres til prøveudtagning uden for prøven. En metode er at opdele de historiske data i tredjedele og adskille en tredjedel til brug i testen uden for prøven. Kun data i prøven skal bruges til den indledende test og enhver optimering. Figur 1 viser en tidslinje, hvor en tredjedel af de historiske data er forbeholdt test uden for prøven, og to tredjedele bruges til in-sample-testen. Selvom figur 1 viser data uden for prøven i begyndelsen af ​​testen, ville typiske procedurer have delen uden for prøven umiddelbart før den fremadrettede ydeevne.

Figur 1: En tidslinje, der repræsenterer den relative længde af in-sample og out-of-sample data anvendt i backtesting processen.

Korrelation refererer til ligheder mellem forestillingerne og de samlede tendenser i de to datasæt. Korrelationsmetrics kan bruges til evaluering af strategiudviklingsrapporter oprettet i testperioden (en funktion, som de fleste handelsplatforme leverer). Jo stærkere korrelationen mellem de to er, jo større er sandsynligheden for, at et system vil fungere godt i fremadrettet performance-test og live-handel.

Figur 2 illustrerer to forskellige systemer, der blev testet og optimeret på data i prøven og derefter anvendt til data uden for prøven. Diagrammet til venstre viser et system, der tydeligt var kurve-fit til at fungere godt på in-sample-dataene og fuldstændigt mislykkedes på out-of-sample-dataene. Diagrammet til højre viser et system, der har fungeret godt både i og uden for prøvedata. Når et handelssystem er blevet udviklet ved hjælp af in-sample-data, er det klar til at blive anvendt på out-of-sample-dataene. Forhandlere kan evaluere og sammenligne resultatresultaterne mellem in-sample og out-of-sample data.

Figur 2: To aktiekurver. Handelsdataene for hver gule pil repræsenterer test i prøven. De handler, der genereres mellem de gule og røde pile, indikerer, at prøven er uden for prøven. Handlerne efter de røde pile er fra de fremadrettede testfaser.

Hvis der er lidt sammenhæng mellem in-sample og out-of-sample-test, som det venstre diagram i figur 2, er det sandsynligt, at systemet er blevet overoptimeret og ikke vil fungere godt i live trading. Hvis der er stærk sammenhæng i ydeevnen, som det ses i det rigtige diagram i figur 2, involverer den næste fase af evalueringen en ekstra type out-of-sample-test kendt som fremadgående præstationsprøvning. (For mere læsning af prognoser, se: Finansiel prognose: Den bayesiske metode .)

Grundlæggende test for fremførelsesprøvning

Fremadrettet ydelsestest, også kendt som papirhandel, giver handlende et andet sæt out-of-sample-data, som de skal evaluere et system på. Fremadrettet ydelsestest er en simulering af faktisk handel og involverer at følge systemets logik i et live marked. Det kaldes også papirhandel, da alle handler kun udføres på papir; det vil sige, at handelsposter og -udgange dokumenteres sammen med ethvert overskud eller tab for systemet, men ingen reelle handler udføres.

Et vigtigt aspekt ved fremadrettet ydelsestest er at følge systemets logik nøjagtigt; Ellers bliver det vanskeligt, hvis ikke umuligt, at nøjagtigt evaluere dette trin i processen. Erhvervsdrivende skal være ærlige over for alle handelsindgange og udgange og undgå opførsel som kirsebærplukningsfag eller ikke omfatte en handel på papir, der rationaliserer, at "jeg ville aldrig have taget den handel." Hvis handelen ville have fundet sted efter systemets logik, skal den dokumenteres og evalueres.

Mange mæglere tilbyder en simuleret tradingkonto, hvor handler kan placeres, og det tilsvarende fortjeneste og tab beregnes. Brug af en simuleret tradingkonto kan skabe en semi-realistisk atmosfære, hvorpå man kan øve handel og vurdere systemet yderligere.

Figur 2 viser også resultaterne til fremførende ydelsestest på to systemer. Igen mislykkes det system, der er vist i det venstre diagram, langt ud over den indledende test på data i prøven. Systemet, der er vist i det rigtige diagram, fortsætter imidlertid med at fungere godt gennem alle faser, inklusive fremadgående ydelsestest. Et system, der viser positive resultater med god sammenhæng mellem in-sample, out-of-sample og forward performance test er klar til at blive implementeret i et live marked. (Se også: Fordele og ulemper ved papirhandel .)

Bundlinjen

Backtesting er et værdifuldt værktøj tilgængeligt i de fleste handelsplatforme. Opdeling af historiske data i flere sæt for at give mulighed for in-sample og out-of-sample-test kan give de handlende et praktisk og effektivt middel til evaluering af en handelsidee og -system. Da de fleste erhvervsdrivende anvender optimeringsteknikker i backtesting, er det vigtigt at derefter evaluere systemet på rene data for at bestemme dets levedygtighed.

At fortsætte testen uden for prøven med fremadrettet ydelsestest giver et andet lag af sikkerhed, før du sætter et system på markedet og risikerer reelle kontanter. Positive resultater og god sammenhæng mellem in-sample og out-of-sample backtesting og fremadrettet performance-test øger sandsynligheden for, at et system vil fungere godt i faktisk handel. (For en omfattende oversigt over teknisk analyse, se: Grundlæggende om teknisk analyse .)