Backtesting a forwardové testovanie: význam korelácie

Obchodníci, ktorí túži vyskúšať obchodný nápad na živom trhu, sa často mýlia, keď sa spoliehajú výlučne na výsledky spätného testovania, aby určili, či bude systém ziskový. Aj keď spätné testovanie môže obchodníkom poskytnúť cenné informácie, je často zavádzajúce a je iba jednou časťou procesu hodnotenia.

Testovanie mimo vzorky a testovanie výkonnosti dopredu poskytuje ďalšie potvrdenie týkajúce sa účinnosti systému a môže ukázať skutočné farby systému skôr, ako bude na linke skutočná hotovosť. Na určenie životaschopnosti systému obchodovania je nevyhnutná dobrá korelácia medzi výsledkami spätného testovania, výsledkami mimo vzorkovania a priamym testovaním výkonnosti. (Ponúkame niekoľko tipov na tento proces, ktoré vám môžu pomôcť spresniť vaše súčasné obchodné stratégie. Ak sa chcete dozvedieť viac, prečítajte si: Spätné testovanie: Interpretácia minulosti .)

Základy spätného testovania

Backtesting znamená použitie obchodného systému na historické údaje, aby sa overilo, ako by systém fungoval počas špecifikovaného časového obdobia. Mnoho dnešných obchodných platforiem podporuje spätné testovanie. Obchodníci môžu testovať nápady niekoľkými stlačeniami klávesov a získať prehľad o efektívnosti nápadu bez toho, aby riskovali prostriedky na obchodnom účte. Spätné testovanie môže vyhodnotiť jednoduché nápady, ako napríklad výkonnosť kríženia kĺzavého priemeru na historických údajoch alebo zložitejšie systémy s rôznymi vstupmi a spúšťačmi.

Pokiaľ sa dá nápad kvantifikovať, môže sa spätne vyskúšať. Niektorí obchodníci a investori môžu požiadať odborníka kvalifikovaného programátora o to, aby sa táto myšlienka vyvinula v testovateľnú formu. Zvyčajne to znamená, že programátor kóduje myšlienku do proprietárneho jazyka hosteného obchodnou platformou. Programátor môže obsahovať vstupné premenné definované používateľom, ktoré umožňujú obchodníkovi systém „vyladiť“. Príkladom by bol systém kríženia s jednoduchým kĺzavým priemerom uvedený vyššie: Obchodník by bol schopný zadať (alebo zmeniť) dĺžky dvoch kĺzavých priemerov použitých v systéme. Obchodník by mohol spätne určiť, ktoré dĺžky kĺzavých priemerov by boli najlepšie na historických údajoch.

Optimalizačné štúdie

Mnoho obchodných platforiem umožňuje aj optimalizačné štúdie. To znamená zadať rozsah pre zadaný vstup a nechať počítač „urobiť matematiku“, aby zistil, aký vstup by sa dosiahol najlepšie. Optimalizácia s viacerými premennými môže urobiť matematiku pre dve alebo viac premenných, aby sa určilo, ktoré kombinácie by dosiahli najlepší výsledok. Obchodníci môžu napríklad povedať programu, aké vstupy by chceli pridať do svojej stratégie; tieto by sa potom optimalizovali na ich ideálne hmotnosti vzhľadom na testované historické údaje.

Spätné testovanie môže byť vzrušujúce v tom, že nerentabilný systém môže byť často magicky transformovaný na stroj na výrobu peňazí s niekoľkými optimalizáciami. Vylepšenie systému na dosiahnutie najvyššej úrovne ziskovosti v minulosti bohužiaľ často vedie k systému, ktorý bude mať reálne výsledky v reálnom obchodovaní. Táto nadmerná optimalizácia vytvára systémy, ktoré vyzerajú dobre iba na papieri.

Prispôsobenie krivky je použitie optimalizačnej analytiky na vytvorenie najvyššieho počtu víťazných obchodov s najväčším ziskom z historických údajov použitých v testovacom období. Aj keď to vyzerá pôsobivo pri spätnom testovaní výsledkov, prispôsobenie krivky vedie k nespoľahlivým systémom, pretože výsledky sú v zásade navrhnuté na mieru pre konkrétne údaje a časové obdobie.

Spätné testovanie a optimalizácia poskytujú obchodníkovi mnoho výhod, ale toto je len časť procesu pri hodnotení potenciálneho obchodného systému. Ďalším krokom obchodníka je uplatniť systém na historické údaje, ktoré sa nepoužili v počiatočnej fáze spätného testovania.

Údaje vo vzorke oproti údajom mimo vzorky

Pri testovaní myšlienky historických údajov je vhodné vyhradiť časové obdobie historických údajov na účely testovania. Počiatočné historické údaje, na základe ktorých sa nápad testuje a optimalizuje, sa označujú ako údaje vo vzorke. Súbor údajov, ktorý bol rezervovaný, sa nazýva údaje mimo vzorkovania. Toto nastavenie je dôležitou súčasťou procesu hodnotenia, pretože poskytuje spôsob, ako otestovať myšlienku údajov, ktoré neboli súčasťou optimalizačného modelu. Výsledkom bude, že táto myšlienka nebude nijako ovplyvnená údajmi mimo vzorky a obchodníci budú môcť určiť, ako dobre by systém mohol fungovať pri nových údajoch, tj pri obchodovaní v reálnom živote.

Pred začatím spätného testovania alebo optimalizácie môžu obchodníci vyčleniť určité percento historických údajov, ktoré sa majú rezervovať na testovanie mimo vzorky. Jednou z metód je rozdelenie historických údajov na tretiny a oddelenie jednej tretiny na použitie pri testovaní mimo vzorky. Na počiatočné testovanie a akúkoľvek optimalizáciu by sa mali používať iba údaje vo vzorke. Obrázok 1 ukazuje časový horizont, v ktorom je jedna tretina historických údajov vyhradená na testovanie mimo vzorky a dve tretiny sa používajú na testovanie vo vzorke. Hoci obrázok 1 zobrazuje dáta mimo vzorky na začiatku testu, typické postupy by mali časť mimo vzorky bezprostredne predchádzajúcu prednej výkonnosti.

Obrázok 1: Časová čiara predstavuje relatívnu dĺžku údajov vo vzorke a mimo vzorky použitých v procese spätného testovania.

Korelácia sa týka podobností medzi výkonmi a celkovými trendmi týchto dvoch súborov údajov. Metrika korelácie sa môže použiť na hodnotenie správ o výkonnosti stratégie vytvorených počas testovacieho obdobia (funkcia, ktorú poskytuje väčšina obchodných platforiem). Čím silnejšia korelácia medzi nimi je, tým väčšia je pravdepodobnosť, že systém bude dobre fungovať pri testovaní výkonnosti vpred a pri živom obchodovaní.

Obrázok 2 zobrazuje dva rôzne systémy, ktoré boli testované a optimalizované na údajoch vo vzorke, a potom sa použili na údaje mimo vzorky. Graf vľavo ukazuje systém, ktorý bol jednoznačne vhodný na krivky, aby dobre pracoval na údajoch vo vzorke a úplne zlyhal na údajoch mimo vzorky. Graf napravo zobrazuje systém, ktorý sa dobre daril pri vstupných aj výstupných údajoch. Keď sa obchodný systém vyvinie pomocou údajov vo vzorke, je pripravený na použitie na údaje mimo vzorky. Obchodníci môžu vyhodnotiť a porovnať výsledky výkonnosti medzi údajmi vo vzorke a mimo nej.

Obrázok 2: Dve krivky vlastného kapitálu. Obchodné údaje pred každou žltou šípkou predstavujú testovanie vo vzorke. Obchody generované medzi žltou a červenou šípkou naznačujú testovanie mimo vzorky. Obchody za červenými šípkami sú z fázy testovania výkonnosti vpred.

Ak existuje malá korelácia medzi testovaním vo vzorke a mimo nej, ako je to v ľavom diagrame na obrázku 2, je pravdepodobné, že systém bol nadmerne optimalizovaný a pri živom obchodovaní nebude fungovať dobre. Ak existuje silná korelácia vo výkone, ako je vidieť na pravom diagrame na obrázku 2, ďalšia fáza hodnotenia zahŕňa ďalší typ mimosúdnych testov známych ako predbežné testovanie výkonnosti. (Ďalšie informácie o predpovedaní nájdete v časti: Finančné predpovede: Bayesovská metóda .)

Základy testovania vpred

Forwardové testovanie výkonnosti, známe tiež ako obchodovanie s papierom, poskytuje obchodníkom ďalšiu skupinu údajov mimo vzorky, na základe ktorých sa dá vyhodnotiť systém. Testovanie výkonnosti vpred je simuláciou skutočného obchodovania a zahŕňa sledovanie logiky systému na živom trhu. Nazýva sa to aj obchodovanie s papierom, pretože všetky obchody sa vykonávajú iba na papieri; to znamená, že obchodné záznamy a výstupy sa zdokumentujú spolu so ziskom alebo stratou systému, ale nevykonávajú sa žiadne skutočné obchody.

Dôležitým aspektom testovania výkonnosti vpred je presne sledovať logiku systému; inak je ťažké, ak nie nemožné, presne vyhodnotiť tento krok procesu. Obchodníci by mali byť čestní v súvislosti s akýmikoľvek obchodnými vstupmi a výstupmi a mali by sa vyhnúť správaniu, ako je napríklad zber čerešní, alebo nezahŕňať obchod s papierom racionalizujúci, že „tento obchod by som nikdy nebral.“ Ak by k obchodu došlo podľa logiky systému, malo by sa to zdokumentovať a vyhodnotiť.

Mnoho maklérov ponúka simulovaný obchodný účet, na ktorom je možné obchodovať a vypočítať zodpovedajúci zisk a stratu. Použitie simulovaného obchodného účtu môže vytvoriť polorealistickú atmosféru, v ktorej bude možné obchodovať a ďalej posudzovať systém.

Obrázok 2 tiež ukazuje výsledky testovania výkonnosti dvoch systémov vpred. Systém uvedený v ľavom diagrame opäť nedosahuje dobré výsledky po počiatočnom testovaní na vzorkách. Systém zobrazený v pravom grafe však naďalej funguje dobre vo všetkých fázach vrátane testovania výkonnosti vpred. Systém, ktorý vykazuje pozitívne výsledky s dobrou koreláciou medzi vzorkovaním vo vzorke, mimo vzorky a testovaním výkonnosti vpred, je pripravený na implementáciu na živom trhu. (Pozri tiež: Výhody a nevýhody obchodovania s papierom .)

Spodný riadok

Backtesting je cenným nástrojom dostupným vo väčšine obchodných platforiem. Rozdelenie historických údajov do viacerých súborov na zabezpečenie testovania vo vzorke a mimo nej môže obchodníkom poskytnúť praktické a efektívne prostriedky na vyhodnotenie obchodnej myšlienky a systému. Pretože väčšina obchodníkov využíva pri spätnom testovaní optimalizačné techniky, je dôležité vyhodnotiť systém na základe čistých údajov a určiť jeho životaschopnosť.

Pokračovanie v testovaní mimo vzorky s dopredným testovaním výkonnosti poskytuje ďalšiu úroveň bezpečnosti pred uvedením systému na trh riskujúcim skutočnú hotovosť. Pozitívne výsledky a dobrá korelácia medzi spätným testovaním vo vzorke a mimo nej a predbežným testovaním výkonnosti zvyšuje pravdepodobnosť, že systém bude v skutočnom obchodovaní dobre fungovať. (Komplexný prehľad o technickej analýze nájdete v: Základy technickej analýzy .)