Warum Backtests?

Über Sinn und Zweck von Backtests läßt sich trefflich streiten. Tatsächlich hat man als Trader jedoch ohne Backtests erst mal keinerlei Aussage, ob ein Handelssystem über einen längeren Zeitraum einen positiven Erwartungswert hatte. Eine Aussage, ob das System auch in Zukunft mit ähnlichen Werten arbeitet, können wir daraus zwar nicht ableiten, jedoch ist eine höhere Wahrscheinlichkeit gegeben, dass sich positive Ergebnisse fortsetzen.

Märkte verändern sich

Es ist bei vielen Handelssystemen auffällig, dass diese seit 2007 bzw. 2008 deutlich andere Ergebnisse als davor. Märkte verändern sich regelmäßig, insbesondere in kritischen Zeiten, wie wir sie derzeit erleben. Daher ist beim Herausfinden von optimalen Werten bei Backtests entscheidend, solche Werte zu ermitteln, die in der jüngsten Vergangenheit optimal waren, jedoch auch über einen längeren Zeitraum akzeptable Ergebnisse liefern.

Curve Fitting und Über-Optimierung

Durch Optimierungsläufe lassen sich schnell die besten Einstellungen für ein Handelssystem ermitteln. Problematisch kann die Verwendung der Einstellungen dann werden, wenn diese das Ergebnis von statistischen Ausreissern sind. Sie sollten daher darauf achten, dass das Ergebnis bei geringfügigen Veränderungen der Werte der Eingabevariablen nicht signifikant abweicht. So sollte beispielsweise ein Handelssystem, das einen Moving Average mit einer Periodizität von 20 nutzt, auch mit einer Einstellung von 19 und 21 keine extreme Abweichung vom Ergebnis bringen. Eine weitere Möglichkeit, Curve-Fitting zu vermeiden besteht in der Nutzung von Out-of-Sample-Tests. Weiterführende Informationen dazu finden Sie z.B. auf Investopedia.

Backtest vs. Forwardtest

Der Forwardtest hat den entscheidenden Vorteil, dass er reale Marktbedingungen berücksichtigt.

Die Nachteile von Backtests:

(1) Zufällige Ticks
Die Kurshistorien im Metatrader enthalten nur Informationen über Open, High, Low, Close sowie das Volumen. Ticks werden daher bei Metatrader-Backtests nach einem Algorithmus zufällig berechnet und weichen somit von den realen Ticks der Vergangenheit ab.
(2) Unterschiedliche Datenfeeds
Jeder Metatrader Broker hat unterschiedliche Datenfeeds. Insbesondere im unregulierten Forex Markt sind die Abweichungen zwischen den Brokern teilweise erheblich. Zudem weisen nach unserer Erfahrung die Datenfeeds Lücken auf. Insbesondere Kursdaten in den kleinen Timeframes wie M1, M5 sind nur für eine kurzen Zeitraum in der Vergangenheit verfügbar. Es gibt zwar die Möglichkeit, von Metaquotes die Daten herunter zu laden, jedoch weichen diese Daten noch mehr von den Broker-Daten ab und weisen ebenfalls Datenlücken auf. Daher ist die Verfügbarkeit von lückenlosen M1-Kursdaten von einem Broker Voraussetzung, um brauchbare Backtests durchführen zu können.
(3) Fixe Spreads
Im Backtest kann nur mit einem fixen Spread gearbeitet werden. Abweichungen zum realen Ask u. Bid bei Brokern mit variablen Spread werden im Backtest nicht berücksichtigt und verfälschen die Ergebnisse. Insbesondere in stark volatilen Phasen wie z.B. bei News kann es bei manchem Broker zu sehr starken Ausweitungen kommen, so dass Stops schnell geholt werden oder im positiven Fall ein Takeprofit-Ziel erreicht wird, wobei das bei einem fixem Spread nicht der Fall wäre.
(4) Slippage und Re-Quotes
Die tatsächlichen Ausführungskurse weichen von den beabsichtigten ab. Es kommt zu Slippage und einige Broker bedienen sich der Re-Quotes. So kommen manche Trades im realen Handel zu anderen Einstiegs- und Ausstiegs-Kursen oder gar nicht zu Stande.
(5) Unterschiedliche Zeitzonen
Kerzen ab dem 4-Stunden-Chart können in anderen Zeitzonen anders aussehen. Handelssysteme, die Werte aus solchen Kerzen nutzen (z.B. Daily Range, High of the Day, ...), bekommen in unterschiedlichen Zeitzonen Werte zurückgeliefert. Beachten Sie
(6) Sonntags-Kerze
Am Sonntag ist der Forex-Markt für kurze Zeit (bei uns ab 23 Uhr) geöffnet. Der Handel einer Stunde macht den Handel bestimmt damit das Aussehen der Sonntagskerze. In unterschiedlichen Zeitzonen sieht die Kerze aufgrund der unterschiedlichen Anzahl von Stunden zudem nochmals anders aus. Viele Systeme blenden die Sonntags-Kerze daher aus. Manche Broker liefern für Sonntags auch keinen Feed. Beachten Sie daher, dass es bei verschiedenen Brokern sowie Zeitzonen zu zusätzlichen Abweichungen bei Indikatoren und den Handelsergebnissen kommen kann.

Die Nachteile von Forward-Tests:
(1) Der Faktor Zeit
Forwardtests laufen leider nicht im Zeitraffer. Daher muß man für diese Tests sehr viel Zeit mitbringen.

(2) Unterschiedliche Kursaten und Ausführungskurse
Leider bleiben auch beim Forward-Test die Abweichungen von Kurse, Spreads u. Slippage bestehen. Von Broker zu Broker sind diese unterschiedlich, aber selbst bei identischen Broker am selben Datenserver, an der selben Internet-Leitung, mit dem selben Handelssystem kann es zu unterscheidlichen Kursstellungen und Ausführungskursen kommen. Sogar auf dem selben Computer sind Abweichungen zu beobachten.

Insbesondere bei höher frequentierten Handelssystemen (z.B. Scalping-Systeme) kann sich das Ergebnis eines Backtests durch einen Forward-Test deutlich eintrüben. Unserer Erfahrung nach versagen viele Systeme, die im Backtest erfolgsversprechende Werte lieferten, im Real-Handel. Umgekehrt ist es aber auch möglich, dass Systeme, die in den Backtests nur mäßige bis schlechte Ergebnisse liefern, im Real-Handel gut abschneiden.Daher ist ein Forwardtest deutlich aussagekräftiger, als ein Backtest.

Kombinieren

In der Praxis arbeiten viele Trader bei der Entwicklung von Handelssystemen daher so, dass die Strategie anhand eines Backtests für die Vergangenheit geprüft wird. Damit bekommt man eine schnelle grobe Aussage, ob es sich lohnt, das System weiter zu entwickeln. Ist der Backtest positiv, werden die Werte auf den jüngeren Zeitraum (bei hoher Handelsfrequenz des Systems 1 bis 3 Monate, bei niedriger Frequenz auch mehrere Monate und Jahre) optimiert. Laufen diese Werte auch in der längeren Vergangenheit mit positivem Ergebnis, wird das System im realen Handel getestet. Die Laufzeit richtet sich auch hier nach der Handelsfrequenz. Als Plattform ist ein Echtgeldkonto vorteilhaft, da die Broker hier häufig andere Datenfeeds haben, als auf Demokonten. Um mögliche Verluste klein zu halten, sollte eine Positionsgröße von 0,01 Lot gewählt werden. Verläuft auch der Forwardtest mit ansprechenden Ergebnissen, kann das System auf einem Echtgeldkonto und mit nach Money-Management berechneten Positionsgrößen gehandelt werden.