Heranführung an das Problem der Qualitätsprüfung von Vorhersagen
Nun haben wir also gesehen, welche Wettarten es gibt, Wir haben gesehen, welche Formen von Wettanbietern es gibt. Und wir haben gelernt, dass sich der gute Spieler dadurch auszeichnet, dass er Geld hat, dass er viel Geld hat oder noch mehr Geld hat. Der schlechtere Spieler muss betteln gehen. Oder lernen, das geht eigentlich immer. Aber dennoch fragen wir uns: Gibt es nicht eine Methode, mit der wir die Qualität von Vorhersagen, unabhängig vom finanziellen Ergebnis, langfristig überprüfen können? Die Ungerechtigkeit von Spielausgängen müssen wir hierbei ebenfalls unberücksichtigt lassen, und darauf bauen, was uns die Mathematik in solchen Fällen im Prinzip verspricht: Langfristig gleicht sich alles aus.
Wie Sie der Einleitung entnehmen können, habe ich, auch als schlechter Dramaturg, eine Lösung parat. Als ich Sie damals 1993 fand, hatte ich noch keine Ahnung, dass es tatsächlich ein neues Konzept war. Es schien mir im Prinzip so einfach, dass ich eher mein mangelhaftes Gedächtnis dafür verantwortlich machte, dass ich mich nicht mehr aus dem Studium heraus an diese Methode erinnern konnte und sie erst wieder erarbeiten musste. Aber ich habe mich geirrt.
Ich formuliere also das Problem noch einmal: Ist es möglich, die Qualität einer Prognose, einer Einschätzung, einer Wahrscheinlichkeitsvorhersage auf ein Ereignis mit nicht bestimmter, also völlig unbekannter Eintrittswahrscheinlichkeit langfristig zu prüfen. Eine nicht unerheblich Zusatzvoraussetzung ist, dass das Experiment unter den gegebene Bedingungen wirklich nur ein einziges Mal durchgeführt wird. Ansonsten könnten wir ja durch Wiederholung des Ecxperiments (aud solche Fragen gibt es übrigens Antworten) allmählich die Eintrittswahrscheinlichkeit anhand der relativen Häufigkeit allmählich näherungsweise zu bestimmen. Nicht so bei einem Experiment, welches sich nicht wiederholen lässt.
Was die Mathematik zu diesem Thema hergibt, ist mangelhaft. Denn sie beschäftigt sich hatl nicht mit unbekannten Eintrittswahrscheinlichkeiten. Man bewegt wunderschön in dem selbst auferlegten und einfach so definierten Laplaceschen Wahrscheinlichkeitsraum und da benötigt man so etwas nicht. Und dann sind die Gesetze schnell hergeleitet und die Aussagen formuliert. Das war es. Kapitel Wahrscheinlichkeitsrechnung und Statistik erledigt. Das einzige, wo diese Überlegungen tatsächlich eine Rolle spielen, besser noch gesagt, dieser ganze Zweig der Mathematik, ist die Versicherungsmathematik. Nur wird dort mit so gigantischen Gewinnspannen kalkuliert (aus viel weiter oben erläuterten Gründen im Einverständnis der Wetter, also der Versicherungsnehmer), dass Fehleinschätzungen eine eher untergeordnete Rolle spielen.
Also sind wir gezwungen, eine eigene Methode zu finden. Nun beruht diese Methode tatsächlich auf längst bekannten Begriffen. Ich bin also garantiert mit dieser Erfindung kein Einstein. Eher ist es mir lediglich gelungen, eins und eins zusammen zu zählen. Und das soll ja schon Adam Riese geschafft haben…
Abgesehen davon, in einem hilflosen Versuch, die Spannung zu steigern, gestehe ich, dass ich die oben formulierte Frage des Problems tatsächlich nur mit „Nein“ beantworten werden kann. Es ist NICHT möglich. Zumindest ist es nicht möglich, eine einzelne Einschätzung zu prüfen. Denn, da bleibt es, wie auch vorher schon ausgedrückt, lediglich eine Aussage, in der Form von der Prognose „Das Ereignis tritt mit einer Wahrscheinlichkeit von x Prozent ein. Die Gegenwahrscheinlichkeit beträgt 1-x Prozent.“ Dann wird das Zufallsexperiment, das einzigartige durchgeführt. Und tatsächlich: Das Ereignis tritt ein oder das Gegenereignis tritt ein.
Also können wir definitiv eine einzelne Vorhersage nicht prüfen. Da wir eine einzelne nicht prüfen können, können wir im Prinzip auch nicht viele verschiedene prüfen. Aber wir können die Qualität des Vorhersagers prüfen. Dieser Mensch ordnet also immer wieder derartigen Ereignissen eine Wahrscheinlichkeit zu (einmaligen, nicht wiederholbaren). Und nach und nach stellt sich heraus, ob er ein guter Prophet ist, wenn Ihnen dieser Begriff zu de Thema gefällt. Und ein guter Prophet kann mithilfe meiner Methode sogar anhand seiner eigenen Zahlen identifiziert werden.
Die Qualitätsprüfung dieses Propheten im Vergleich mit anderen Propheten erscheint nach wie vor relativ einfach. Denn das geht so: Wetten auf die eigenen Einschätzungen, hinterher Geld zählen. Guter Prophet = Viel Geld. Aber eine Methode, die sich sowohl mit sich selber messen lässt als auch mit anderen vergleichen, das klingt doch verlockend? Man könnte also ohne jegliche Vergleichszahlen Vorhersagen auf beliebige Ereignisse treffen und mit dem eigenen Zahlenmaterial im Anschluss die Aussage d treffen: Die Vorhersagen waren gut.
Genug der Spannung, hier ist die Methode. Verwendet wird eigentlich nur der Erwartungswert. Das klingt erstaunlich banal. Aber der Erwartungswert einer Wahrscheinlichkeit? Da klingt es schon etwas waghalsig. Dennoch gibt es diesen Wert. Wie kann der ermittelt werden? Naja, eben so, wie man einen Erwartungswert ermittelt. Durch ausmultiplizieren der Einzelwahrscheinlichkeiten mit dem Ergebniswert der Zufallsgröße. Nur ist die Zufallsgröße hier selber eine Wahrscheinlichkeit. Also ein 70% Ereignis tritt zu 70% ein, ein 30% Ereignis tritt zu 30% ein. Wir multiplizieren also aus (im Beispiel ergänzen sich die Zahlen nicht zufällig zu 100%), also 70%*70% + 30%*30% = 0.7*0.7 + 0.3*0.3 = 049 + 0.09 = 0.58 oder 58%.
Wenn wir also ein Ereignis, dessen Eintrittswahrscheinlichkeit wir nur schätzen und welche niemals bekannt sein wird, auf 70% taxieren, dann würden wir einen Erwartungswert von 58% erzeugen. Was bedeutet dieser Erwartungswert? Da können wir uns im Prinzip ganz einfach helfen. Wir tun so, asl ob wir die Eintrittswahrscheinlichkeit tatsächlich kennen und das Experiment wiederholen können. Und dann schauen wir mal, was langfristig passieren würde.
Also wenn ein Zufallsexperiment tatsächlich 70:30 verteilt ist, dann überprüfen wir die Qualität der Vorhersage. Der Mathematiker hatte hier keinen Bedarf, da er die Wahrscheinlichkeit ja schon kennt. Wir haben aber Bedarf. Dennoch dient das Beispiel bei bekannter Eintrittswahrscheinlichkeit der Illustration. Also nehmen wir wieder das so beliebte Spiel Ziehen einer Kugel, aber mit zurücklegen. Wir haben also einen Topf mit 10 Kugeln und, wie üblich, sind die Kugeln darin rot und weiß. In diesem Falle 7 rote und 3 weiße. Wie ziehen eine Kugel, notieren die Farbe und legen die Kugel zurück. Was erwarten wir nun?
Wir erwarten langfristig, dass wir zu 70% rote Kugeln gezogen haben und zu 30% weiße. Das ist klar. Wir haben auch eine vorhergesagte durchschnittlich erwartete Wahrscheinlichkeit. Die ist, wie oben berechnet, 58%. Wir notieren also in vier Spalten: Prognostizierte Wahrscheinlichkeit, die Gegenwahrscheinlichkeit, die erwartete Wahrscheinlichkeit und die Wahrscheinlichkeit des tatsächlich eingetretenen Ereignisses.
Das sieht also immer so aus:
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 30.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 30.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 30.00% |
| 70.00% | 30.00% | 58.00% | 30.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 30.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 30.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
| 70.00% | 30.00% | 58.00% | 70.00% |
Spalte 1 bedeutet: Wahrscheinlichkeit für rote Kugel. Spalte 2: W-keit weiße Kugel. Spalte 3: durchschnittlich erwartete W-keit, Spalte 4: W-keit des eingetretenen Ereignisses. Nun bilden Sie die Summen der letzten beiden Spalten: Was haben wir erwartet und was ist eingetroffen? Sie werden feststellen, dass die Summen absolut identisch sind, 1160% oder 11.6. Das liegt in diesem Falle daran, dass wir erwartet haben, bei 20 Versuchen kommt 14 mal „rote Kugel“ und 6 Mal „weiße Kugel“. Langfristig wäre es sicher so, kurzfristig ist es Zufall. Dennoch aber gibt es die Deckungsgleichheit der Zahlen Aufschluss: Es ist eingetroffen, was wir erwartet haben. Unsere Maßzahl in der Spalte „durchschnittlich erwartete W-keit“ ist korrekt. Ja, auch das hat eine Ursache: Wir haben korrekt gerechnet. Wir haben einen korrekten Wert für die durchschnittlich erwartete W-keit ermittelt. Da es bei einem konkreten Beispiel bei bekannten Eintrittswahrscheinlichkeiten gilt, gilt es natürlich auch bei unbekannten und nicht wiederholbaren Ereignissen.
Langfristig können wir also die Qualität unserer Vorhersagen anhand unserer eigenen prognostizierten Eintrittswahrscheinlichkeiten messen.
Wir notieren einfach für jedes prognostizierte Ereignis eine W-keit, eine Gegenw-keit, eine erwartete W-keit und die W-keit des eingetretenen Ereignisses. Am Ende bilden wir die Summe der beiden letzten Spalten und vergleiche diese.
Jetzt bleibt nur noch die Fragestellung: Wann war die Prognose gut oder: Wann war der Prophet gut oder auch: Woran erkennt man einen guten Propheten. Und das ist, wie ich gleich zeigen werde, alles andere als offensichtlich.
