Im Skeptiker 3/98 erschien eine Kritik des Würzburger Mathematikers Dr. Herbert Basler zu dem Buch „Die Akte Astrologie“ von Gunter Sachs, der damit einen „statistischen Nachweis“ für die Astrologie erbracht haben wollte. Basler wies zahlreiche Fehler in den Berechnungen von Sachs nach, die dessen Ergebnisse und Behauptungen insgesamt in Frage stellten. Als Garant für die Korrektheit der Berechnungen hatte Sachs vorher Wissenschaftler des Statistischen Instituts der Universität München angeführt. Namentlich wurden von ihm Prof. Helmut Küchenhoff und Dr. Rita Künstler in Anspruch genommen. Auch schwere Fehler in einem 120seitigen Anhang des Sachs-Buches, der eine Studie des Instituts für Demoskopie in Allensbach enthielt, wurden von Dr. Basler aufgezeigt.
Wie bereits in Heft 3/98 angekündigt, luden wir Gunter Sachs, Prof. Küchenhoff und das Allensbach-Institut ein, im Skeptiker ausführlich auf die von Dr. Basler angeführten Kritikpunkte einzugehen. Leider haben die Betroffenen von dieser Möglichkeit des wissenschaftlichen Diskurses kaum Gebrauch gemacht. Gunter Sachs reagierte trotz mehrfacher Einladungen überhaupt nicht und verweigerte sich somit einer kritischen Diskussion. Prof. Küchenhoff sagte uns zunächst mündlich eine Stellungnahme zu, die dann aber auf sich warten ließ und schließlich ganz ausblieb bzw. auf erneute Nachfrage wieder abgesagt wurde. Statt dessen bekamen wir von Dr. Künstler einen sehr kurzen Text, der weiter unten abgedruckt ist. Nach Überprüfung der dort angeführten Sachverhalte stellt sich jedoch schnell heraus, dass – diese Wertung sei der Redaktion in diesem Fall ausnahmsweise erlaubt – darin letztlich nur Nebelkerzen geworfen und die von Dr. Basler aufgeworfenen Kritikpunkte inhaltlich völlig verfehlt werden. Wie Dr. Basler nachfolgend in seiner Erwiderung dokumentiert, deckt die kurze Künstler-Stellungnahme unfreiwillig nur weitere Fragwürdigkeiten und Fehler in der Sachs-Studie auf.
Inwieweit die ebenfalls nur kurze Stellungnahme des Allensbacher Institut für Demoskopie geeignet ist, die geübte Kritik zu entkräften, mögen die Leser anhand der Antwort von Dr. Basler selbst beurteilen. Das für Wissenschaftler merkwürdige Verhalten, trotz mehrfacher Einladungen einer kritischen Diskussion zu wissenschaftlichen Sachfragen weitgehend auszuweichen, hat die Redaktion bewogen, abschließend mit dem Beitrag von Joachim Hueg in allgemeinerer Perspektive die wissenschaftssoziologisch interessante Frage aufzugreifen, warum sich manche Wissenschaftler im Zusammenhang mit den Statistiken von Herrn Sachs bemerkenswert sonderlich zu benehmen
scheinen.
Erwiderung des Allensbacher Instituts für Demoskopie (Dr. Wilhelm Haumann)
Herr Dr. Basler beschäftigt sich in seinem Beitrag mit einer Auswertung der Allensbacher Markt- und Media-Analyse (AWA) nach den Sternzeichen der Befragten. Dabei macht er auf den Sachverhalt aufmerksam, dass die Gesamtheit der Befragten bei einigen Fragen leicht unterschiedlich antwortet als jene Befragten, die ihren Geburtstag nennen und die sich danach den einzelnen Sternzeichen-Gruppen zuordenen lassen. Da nun unsere Studie die Antworten der Gesamtheit mit denen der Sternzeichen-Gruppen vergleicht, wirft er uns „Vergleiche von Unvergleichbarem“ vor.
Die Einwände von Herrn Dr. Basler sind zum Teil gut begründet, es gibt in den Daten ein solches Element, einen sogenannten Bias, den wir aber u. a. deshalb in Kauf genommen haben, weil wir die größtmögliche Sicherheit anstrebten: Der sicherste Wert für die tatsächlichen Verhältnisse ist hier die Durchschnittsangabe aller Befragten, die wir für unsere Vergleiche deshalb auch herangezogen haben. Selbstverständlich haben wir bei unseren Analysen u. a. den von Herrn Dr. Basler geforderten Vergleich zwischen den einzelnen Sternzeichen-Gruppen und denjenigen angestellt, die hier ihren Geburtstag nennen. Auch bei dieser Form der Auswertung fanden sich auf dem 1 %-Niveau noch 2,5-mal so viele signifikante Abweichungen, wie sie nach der Wahrscheinlichkeitstheorie zu erwarten wären. Da die Grunddaten restlos veröffentlicht sind, lässt sich diese Aussage – wenn auch mit einigem Rechenaufwand – überprüfen. An dem Ergebnis der Untersuchung, das wir unserem Auftraggeber mitgeteilt haben, würde also auch eine solche Umstellung des Vergleichswerts kein Jota ändern. Wir stoßen bei unserer Aufteilung der AWA-Daten nach den Sternzeichen in den einzelnen Sternzeichen-Gruppen auf deutlich mehr Abweichungen, als sie nach der Theorie zu erwarten wären. Diese Abweichungen bedürfen einer Erklärung.
Die einzelnen Abweichungen, über die wir berichtet haben, verstehen wir im übrigen noch nicht als endgültige Beweise für die Wahrheit der astrologischen Theorie, sondern – wie es im Kommentar dazu ganz explizit dargestellt wird – als erste bemerkenswerte Anstöße, in diese Richtung weitere Beobachtungen und Explorationen anzustellen.
Basler antwortet dem Allensbacher Institut
In seiner Stellungnahme macht das Allensbacher Institut mit seiner Feststellung „Die Einwände von Dr. Basler sind zum Teil gut begründet“ die Leser naturgemäß neugierig auf die nicht gut begründeten Teile. Diese Neugier wird jedoch nicht befriedigt; denn anschließend wird zunächst die von mir kritisierte, unzulässige Verwendung des jeweiligen Anteils der Ja-Antworten unter allen 13 283 Befragten – anstatt des für den Sternzeichen-Vergleich ausschließlich zulässigen Anteils unter denjenigen 10 758 Befragten, deren Sternzeichen ermittelt werden konnte – durch den abwegigen Hinweis abzumildern versucht, dass der verwendete Anteil „der sicherste Wert für die tatsächlichen Verhältnisse“ sei.
Damit ist wohl gemeint, dass auf diese Weise der für die Primärauftraggeber – nämlich „Werbetreibende und Werbemittler“ (S. 223 im Sachs-Buch) allein interessierende Anteil von Ja-Antworten auf einer Stichprobe größeren Umfangs beruht als wenn man die 2525 Befragten weglässt, deren Sternzeichen nicht ermittelt werden konnte. Aber natürlich dürfen die Antworten dieser 2525 Personen entgegen dem Vorgehen von Allensbach in einer Sternzeichen-Vergleichsstudie nicht verwendet werden.
Sodann folgt in der Erwiderung der Hinweis, dass auch in der um diese 2525 Personen reduzierten Stichprobe angeblich immer noch „2,5mal so viele signifikante Abweichungen“ zu finden sind wie bei der Zugrundelegung der Zufallshypothese „zu erwarten wären“ und dass sich dies auch von den Lesern der publizierten Studie überprüfen lasse – „wenn auch mit einigem Rechenaufwand“. Quantifiziert bedeutet dies, dass der Leser für jede der 923 Fragen jeweils für jedes der 12 Sternzeichen nachzurechnen hat, ob die jeweilige publizierte Signifikanzaussage richtig oder – wie in den in meiner Kritik aufgegriffenen zwei Fällen – falsch ist. (Nach meiner Zählung sind allerdings die Antwort-Daten, die die Grundlage für eine Neuauswertung bilden würden, gar nicht für alle 923 Fragen angegeben.) Gemäß der Erwiderung aus Allensbach soll der Leser nach diesen 923 x 12 = 11076 Überprüfungen zu der Einsicht gelangen, dass sich am publizierten „Ergebnis der Untersuchung kein Jota ändern würde“. Dabei muss man natürlich zusätzlich noch bereit sein, von dem unentscheidbaren sogenannten multiplen Testproblem abzusehen, welche dieser nach des Lesers Sisyphus-Arbeit noch verbleibenden Signifikanzen reine Scheinsignifikanzen sind und welche nicht.
Erwiderung von Dr. Rita Künstler
In dem Beitrag von Herrn Dr. Basler überwiegt die Polemik so sehr, dass eine wissenschaftliche Diskussion schwer fällt. So kann jeder Leser des besprochenen Buches durch einfaches Zusammenzählen der Todesfälle pro Sternzeichen nachvollziehen, dass in der angegebenen Gesamtzahl auch die Suizide enthalten sind. Dieses Missverständnis beruht zugegebenermaßen auf einem Druckfehler: Auf den Seiten 150 und 151 der „Akte Astrologie“ müsste die Gesamtzahl 657 492 anstelle 687 850 Verstorbenen stehen, wenn man die Suizide nicht mitzählt. Dieser Fehler wurde bereits korrigiert. Aber die Tabellen in den beiden Kapiteln sind korrekt, und basierend auf den angegebenen Selbstmordzahlen müsste Dr. Basler auf eine Testgröße von 33,2 für den Chi2-Unabhängigkeitstest kommen. Somit liefert der Unabhängigkeitstest mit p=0,0005 sogar einen kleineren p-Wert als der Anpassungstest und führt hier zu einem hochsignifikanten Ergebnis. Weitere Abweichungen zwischen unseren und Dr. Baslers Resultaten bei den Einzeltests beruhen gleichfalls darauf, dass er falsche Zahlen verwendet.
Einige der Anregungen von Herrn Dr. Basler nehmen wir zum Anlass, seine Einwendungen kritisch zu überdenken und gegebenenfalls in der nächsten Auflage des Buches zu berücksichtigen.
Basler antwortet auf Frau Dr. Künstler
Zum ersten Satz der Erwiderung von Frau Dr. Künstler, in dem sie mir Polemik vorwirft, bleibt mir nur die Hoffnung, dass alle Leser dieses Satzes auch meinen Beitrag in Heft 3/98 gelesen haben oder noch einen Blick hinein werfen.
Zur Sache: Frau Dr. Künstler erweckt den Eindruck, als ob die Richtigkeit der von mir gemachten Aussagen über gravierende methodische Fehler im Buch von Sachs wesentlich davon abhängt, ob man bei der Auswertung der auch im Skeptiker 3/98, S. 96, nachgedruckten Sachs'schen Tabelle zu „Suizid und Sternzeichen“ davon ausgeht, dass die angegebenen Suizidzahlen in der Anzahl „Todesfälle CH 1969-1994“ enthalten sind oder nicht enthalten sind. Naturgemäß bin ich beim Nachprüfen der von Sachs für 5 der 12 Sternzeichen behaupteten signifikanten Zusammenhänge zwischen Suizid und Sternzeichen zunächst arglos davon ausgegangen, dass die unter der Tabellenüberschrift „Todesfälle CH 1969-1994“ aufgeführten 687 850 Todesfälle sämtliche Todesfälle des genannten Zeitraums in der Schweiz darstellen – zumal Sachs mitteilt: „Die Mitarbeiter der Sektion Gesundheit des Statistischen Bundesamtes in Bern lieferten uns als Grundlage die nachstehende Tabelle.“ Demnach bin ich beim Nachprüfen zunächst davon ausgegangen, dass die angegebenen Suizid-Anzahlen in den 687 850 Todesfällen enthalten sind – was nach den jetzigen Ausführungen von Frau Dr. Künstler auch tatsächlich der Fall ist. Dabei stellte sich heraus, dass drei der fünf Signifikanzen von Sachs falsch sind, nämlich die für Krebs, Schütze und Fische.
Den Grund dafür, dass ich diese meine ursprünglichen Berechnungen für meinen Beitrag in Heft 3/98 neu durchführen musste, habe ich dort zu Beginn des Abschnitts „Sternzeichen und Suizid“ detailliert durch Zitate aus der „Akte Astrologie“ erläutert: Im vorangehenden Sachs-Kapitel „Wer stirbt woran?“ ist nämlich zu meiner Verwunderung mehrfach zu lesen, dass die687 850 Todesfälle keineswegs sämtliche Todesfälle des Zeitraums 1969-1994 sind, die das Statistische Amt geliefert hatte, sondern das auf nicht nachvollziehbare Weise von ursprünglich 32 Todesursachen auf 20 Todesursachen – unter denen Suizid nicht vertreten ist – um mehr als 40 % reduzierte Datenmaterial. Hiernach musste ich so auswerten, wie im Skeptiker 3/98 vorgeführt.
Dazu erhebt jetzt Frau Dr. Künstler den Vorwurf, dass ich und „jeder Leser durch einfaches Zusammenzählen der Todesfälle pro Sternzeichen“ hätte bemerken sollen, dass die im Buch mehrfach angegebene Anzahl „687 850 Todesfälle mit 20 Todesursachen“ gar nicht stimmt. Frau Dr. Künstler nennt das einen „Druckfehler“, der „bereits korrigiert wurde“. (Meine Anfrage beim Verlag des Sachs-Buches ergab am 10.08.1998, dass eine solche Korrektur jedenfalls in der aktuellen 4. Auflage noch nicht vorgenommen wurde.). Die Aufforderung zum „einfachen Zusammenzählen“ bedeutet dabei keineswegs, dass man die 12 auch im Skeptiker wiedergegebenen Todesfall-Zahlen aufzuaddieren hätte und dabei einen Additionsfehler bemerken könnte. Die Leser und ich hätten vielmehr die auf vier Tabellenseiten, die an einer ganz anderen Stelle im Buch wiedergegeben sind (S. 152-155), für 20 Todesarten und jeweils 12 Sternzeichen zu findenden Fälle heraussuchen sollen und durch „einfaches Zusammenzählen“ dieser 20 x 12 = 240 Anzahlen bemerken sollen, dass man dabei anstatt der mehrfach angegebenen Anzahl von 687850 Todesfällen nur 657 492 Todesfälle erhält – eine Additionsaufgabe, der ich mich auch nachträglich nicht zu unterziehen gedenke.
Weiter hätte man darauf kommen sollen, dass die „Druckfehler“-Zahl 687 850 dann wieder doch ihre numerische Richtigkeit hat, wenn man die im nächsten Kapitel angegebenen 30 358 Suizide als 21. Todesursache hinzunimmt. (Ganz nebenbei hat dieser „Druckfehler“ zur Folge, dass die u. a. im „Resümee“ auf S. 151 des Sachs-Buchs in der Form „als Ausgangsmaterial standen uns die Daten von 687 850 zwischen 1969 und 1994 in der Schweiz verstorbenen Personen zur Verfügung“ beschriebene Datenbasis für das gesamte Kapitel „Wer stirbt woran?“ nicht mehr stimmt.) Hiernach kann ich es nur als absurd bezeichnen, wenn Frau Dr. Künstler mir die Verwendung „falscher Zahlen“ vorhält, da diese „falschen Zahlen“ doch allein der Buch-Autor und seine Berater, u. a. Frau Dr. Künstler, zu vertreten haben. Hinzu kommt noch, dass der Einfluss dieser „falschen Zahlen“ auf die Ergebnisse meiner publizierten Kritik entgegen der Suggestion von Frau Dr. Künstler selbst für das spezielle Beispiel Suizid minimal ist und sämtliche meiner massiven methodischen Kritikpunkte davon überhaupt nicht berührt werden!
Zu dem Beispiel Suizide muss man naturgemäß erwarten, dass Frau Dr. Künstler Sorge dafür trägt, dass in der nächsten Auflage unter der Tabellenüberschrift „Todesfälle CH 1969-1994“ endlich sachgerecht sämtliche Todesfälle dieses Zeitraums aufgeführt und korrekt ausgewertet werden. Dies sind gemäß der 1. bis zur aktuellen 4. Auflage „1195174 Todesfälle“ (S. 149) – sofern nicht auch diese Angabe wieder auf einem „Druckfehler“ beruhen sollte. Beklemmend ist für mich allerdings die Vorstellung, wie wohl eine solche „wissenschaftliche Diskussion“ auf Leser wirkt, die nicht die Zeit haben oder die Geduld aufbringen, die Ausführungen von Frau Dr. Künstler durch Nachlesen im Buch von Sachs und in meinem Beitrag im Skeptiker 3/98 eigenständig zu überprüfen.
Anmerkung der Redaktion:
Die Einschränkung von Basler „sofern nicht auch diese Angabe wieder auf einem ,Druckfehler‘ beruhen sollte“ war berechtigt. Nach den Nachforschungen, die Edgar Wunder beim Statistischen Bundesamt in Bern anstellte, ist nämlich auch die im Buch mitgeteilte Angabe „1 195 174 Todesfälle“ falsch. Tatsächlich handelt es sich um 1 538 005 Todesfälle, ein nicht ganz unerheblicher Unterschied. Es drängt sich die Frage auf, welche Angaben und Zahlen im Sachs-Buch eigentlich noch verlässlich sind, oder ob es vielleicht nur aus „Druckfehlern“ besteht.
Der Beitrag erschien erstmals in: Skeptiker 1-2/1999