Freitag, 18. März 2011

Warum Autotests Voodoo sind

Wer kennt sie nicht, die gerne mal zitierten "Autotests", die vornehmlich von selbsternannten "Fachmagazinen", teilweise aber auch von anderen Medien durchgeführt werden. Die Ergebnisse gelten als "vielleicht etwas schöngeredet, aber im großen und ganzen doch passend". Tja, so kann das ganze täuschen, denn wissenschaftlich betrachtet ist das ganze nicht seriöser als die klassische "der Storch bringt die Kinder"-Argumentation.

Fangen wir einmal mit der Stelle an, wo wohl noch den meisten klar ist, dass etwas faul ist, weil es um ein Experiment geht, das jeder selbst überprüfen kann – den Verbrauch. Ein Grundsatz der Wissenschaft besagt, dass ein Versuch so aufgebaut sein muss, dass jeder andere diesen exakt reproduzieren kann. Erhält dieser signifikant andere Ergebnisse, ist der Versuchsaufbau Müll – als "signifikant" gilt hier meist ein Wert von 5%. Und genau dies passiert, wenn man versucht, den Verbrauchswert eines Autotests zu reproduzieren: Verschiedene Verbrauchsmessungen weichen um mehr (sogar um wesentlich mehr) als 5% von den Aussagen der Autozeitung ab.

Die Verbrauchsermittlung einer Autozeitung erfolgt, indem man einen zufälligen Fahrer eine zufällige Strecke bei zufälligen Bedingungen durchfahren lässt – wissenschaftlich nennt man so etwas eine "Stichprobe". Eine einzelne Stichprobe ist aber ohne jede Aussage – eben weil es zahlreiche Variablen gibt, von denen der Verbrauch abhängt. Um eine brauchbare Aussage zu bekommen, müsste man also eine große Zahl an Stichproben nehmen, die dann einen Wertebereich ergeben. In dieser wird sich eine deutliche Häufung in der Mitte finden, wenn die Zahl der Stichproben groß genug ist. Heraus kommt hier nun ein Wert, der für einen typischen Kleinwagen etwa "6l +/-2l" aussehen wird – oder mit anderen Worten: 4-8l. Das ganze heißt dann übrigens nur, dass 95% aller Messwerte zwischen 4 und 8 Litern liegen werden. Man kann sich hier dann auch denken, welchen Wert es hat, einen "Unterschied" von 0,2l irgendwo zu "messen"…

Das nächste schöne Thema der Tests heißt "Verarbeitungsqualität". Dieses "Experiment" kann man nun selbst nicht ganz so gut reproduzieren, da man ja nur ein Fahrzeug kennt – "Experiment" steht da in Anführungszeichen, weil es überhaupt keine objektiven Kriterien gibt. Aber auch dann würde die Autozeitung wieder nur eine Stichprobe liefern; in diesen Falle dann gleich unstrittig eine unbrauchbare: Jedes Fahrzeug, das an die Presse geht, bekommt statt des üblichen Checks über ~15 Minuten vor der Auslieferung einen, der mindestens einen, manchmal auch mehrere Tage dauert. Das gleiche versaut natürlich auch Messwerte zu Lärm, Fahrwerkseigenschaften und möglicherweise auch Leistung und Verbrauch. All dies lässt sich durch Nachbearbeitung und/oder Selektion besonders guter Teile optimieren.

Und dann wären da noch Leistung und Ausstattung… Eh, Sie wollten die C-Klasse sicherlich auch gerade mit dem V6-Benziner kaufen? Oder doch gleich den V8? Gut, die Leistung, die die Kunden kaufen, wird natürlich nicht an die Presse verteilt – viel zu groß das Risiko, dass der sportwagenverwöhnte Tester den 150 PS-Diesel als "lahme Ente" betrachtet. Bei der Ausstattung sieht das ganze ähnlich aus, die Presse bekommt einfach die "Vollversion". Da muss diese dann auch keine Fotos von unbestückten Schaltern zeigen oder erklären, wie scheiße das Fahrwerk ist, dass man bekommt, wenn man keine 5000€ für ein aktives Fahrwerk ausgeben will.

Insofern stellt man relativ schnell fest, dass "Autotests" keine Tests sind, ja nicht einmal laienhafte Stichproben, sondern einfach nur Werbung. Mit wenigen kleinen Änderungen wären bereits deutlich bessere Ergebnisse zu bekommen – einfach eine übliche Version anonym bei einem Händler besorgen (für die meisten Tests reicht eine einfache Probefahrt) und dann diese Werte über eine größere Stückzahl an Fahrzeugen abgleichen.

Keine Kommentare: