Sind Punktwertungen sinnvoll?

Punktwertungen sind nicht objektiv

Das erste große Problem bei Punktwertungen: Was bedeutet eine bestimmte Wertung eigentlich? Und wie hängen verschiedene Skalen zusammen? Dass die Maximalpunktzahl oder eine 1+ das Beste sind, darüber gibt es keine Diskussion.

Wohl aber, was ein Buch oder sonstiges Produkt leisten muss, um dies zu erhalten. Kontrovers ist dabei zum Beispiel das Preis/Leistungs-Verhältnis: Zählt der Preis in eine Qualitätswertung oder ist er irrelevant? Oder: Was sind 100 % - der beste gemessene Wert oder ein vielleicht nur theoretisches Maximum? Wie stark werden einzelne Aspekte in der Gesamtwertung berücksichtigt? Immer schwingt hierbei eine subjektive Interpretation mit, was die Punkte bedeuten. Und verschiedenen Personen sind unterschiedliche Aspekte wichtiger als andere.

Es gibt Personen, die geben prinzipiell nicht die Maximalpunktzahl. Andere geben sie extrem selten; für wieder andere ist es der Normalfall. Dieses unterschiedliche Verständnis ist manchmal kurios. Wer kennt denn nicht die Shop-Bewertung: "Erstklassig und toll! Aber 10 Tage zu spät geliefert und musste es auf der Post abholen - deshalb nur 2/5". Abwertung für etwas, das eigentlich keinen Zusammenhang mit dem Produkt hat. Na gut? Andere gehen vom Mittelwert aus und machen seltsame Rechnungen auf im Stile von "+1 für Spannung, -1 für Druckfehler und -1 für flache Charaktere, also 2/5". Das finde ich persönlich auch nicht sonderlich überzeugend.

Mehr Punkte machen Systeme vager

Man könnte nun annehmen, dass eine genauere Skala, also eine mit mehr Punkten, besser und genauer ist. Das wäre ein Trugschluss, denn wie genau wird die Punktzahl berechnet?

Klar ist: Je größer die mögliche Skala ist, desto schwieriger ist es, das absolute Top-Ergebnis zu bekommen. Bei 1-5 Punkten ist die Bestnote einer von vier möglichen Werten; bei 1-10 sind es doppelt so viele; bei 1-100 % noch einmal das Zehnfache. Und gerade diese enorme Granularität hält davon ab, die Bestnote "100 %" zu vergeben. Wobei das sicher auch eine psychologische Dimension hat: 100 % ist eben alles.

Ist man etwas netter, kann man die Maßgabe von Schularbeiten nehmen: Hier ist alles ab 95 % die Bestnote. Aber auch das funktioniert aber nicht in allen Fächern, sondern nur dort, wo es objektive Messpunkte gibt. Wie soll man das bei einem Buch machen? Und was genau unterscheidet nun das Buch mit 55 % von dem mit 57 %? Was sagen zwei Prozentpunkte mehr oder weniger aus? Das wirkt exakt - aber lässt es sich wirklich so genau begründen?

Bewertungen sind nicht universalgültig

Denn Begründungen sind hier schwer. Dinge wie Bücher messen sich nicht an einem praktischen Nutzen oder ihrer Fähigkeit, ein Problem zu lösen. Meine Einschätzung muss sich nicht mit der meiner Nachbarin decken. Mir kann ein Buch viel zu langsam sein, mit zu viel Gedanken, Erklärung usw. Meine Nachbarin hingegen findet vielleicht gerade das gut - und kann mit dem actiongeladenen Werk nichts anfangen, das ich schon zum dritten Mal lese.

Ein einzelnes, objektiv nachvollziehbares Merkmal ("sehr langsame Erzählung") kann so zu entgegengesetzten Bewertungen führen: Ich gebe dafür weniger Punkte; meine Nachbarin mehr. Und keiner von uns hat unrecht. Das zeigt: Die bloße Punktwertung kann nicht reichen. Es bedarf immer mindestens eines minimalen zusätzlichen Text, warum ein Buch (nicht) gefallen hat. Umgekehrt geht es natürlich auch: Ganz unterschiedliche Gründe können zu identischer Punktzahl führen.

Denn erschwerend kommt hinzu: Es kann auch keine Checkliste für Punkte oder Abzüge geben. Es wäre kleinlich, Druckfehler zu zählen und per Formel abzuwerten. Andererseits: Fallen diese beim normalen Lesen auf, ist das Lesevergnügen sicher gestört. Auch kann eine Story insgesamt toll sein und eine Kleinigkeit alles oder viel ruinieren. Ein Favorit von mir:

Doch dann wachte sie auf; es war alles nur ein Traum. Meinen abschließenden Eindruck ruiniert so etwas massiv, wenn es nicht gerade meisterlich gemacht wird.

Punktwertungen sind nicht linear.

Eine zusätzliche Schwierigkeit: Punktwertungen sind nicht linear. Ein Buch mit 2 Punkten ist nicht doppelt so gut wie das mit 1 Punkt; 5 Punkte sind nicht halb so gut wie 10. Die Skala ist keine Linie, sondern eine Kurve: Die ersten Punkte kriegt fast jedes Buch automatisch und auch die mittleren sind nicht schwer. Das wären auf der 10er-Skala in etwa 5-6; bei einer 5er-Skala 2-3.

Kaum ein Buch in der unteren Punkthälfte findet sich hier oder auf anderen Rezensions-Seiten. Eine Ausnahme sind vielleicht Gratisveröffentlichungen. Denn man sollte auch nicht vergessen, dass bereits eine Qualitätskontrolle vorausging: Der Verlag in Form eines Lektors wählte das Manuskript zur Veröffentlichung aus. Möglicherweise gab es auch noch einen Agenten. Ganz schlechte Werke werden hier ausgesiebt. Was vorhersehbar nicht verkaufsfähig ist, kommt also gar nicht erst ins Regal - wobei es hier neben dem Mainstream durchaus besondere Nischen gibt.

Diese Kurvenskala führt dazu, dass die meisten Bücher auf dieser Website im Bereich von 7-8 Punkten sind. Darüber muss ein Buch wirklich gut gefallen und etwas Einzigartiges bieten; deutlich schlechtere Bewertungen sind eher Fehlkäufe. Zumal: Unter 6 Punkte ist ohnehin eine Grauzone, in der sich schwer differenzieren lässt. Keines dieser Bücher würde ich erneut lesen. TVTropes bringt dies mit der Vier-Punkte-Skala (englisch) auf den Punkt, in der trotz einer Bandbreite von 0.0 bis 10.0 fast nur Wertungen von 6.0 bis 10.0 existieren. XKCD bringt die Einstellung vieler auf den Punkt in Star Ratings.

Masse gibt grobe Einschätzung

Wozu dann überhaupt Punktbewertungen? mag man nun fragen. Für eine grobe Einordnung. Insbesondere wenn ich weiß, dass ich den Geschmack einer Person teile, reicht mir das mitunter schon. Dann brauche ich auch nicht unbedingt zusätzliche Informationen; bei Fremden schon.

Aussagekräftiger werden Punktewertungen auch, wenn es viele zu einem Buch gibt. Durch die Masse ergibt sich ein vergleichsweise verlässlicherer Mittelwert (allerdings immer noch nur eine grobe Einordnung), wobei man aber durchaus auf die Verteilung der Punkte achten sollte. Auch hier gibt es jedoch diverse, teils unbewusste Einflüsse auf eine Rezension.

Auch hier gibt es kaum nachvollziehbare Begründungen; die Masse gleicht dies aber teils aus. Dennoch gibt es statistische Probleme: Der Durchschnitt lügt. Nicht alle statistischen Effekte sind offensichtlich oder intuitiv. Daher auch der Hinweis auf die Verteilung: Ein Buch mit Schnitt 4.2 kann 80 % der Leser begeistern - und 20 % hassen es so sehr, dass sie minimale Punkte geben. Alternativ geben die meisten gute 4 von 5 Punkten mit wenigen Ausreißern nach unten und einigen nach oben. Erneut spielt auch hinein, wie es zu der Bewertung kommt. Leser wählen ihre Bücher meist selbst. Daher sollte man den Durchschnitt nicht im rechnerischen Mittel erwarten, sondern besser.

Hat ein Buch nur den Mittelwert, so deutet das auf nicht erfüllte Erwartungen hin. Kurios ist dadurch, dass "3/5" in den meisten Fällen nicht mehr als "solider Durchschnitt" gilt, sondern eher als "nicht wirklich gut". Hinzu kommt wiederum das subjektive Gefühl, was eine Punktzahl heißt.

Fazit: Bedingte Aussagekraft

In der Summe muss man jedoch sagen, dass pure zwar versuchen, etwas knapp zusammenzufassen, die Informationen dabei jedoch so weit verkürzen, dass nur ein genereller Eindruck entstehen kann. Etwas besser wird es durch viele Bewertungen, die auch eine Verteilung erkennen lassen.

Umrechnung von Bewertungsskalen

Grimoires benutzt seit einiger Zeit übrigens eine doppelte Skala, teils aus historischen Gründen, teils, weil sich die 5er-Skala auf wichtigen Internetseiten durchgesetzt hat und teils aus Darstellungsgründen: Alle Bewertungen werden auf der 10er-Skala vergeben, die auch in Zahlenform angezeigt wird. Zusätzlich gibt es jedoch eine 0-5 Bücher-Anzeige (ohne halbe Bücher) zur schnellen visuellen Orientierung.

Wie kann man umrechnen? Eine klare, mathematische Umrechnung gibt es nicht, eben weil es an Linearität fehlt und sich zwei Bücher kaum sinnvoll in direkte Relation setzten lassen. Dementsprechend ist die folgende Tabelle verstehen als mein Versuch, eine grobe Umrechnung zwischen verschiedenen Skalen zu liefern:

Dein Kommentar