Warum Metacritic Entwicklern und Spielern schadet - Kolumne von Viktor Eippert

[ViktorEippert]

Um Leistung EXTRA zu bezahlen (in FO:NV ein Bonus), sollte man sie, so objektiv wie möglich, messen können. Die Marke kann man dann eben auch knapp verfehlen.

Ja, aber wie objektiv ist denn so ein Metascore? Selbst wenn es keine Gewichtung gäbe und die Wertungssysteme nicht komplett vermischt werden würde, würde ein Metascore berechnet aus 100 Wertungen, trotzdem nur aussagen, wie gut es 100 Leute abhängig von der Wertungsphilosophie ihrer Publikation finden. Warum also von der Wertung abhängig machen? Verkaufszahlen über einen gewissen Zeitraum könnte ich ja noch nachvollziehen für Bonuszahlungen. Das sind harte, unumstößliche Fakten, die zudem viel über den Erfolg eines Titels aussagen.

Naja, das Problem dabei ist aber nicht Metacritic selbst, sondern die Publisher, die die Inhalte dieser Seite falsch vermitteln bzw "missbrauchen". Wenn man es mal ganz nüchtern betrachtet, kann Metacritic eine prima Informationsquelle sein, wenn man sich über ein Spiel informieren möchte. Und zwar nicht deshalb, weil es einen "Gesamtschnitt" gibt, sondern weil dort sehr viele Tests und Usermeinungen zusammengetragen werden und man sich dann die Tests anschauen kann, die einem selbst als wichtig/gut/interessant erscheinen.

Das größte Problem ist auch für mich, was Publisher inzwischen aus und mit Metacritic machen. Abseits der untransparenten Gewichtungsnummer und der Sache mit den vermixten Wertungssystemen ist die Grundidee von Metacritic ja keine verkehrte.

Naja, das Problem ist dabei leider auch, dass die Spieleindustrie so eine komische Bewertungsskala hat, zumindest in den "mainstream" Publikationen. Denn tatsächlich reicht die Skala nicht von 1 bis 10 bzw. von 1 bis 100, sondern nur von 4/5 - 10 und 40/50 bis 100.

Also bei den Publikationen, bei denen ich so unterwegs bin, wird das Wertungsspektrum grundsätzlich schon genutzt. Und ja das schließt unsere Seiten und Magazine ein. Aktuell gibt wieder schöne Gurken-Beispiele. Der Eindruck entsteht heutzutage bei einigen Publikationen deswegen, weil die Ressourcen (Seiten, Manpower, Zeit) fehlen, um wirkliche Crap-Spiele zu testen.

 

[LordCrash]

Naja, wenn man Metacritic für unnötig hält, müsste man folgerichtig auch das eigene Wertungssystem für unnötig bzw. falsch halten. Denn im Prinzip geht es doch genau um dasselbe.....

 

[Enisra]

Naja, wenn man Metacritic für unnötig hält, müsste man folgerichtig auch das eigene Wertungssystem für unnötig bzw. falsch halten. Denn im Prinzip geht es doch genau um dasselbe.....

was Viktor auch schon gesagt hat ...

mal ab davon ist das auch ein Apfel und Birnen Vergleich, denn auch ohne Text sagt eine Einzelwertung mehr aus als das Mischmaschkuddelmuddel das einfach Wertungen so zusammen zählt wie ein Autoübersetzer Texte ausspuckt und dann auch über Obskuren Gründen festlegt welche Wertung wichtiger sein soll, also da kann ich auch gleich würfeln

 

[shippy74]

Da sieht man, meiner Meinung nach, wie Dumm solche Bewertungen sind. Das fängt schon damit an das man, je nach Test, lesen kann das Leute sich um 2 punkte streiten. Meiner Meinung nach sollte so ein System abgeschafft werden und dafür 3 Daumen, entweder Hoch, Es macht Spaß, Daumen in der Mitte, Es geht so oder aber Daumen runter, geht garnicht. Dazu ein Aussagekräftiger Text aus dem man Erkennen kann warum man auf das Ergebnis gekommen ist.
Damit wäre alle geholfen, die einen müssten nicht immer Weinen wenn sie mit den Punkten nicht einverstanden sind und die anderen hätten nen einfachen überblick.

Punkte sagen nix aus, oder kann mir einer Erklären warum ein FC3 - 88 Punkte bekommt und ein COD 91, ist FC deshalb merklich schlechter??
Wenn ich jemandem ein Spiel empfehle sag ich nicht: Ich geb dem Spiel 99 Punkte, ich sag es ist Gut / Mittelmäßig oder eben Schlecht, dann folgt ne Begründung und Gut ist.

 

[MrFob]

Schoener Artikel, Victor.
Einen Gedanken moechte ich dazu noch loswerden, der zwar im Artikel impliziert, aber nicht direkt erwaehnt ist.
Ein grosses Problem mit diesem System ist doch, dass Entwickler letztlich dazu veranlasst werden, moeglichst mainstream kompatible Spiele zu entwickeln. Jeder Versuch daraus auszubrchen, ein individuelles und innovatives (aber vielleicht noch nicht 100% ausgereiftes) Spielerlebnis zu schaffen ist doch bei einem System dass sich auf den "groessten gemeinsamen Nenner" konzentriert zum Scheitern verurteilt.
Wenn ein Score hauptsaechlich dadurch entsteht, dass moeglichst viele Leute das Produkt gut bewerten und dabei auch noch die populaersten Publikationen hoeher gewichtet werden, dann werden Nischentitel, ja sogar ganze Genres gleich doppelt benachteiligt.

Klar, die neueste Ausrede um disem Problem zu begegnen ist natuerlich afuer gibt's ja den Indie Sektor".
Das lasse ich fuer mich aber nicht gelten. Ich persoenlich bin kein grosser Fan von Indie Spielen (die meisten sind mir zu hipster maessig aufgezogen). Meiner Meinung nach kommen die besten Spiele dann zustande, wenn grosse Publisher und bekannte Studios ihre Erfahrung einsetzen und mit ein paar verbrauchten Ideen erweitern koennen. Der Metacritic-Wahn steht diesem Gedanken diametral entgegen und das sehe ich als das groesste Problem, dass durch diese Einstellung der Publisher verursacht wird.

 

[Enisra]

Da sieht man, meiner Meinung nach, wie Dumm solche Bewertungen sind. Das fängt schon damit an das man, je nach Test, lesen kann das Leute sich um 2 punkte streiten

nja, solchen Holzköpfen muss man nur eine Filmbewertung an den Kopf werfen, da ist die Spanne von 20 Punkten Normal und der Test von Menschen und nicht von Wertungsrobotern

Wobei ganz toll sind die, die zwei Unterschiedliche Genre und/oder uralten Krams raus suchen

 

[LordCrash]

was Viktor auch schon gesagt hat ...

mal ab davon ist das auch ein Apfel und Birnen Vergleich, denn auch ohne Text sagt eine Einzelwertung mehr aus als das Mischmaschkuddelmuddel das einfach Wertungen so zusammen zählt wie ein Autoübersetzer Texte ausspuckt und dann auch über Obskuren Gründen festlegt welche Wertung wichtiger sein soll, also da kann ich auch gleich würfeln

Nein, ich bin nicht der Ansicht, dass eine Einzelwertung mehr aussagt, als ein wie auch immer zusammengesetzter Durchschnittswert.....ganz ehrlich, es geht ja nicht nur um den einen Wert. Auf Metacritic kann man jede Wertung lesen, die eingeflossen ist. Farbige Balken zeigen gleich neben der Durchschnittswertung an, wie viele gute, durchschnittliche und schlechte Wertungen eingegangen sind. Dann kann man Ausreißer und "Verrisse" schnell aussortieren....

Bei einer Einzelwertung bin ich völlig vom einzelnen Verfasser und von seiner Meinung abhängig. Hat der einen anderen Geschmack als ich, gibt er dem Spiel eine deutlich schlechtere Wertung oder umgekehrt. Viele Meinungen (wenn auch mit unterschiedlicher Gewichtung) gleichen das aus (ist reine Statistik).

Noch mal: nicht die Metacritic Wertung/Sache ist schlecht, sondern die Art, wie sie teilweise genutzt/instrumenalisiert wird. Da kann ja Metacritic wenig dafür, wenn irgendwelche Publisher diesen Durchschnittswert als Grundlage für Bezahlungen usw heranziehen. DAS ist natürlich völliger Blödsinn, darüber müssen wir nicht diskutieren....

Für den einigermaßen denkfähigen Menschen ist Metacritic hingegen eine recht gute und komfortable Anlaufstelle für Spieletests und Informationen zu spielen....


Edit: Notorisch überbewertete Titel wie Bioshock Infinite sind natürlich auch auf Metacritic völlig überbewertet. Da gibt es zwischen Einzelwertung und Durchschnittswert fast keinen Unterschied....

 

[Briareos]

Meiner Meinung nach sollte so ein System abgeschafft werden und dafür 3 Daumen, entweder Hoch, Es macht Spaß, Daumen in der Mitte, Es geht so oder aber Daumen runter, geht garnicht. Dazu ein Aussagekräftiger Text aus dem man Erkennen kann warum man auf das Ergebnis gekommen ist.

Ich persönlich würde noch einen Schritt weitergehen, denn auch Daumen/Sterne/Biergläser/was-auch-immer kann man immer noch graduieren.

Ich lese, zumindest in der PCG, immer zuerst die Kommentare bei einem Spieltest und ab und an wird es da auch erwähnt. Anstelle einer Bewertung würde mir viel eher ein, ich nenn es mal "Amazon"-System gefallen. Am Ende des Tests sollte erwähnt werden: "Spiel X könnte denjenigen gefallen, die auch Spiel A, E und F mochten." und "Spiel X wird Leuten, dennen schon Spiel B, D und G nicht gefiel, auch nicht gefallen."

Sowas ist für mich zumindest viel aussagekräftiger als der Unterschied zwischen 82 und 85.

 

[derFleder]

Ihr seid journalistisch aber auch nicht gerade auf dem höchsten Niveau.

Erst wird infrage gestellt, ob denn eine identische Wertung von Edge und IGN vergleichbar sei und dann lasst ihr euch über eben diese zuvor bemängelte Gewichtung aus? Finden Sie hier selbst keinen Fehler, Herr Eippert?

Im Grunde stimme ich euch bei Metacritic ja zu.
Seid mir nicht böse, aber diese Bigotterie lässt mich diesen Beitrag getrost ignorieren.

 

[dangee]

Mal davon ab, dass es alles valide Punkte sind die angesprochen wurden - der Gedanke hinter einem Metascore ist ja nicht falsch - wie Viktor auch schrieb. Ich gucke für gewöhnlich auch nicht auf die Seite. Dafür lese ich halt die PCG und höre den Podcast der mir zur Einschätzung der Redakteure hilft. Unabhängig von der stets angepeilten opjektiven Wertung kann man sich anhand des Meinungskasten des Redakteurs auch gut einen Eindruck vom Spiel machen. Ich lag nie falsch wenn ich z.B. nach Robs Empfehlung gekauft habe

Und dennoch: Gerade bei Steamsales lunst man ja doch hin und wieder auf die Zahl, die einem direkt eingeblendet wird. Spiele, die nicht im Retail landeten und somit nicht von der PCG getestet wurden, kann man so recht fix erfassen. Wenn im Schnitt von Metascritic ein Spiel im Mittelfeld landet (sagen wir 50-60 / 100 Punkte) weiß ich zumindest, dass das Spiel nicht für jederman geeignet ist. Wenn ich aber z.B. auf Wirtschaftssimulationen stehe und dies einer ist, kann ich ggf schon mit dem Spiel etwas anfangen. Der Kopf muss halt auch mitdenken.

 

[ViktorEippert]

Erst wird infrage gestellt, ob denn eine identische Wertung von Edge und IGN vergleichbar sei und dann lasst ihr euch über eben diese zuvor bemängelte Gewichtung aus? Finden Sie hier selbst keinen Fehler, Herr Eippert?

Nein, da finde ich keinen Fehler, denn das sind zwei verschiedene Dinge. Die Unterschiede zwischen den Edge-Wertungen und denen von IGN (oder eben anderen Seiten/Magazinen) liegen im Unterschied der verschiedenen Wertungsphilosophien der beiden Publikationen. Edge wertet einfach anders als IGN. Die Gewichtung von Metacritic liegt hingegen im Ermessen der Metacritic-Betreiber und richtet sich "nach der Qualität" einer Publikation, wobei das Metacritic-Team über diese Qualität entscheidet.

 

[LordCrash]

Nein, da finde ich keinen Fehler, denn das sind zwei verschiedene Dinge. Die Unterschiede zwischen den Edge-Wertungen und denen von IGN (oder eben anderen Seiten/Magazinen) liegen im Unterschied der verschiedenen Wertungsphilosophien der beiden Publikationen. Edge wertet einfach anders als IGN. Die Gewichtung von Metacritic liegt hingegen im Ermessen der Metacritic-Betreiber und richtet sich "nach der Qualität" einer Publikation, wobei das Metacritic-Team über diese Qualität entscheidet.

Wo ist denn dann das Problem mit Metacritic? In dem Fall erstellt Metacritic eine Art eigene Wertung basierend auf Wertungen andererPublikationen, na und?
Wenn jetzt von Obisidian verlangt worden wäre, dass Fallout NV statt bei Metacritic bei der PC Games eine bessere Wertung als 85% hätte haben müssen, wäre das besser oder schlechter gewesen vom Grundsatz her? Oder nicht doch genauso schlecht?

Es ist doch hanebüchen, eine Wertung bzw. eine Seite für den falschen Umgang mit ihr verantwortlich zu machen, sorry...

Man kann zwar gegen Spielewertungen (also in Zahlenform) generell sein, aber das ist dann kein reines Metacritic-Problem. Das ist ein Problem aller Publikationen, inlklusive der PC Games.

 

[Rabowke]

Wo ist denn dann das Problem mit Metacritic? In dem Fall erstellt Metacritic eine Art eigene Wertung basierend auf Wertungen andererPublikationen, na und? [...]

Die Probleme wurden doch erklärt ...

Es fehlt eine transparente Grundlage, wie denn die "eigene" Wertung erstellt wird. Bei einzelnen Tests kann man sich ja die Wertung anhand von div. Faktoren erklären, z.B. nackte Zahlen oder halt Texte.

Aber Metacritic kocht hier, völlig intransparent, ihr eigenes Süppchen ...

Des Weiteren scheint es Fälle zu geben, wo Bonuszahlungen an bestimmte Metacriticen "gebunden" sind. Wenn jetzt aber die Entstehung dieser Wertungen nicht nachvollziehbar ist, dann kann das für einen AN schon frustrierend sein.

Darum geht's und rein objektiv gibts, allein auf die zwei Faktoren, nix gegen zu sagen!

 

[lars9401]

Am Ende des Tests sollte erwähnt werden: "Spiel X könnte denjenigen gefallen, die auch Spiel A, E und F mochten." und "Spiel X wird Leuten, dennen schon Spiel B, D und G nicht gefiel, auch nicht gefallen."

Das gab es in den alten Ausgaben der PC Games schon. Keine Ahnung wieso das abgeschafft wurde.

 

[LordCrash]

Die Probleme wurden doch erklärt ...

Es fehlt eine transparente Grundlage, wie denn die "eigene" Wertung erstellt wird. Bei einzelnen Tests kann man sich ja die Wertung anhand von div. Faktoren erklären, z.B. nackte Zahlen oder halt Texte.

Aber Metacritic kocht hier, völlig intransparent, ihr eigenes Süppchen ...

Na und? Für mich sind die Wertungen hier auch teilweise sehr intransparent und vor allem wenig koherent. Jeder Teste kocht sein eigenes Süppchen, selbst innerhalb der gleichen Genres.

Außerdem ist der Metacritic-Wert KEIN Wert, der auf einem eigenen Test beruht. Es ist nur eine Zahl, die einen ersten Überblick über die Wertungslandschaft geben soll, mehr nicht. Sie erhebt doch gar keinen Anspruch darauf, die einzig wichtige (oder überhaupt wichtige) Zahl im Spieleuniversum zu sein. Sie gibt nur einen ersten Anhaltspunkt, wie das internationale Spieletestsystem ein Spiel bewertet hat. Ist es wichtig, ob dieser Durchschnittswert nun den exakten Durchschnitt alles eingeflossenen Tests wiedergibt? Ist es wirklich wichtig, ob dieser Wert 2 oder 3 Prozentpunkt abweicht von einem gewichteten Wert. Ich denke nicht.....

Des Weiteren scheint es Fälle zu geben, wo Bonuszahlungen an bestimmte Metacriticen "gebunden" sind. Wenn jetzt aber die Entstehung dieser Wertungen nicht nachvollziehbar ist, dann kann das für einen AN schon frustrierend sein.

Klar ist das frustrierend, keine Frage. Aber was kann da Metacritic dafür? Das ist die Schuld der Publisher, die so ein schwachsinniges Zahlungsprogramm entwerfen.....

Darum geht's und rein objektiv gibts, allein auf die zwei Faktoren, nix gegen zu sagen!

Doch, weil man sich über irgendetwas aufregt, wo es rein objektiv nichts zum Aufregen gibt. Dem "mündigen" Spieler kann es völlig wurscht sein, wie die Metacritic-Durchschnittswertung zustande kommt. Das ist nur eine Zahl. Wer wissen will, was dahinter steckt, kann sich ja einfach die Einzeltests anschauen, die auf Metacritic schön übersichtlich aufgelistet sind. Alles andere ist SINNLOSE Mathematik an dieser Stelle....

Viel heiße Luft um nichts.....

 

[archwizard80]

Als erster Anhaltspunkt ist so ein Score nicht schlecht. Spiele mit grottigen Wertungen braucht man im allgemeinen nicht groß recherchieren. Hat es eine passable Wertung und passt in mein Genre wird dann recherchiert. Ob ich ein Spiel dann kaufe mache ich aber von den Review-Texten abhängig. Eben um mehr oder weniger sicher gehen zu können, dass es vom Geschmack her kompatibel ist. Wer nur anhand einer Zahl ein Spiel kauft, ist selber schuld.

Bis dann denn!

McTrevor

Dem kann ich nur zustimmen. Als grobe Orientierung ist es nicht schlecht.
Dass Publisher bestimmte Wertungen voraussetzen etc. schockiert mich doch etwas.
Allerdings muss man wohl davon ausgehen, dass diese direkt mit den Verkaufszahlen zusammenhängen. Bleibt zu hoffen, dass mehr Leute vor einer Kaufentscheidung nicht nur den Metascore checken und auch Spielen eine Chance geben, die einen schlechteren Wert haben.

 

[Enisra]

Dem kann ich nur zustimmen. Als grobe Orientierung ist es nicht schlecht.

ja, das sieht man gut an Edna bricht aus
nicht ...
eigentlich das Fallbeispiel wie sich überhaupt nicht drauf verlassen kann

 

[LordCrash]

ja, das sieht man gut an Edna bricht aus
nicht ...
eigentlich das Fallbeispiel wie sich überhaupt nicht drauf verlassen kann

Man könnte ja meinen, die Seite bestehe nur aus dem einen Wert, was definitiv nicht der Fall ist. Dort sind alle Einzelwertungen bzw. Tests aufgelistet und du kannst schön nachlesen, warum wer dem Spiel welche Wertung gegeben hat.

Scheinbar hat Edna bricht aus einfach vielen Testern nicht gefallen. Warum kann man sich also nicht darauf verlassen? Wenn jetzt dem PC Games Tester ein Spiel nicht gefällt, das aber dir gefällt, dann kannst du dich ja auch nicht auf die PC Games Wertung verlassen....

Man sollte in die ganze Sache nicht mehr hineininterpretieren, als drinsteckt....

 

[Enisra]

Man könnte ja meinen, die Seite bestehe nur aus dem einen Wert, was definitiv nicht der Fall ist. Dort sind alle Einzelwertungen bzw. Tests aufgelistet und du kannst schön nachlesen, warum wer dem Spiel welche Wertung gegeben hat.

Scheinbar hat Edna bricht aus einfach vielen Testern nicht gefallen. Warum kann man sich also nicht darauf verlassen? Wenn jetzt dem PC Games Tester ein Spiel nicht gefällt, das aber dir gefällt, dann kannst du dich ja auch nicht auf die PC Games Wertung verlassen....

Man sollte in die ganze Sache nicht mehr hineininterpretieren, als drinsteckt....

Also zum einem, mal ehrlich, wenn man schon die Nasen hier rumjammern hört wegen der Wertung, dann ist klar: Viele lesen keinen Test, die sehen die Wertung und meinen zu wissen ob das Spiel nichts ist
Es ist schon von vielen ziemlich Leichgläubig zu glauben die Leute würden das intelligent nutzen
Außerdem, wenn man deren Test ließt weiß man, dass diese Tests für den deutschen Markt ohne miese Übersetzung für´n Arsch sind -> Wertung ist auch für´n Arsch, was aus der Wertung nur nicht hervorgeht

 

[Bonkic]

ja, das sieht man gut an Edna bricht aus
nicht ...
eigentlich das Fallbeispiel wie sich überhaupt nicht drauf verlassen kann

das spiel war vielen publikationen im ausland offenbar zu abgefahren.
außerdem war die us-version offenbar fehlerhaft und die übersetzung eher beschissen.
außerdem stützt sich der metascore auf gerade mal 7 bewertungen, darunter keine einzige deutsche.