Ranking-Kritik

Forscher im Hamsterrad

Solche Rankings sind hanebüchen. Den Versuch, Forschungsqualität objektiv zu messen, empfinde ich als Vergewaltigung der Wissenschaft.

Professor Dr. Alfred Kieser
 
  •  
    Zur Person
    Professor Dr. Alfred Kieser

    Professor Dr. Alfred Kieser lehrt seit 2011 im CME-Department der Zeppelin Universität Managementtheorie. Er ist zudem Vizepräsident und Dekan der Zeppelin University Graduate School. Zuvor arbeitete er unter anderem an den Universitäten von Mannheim, München, Berlin und Köln.

  •  
    Factbox
    Das Handelsblatt-Ranking: Was ist das und wie funktioniert das?

    Das Handelsblatt BWL-Ranking ist eine bibliometrische Untersuchung der Forschungsleistung deutschsprachiger Betriebswirte und damit das Pendant zum bereits seit 2006 publizierten VWL-Ökonomen-Ranking. Grundannahme ist, dass sich die Forschungsleistung eines Forschers durch die gewichtete Zählung seiner Publikationen in wissenschaftlichen Fachzeitschriften messen lässt.

    Dabei wird von der durchschnittlichen Qualität einer Zeitschrift auf die durchschnittliche Qualität eines Aufsatzes geschlossen. Für eine Veröffentlichung im angesehenen "Journal of Marketing" gibt es zum Beispiel einen Punkt, für eine im "Jahrbuch Strategisches Kompetenzmanagement" dagegen nur 0,1 Punkte. Hat ein Beitrag mehrere Autoren, werden die Punkte aufgeteilt. Die Zeitschriftenliste basiert auf zwei etablierten Journal-Rankings und dem "Social Science Citation Index".

    Eine ausführlichere Erläuterung der Methodik und der verwendeten Zeitschriftenliste lässt sich auf der Webseite des Handelsblatts nachlesen, die aktuellen Ergebnissen in den drei unterschiedlichen Kategorien finden sich hier.

    Was misst der Impact-Factor, und warum ist er umstritten?

    Der Impact Factor gibt an, wie oft Artikel einer Zeitschrift zitiert werden, und wird deshalb auch als Journal Impact Faktor (JIF) bezeichnet. Was ursprünglich als Orientierungshilfe für Bibliothekare gedacht war, stellt mittlerweile ein Maß für die akademische Qualität einer Zeitschrift dar. Je höher dieser Wert, desto angesehener ist das Journal. Dies wirkt sich auch auf die Beurteilung der jeweiligen Autoren aus.


    Die Aussagekraft des JIF ist umstritten. Kritiker bemängeln, dass nicht-englischsprachige Zeitschriften massiv benachteiligt würden. Zudem berücksichtige der Betrachtungszeitraum von zwei Jahren nur hochaktuelle Publikationen, was insbesondere der Rezeption geisteswissenschaftlicher Artikel nicht gerecht werde. Auch verleite die scheinbar objektive Messung zu Selbstzitaten und Plagiaten und erhöhe den Publikationsdruck.

  •  
    Mehr ZU|Daily
    Wenn die Besten den Erfolg nicht wollen
    Professor Dr. Alfred Kieser hat mit dem Boykott des Handelsblatt-Rankings der Ökonomen eine Debatte in den Fokus gerückt, die die Schwierigkeit der Vereinbarkeit von Wissenschaft und Journalismus aufzeigt.
  •  
     
    Hä...?
    Haben Sie Fragen zum Beitrag? Haben Sie Anregungen, die Berücksichtigung finden sollten?
    Hier haben Sie die Möglichkeit, sich an die Redaktion und die Forschenden im Beitrag zu wenden.
  •  
    Teilen
    Empfehlen

Die Betriebswirtschaftlehre (BWL) ist eine Wissenschaft, in der Zahlen eine große Rolle spielen. Es geht um Gewinn und Verlust, um Optimierung und Leistung. Doch nicht nur der Forschungsgegenstand, sprich die Unternehmen, müssen sich am Erreichten messen lassen. Auch die Forscher selbst befinden sich im Wettbewerb mit ihren Kollegen.

Was für die Betriebe die Unternehmensbilanz ist, heißt bei den Betriebswirten Handelsblatt-Ranking, eine Liste der deutschen Top-Ökonomen. „Top“, das heißt in diesem Fall forschungsstark. Wer vorne landen will, muss viel publizieren, und das am besten in renommierten Fachzeitschriften. Am Ende eines komplizierten Berechnungsverfahrens stehen dann die produktivsten Betriebswirte in drei verschiedenen Kategorien fest.

Das Handelsblatt-Ranking: Was ist das und wie funktioniert das?


Für die darin aufgeführten Wissenschaftler ist das Ranking mehr als nur eine Liste. Die vergebenen Punkte sind die Währung des akademischen Kapitalismus: Berufungskommissionen orientieren sich bei ihren Entscheidungen am Urteil des Handelsblatts. Top-Platzierungen werden mit Besoldungszuschlägen belohnt, und wer an der Spitze steht, hat die besten Aussichten auf Drittmittel und Forschungsaufträge. Doch der Versuch, die Qualität und Relevanz von Forschung mit einer Rangliste abzubilden, ist umstritten. Für das aktuelle, 2012 veröffentlichte Ranking wurde nur noch ein Teil der rund 3.000 deutschen Betriebswirte berücksichtigt – zuvor hatten sich 339 Wissenschaftler entschlossen, ihre Namen von der Kandidatenliste streichen zu lassen.

"Veröffentliche oder stirb!" Wenn man im BWL-Ranking des Handelsblatts ganz vorne landen will, sollte man diesen Grundsatz verinnerlicht haben.
"Veröffentliche oder stirb!" Wenn man im BWL-Ranking des Handelsblatts ganz vorne landen will, sollte man diesen Grundsatz verinnerlicht haben.

Gemeinsam mit Margit Osterloh, emeritierte Professorin der Universität Zürich, hat Professor Dr. Alfred Kieser damals einen offenen Brief geschrieben und den Boykott ins Rollen gebracht. Heute sagt Kieser: „Wir wollten nicht nur still und leise aussteigen, sondern eine Kampagne daraus machen. Dieses Ranking ist hanebüchen. Schon den Versuch, Forschungsqualität objektiv zu messen, empfinde ich als Vergewaltigung der Wissenschaft.“

Wer ist besser: Federer oder Messi?

Harte Worte, die Kieser aber durch Sachargumente gerechtfertigt sieht. Zum einen hält er die methodische Vorgehensweise des Handelsblatts für fragwürdig. Je renommierter die Zeitschrift, desto mehr zählt der darin veröffentlichte Beitrag. Die zugrunde liegende Einstufung der Zeitschriften bezieht sich lediglich auf die durchschnittliche Qualität der Publikationen und werde dem einzelnen Artikel somit nicht gerecht. Außerdem benachteilige das Handelsblatt-Ranking bestimmte Fachgebiete, indem es Äpfel mit Birnen vergleiche: „Wenn Sie sich mit Steuerlehre oder Rechnungswesen beschäftigen, dann sinken Ihre Chancen auf Spitzenplätze erheblich. Aber sind Sie deshalb ein schlechterer Wissenschaftler als jemand, der über Marketing forscht? Es würde doch auch niemand behaupten, dass Roger Federer ein besserer Sportler ist als Lionel Messi!“

Äpfel und Birnen: Wer alle Betriebswirte in einem Topf wirft und am Ende den Top-Ökonom kürt, der vergleicht auch Lionel Messi mit Roger Federer.
Äpfel und Birnen: Wer alle Betriebswirte in einem Topf wirft und am Ende den Top-Ökonom kürt, der vergleicht auch Lionel Messi mit Roger Federer.

Doch selbst ein Ranking, das alle Teildisziplinen gleichermaßen berücksichtigt, würde Kieser nicht besänftigen. Er kritisiert nicht nur die seiner Meinung nach mangelhafte Methodik des Handelsblatts – er würde wissenschaftliche Rankings am liebsten gleich ganz abschaffen. Gemeinsam mit Professor Dr. Rick Vogel untersucht er derzeit, wie Rankings den wissenschaftlichen Fortschritt behindern.

Plagiate, Publikationswut und andere Ärgernisse

Ein Forschungsprojekt, das, obwohl der Schluss nahe liegt, nicht in unmittelbarem Zusammenhang zu Kiesers Handelsblatt-Boykott steht. „Das Thema beschäftigt mich schon seit 2010. Da habe ich meine Abschiedsvorlesung in Mannheim gehalten und erfahren, dass mein Nachfolger in drei Jahren 36 Aufsätze veröffentlicht hat.“ Aufsätze, die sich später teilweise als Eigenplagiate herausstellten. Doch Plagiat hin oder her, allein die bloße Zahl – zwölf Beiträge pro Jahr, einer jeden Monat – habe Kieser ins Grübeln gebracht: „Wieso versteift sich ein junger Wissenschaftler so darauf, seinen Namen in möglichst vielen Journals unterzubringen? Diese Publikationswut ist ja nicht die Ausnahme, sondern die Regel. Da muss es doch einen Grund für geben.“


Diesen Grund meint Kieser in Rankings gefunden zu haben – genauer gesagt: in der Ranking-Gläubigkeit der Wissenschaftswelt. Früher sei der Beurteilung der Qualität von Forschung immer eine Diskussion mit anderen Wissenschaftlern vorangegangen, und am Ende habe jeder ein subjektives Urteil gefällt. Jetzt gebe es pseudo-objektive Kriterien wie den Impact-Factor, sodass man sich einbilde, die akademische Leistung durch eine Punktzahl hierarchisieren zu können.

Was misst der Impact-Factor, und warum ist er umstritten?


„Das hat eine fatale Anreizwirkung, gerade auf junge Forscher“, warnt Kieser. „Die wissen ja auch, dass ihre Platzierung über den Karriereverlauf entscheiden kann.“ Deshalb würden viele von ihnen „Ranking-Optimierung“ betreiben und dabei bis an die Grenze zur Manipulation gehen – und manchmal darüber hinaus. So würden etwa amerikanische Pharmakonzerne vorformulierte Fachartikel an Wissenschaftler verschicken, die diese dann unter ihrem Namen in Journals veröffentlichen sollten. Scheinbar eine Win-Win-Situation: „Die Firmen können ihre Produkte bewerben, die Forscher maximieren ihre Publikationsleistung. Je wichtiger Rankings werden, desto eher tritt solches Fehlverhalten auf.“

Mut wird bestraft, Mainstream wird belohnt

Aber Rankings seien auch für die Mehrzahl der wissenschaftlich sauber arbeitenden Forscher ein falsches Signal: „Untersuchungen zeigen, dass dadurch der Mainstream gefördert wird. Gutachter von Fachzeitschriften rümpfen bisweilen die Nase über innovative, riskante Forschung. So wurden etwa Aufsätze von späteren Nobelpreisträgern abgelehnt, weil sie mit der Konvention gebrochen haben.“ Die beste Chance auf eine Top-Platzierung habe, wer sich hauptsächlich auf die Variation von Altbewährtem konzentriere. Auf diese Weise würden Rankings den wissenschaftlichen Fortschritt behindern und mutigen Forschern Steine in den Weg legen.

1970 wollte der US-Ökonom George Akerlof den Aufsatz "The Market for Lemons" veröffentlichen - mehrere führende Journals lehnten dankend ab, zu gewagt schienen seine Thesen. Drei Jahrzehnte später erhielt Akerlof dafür den Wirtschaftsnobelpreis.
1970 wollte der US-Ökonom George Akerlof den Aufsatz "The Market for Lemons" veröffentlichen - mehrere führende Journals lehnten dankend ab, zu gewagt schienen seine Thesen. Drei Jahrzehnte später erhielt Akerlof dafür den Wirtschaftsnobelpreis.

Wo großer Wert auf Rankings gelegt werde, sinke also die Qualität der Publikationen, während die Quantität steige – und das habe Konsequenzen: „Wer sich derart auf seinen messbaren Output konzentriert, vernachlässigt andere Tätigkeiten“, sagt Kieser. „Dem Handelsblatt ist es egal, ob jemand fesselnde Vorlesungen hält. Dabei ist gute Lehre eine genauso wichtige Aufgabe für Professoren.“ Doch die lasse sich eben nicht so einfach quantifizieren wie die Zahl der Veröffentlichungen und habe deshalb keinen Einfluss auf die Platzierung im Ranking. Da sei es für einen strikt betriebswirtschaftlich denkenden Betriebswirt nur konsequent, seinen Nutzen zu maximieren und seine Zeit im Hörsaal zu minimieren.

Die "Evaluitis" ist ansteckend

Die Diskussion über den Sinn und Unsinn von wissenschaftlichen Rankings ist dabei nicht auf die BWL beschränkt. „Das gleiche Problem haben andere Wissenschaftler, etwa die Mediziner. Und neben Publikationsrankings für Forscher gibt es ja auch Hochschulrankings für Fakultäten, an denen sich Studieninteressierte orientieren.“ Während Alfred Kieser und Margit Osterloh das Handelsblatt Ranking boykottieren, wollen die deutschen Historiker und Soziologen nicht mehr vom Centrum für Hochschulentwicklung (CHE) in eine starre Liste gepresst werden. Ihre Argumente sind dabei weitestgehend dieselben: die methodischen Mängel im Speziellen und der Hang zur „Evaluitis“ im Allgemeinen. In einer immer komplexeren Wissenschaftswelt sei die Sehnsucht nach objektiver Bewertung zwar nachvollziehbar, aber gleichwohl kontraproduktiv, meint Kieser: „Wir sollten uns von der Illusion verabschieden, alles eindeutig messen zu können. Wir brauchen doch nicht für alles eine Top-10, die Gesellschaft ist auch so schon leistungsorientiert genug.“



RedeGegenRede vom 18.04.2013: Ringen ums Ranking - eine ZU-Veranstaltung mit Alfred Kieser, Bruno S. Frey und Frank Ziegele


22
22
 
Leserbrief

Haben Sie Anmerkungen zum Beitrag?
Ihre Sichtweise ist uns wichtig! Der Leserbrief gelangt direkt in die Redaktion und wird nach Prüfung veröffentlicht.
Vielen Dank für Ihr Verständnis!

Antwort auf:  Direkt auf das Thema antworten