Quelle: Julien Eichinger / stock.adobe.com

Unter dem Titel "Kleine Fächer im Wettbewerb? Leistungsindikatoren zur Qualitätsmessung in den kleinen Fächern" veranstaltete die Arbeitsstelle Kleine Fächer am 31. Mai 2021 ihren zweiten Informations- und Vernetzungsworkshop im Rahmen des vom BMBF geförderten Projektes "Die Dynamik Kleiner Fächer", der aufgrund der Covid-19-Pademie erneut als Onlineveranstaltung stattfand. Unter rund 25 geladenen Gästen diskutierten Vertreter*innen kleiner Fächer, der Hochschulforschung, -administration und -politik sowie der Forschungsförderung, welche besonderen Herausforderungen sich im Kontext der Qualitätsmessung für kleine Fächer stellen, ob und welche alternativen Indikatoren und Bewertungsverfahren zur Einschätzung der Leistungsfähigkeit kleiner Fächer herangezogen werden können und welche Bedeutung dem Peer Review Verfahren - vor dem Hintergrund überschaubarer Fachcommunitys - in kleinen Fächern zukommen sollte.

Begrüßung und Vorstellung der aktuellen Initiativen der Arbeitsstelle Kleine Fächer

Uwe Schmidt (Leitung der Arbeitsstelle Kleine Fächer) verband seine Begrüßung mit einer kurzen Vorstellung des durch das BMBF geförderten Projekts "Die Dynamik Kleiner Fächer", das als Verbundprojekt der Arbeitsstelle Kleine Fächer und der Digitalen Akademie der Mainzer Akademie der Wissenschaften und der Literatur im November 2019 gestartet ist. In diesem Kontext kündigte er die zeitnahe Erweiterung der Kartierung - über die staatlichen Universitäten hinaus - um weitere Hochschultypen an.

Hinsichtlich der Ausrichtung des Workshops auf Fragen der Qualitätsmessung in den kleinen Fächern verwies Uwe Schmidt auf folgende Anknüpfungspunkte: Bereits 2007 identifizierte die Hochschulrektorenkonferenz in ihrem Positionspapier "Die Zukunft der Kleinen Fächer. Potenziale - Herausforderungen - Perspektiven" die Qualitätssicherung und Finanzausstattung kleiner Fächer als zentrales Handlungsfeld, um die Zukunft eben dieser zu sichern. Auch der Wissenschaftsrat beschäftigte sich in seinen "Empfehlungen zur Bewertung und Steuerung von Forschungsleistung" aus dem Jahr 2011 intensiv mit der Bewertung und Steuerung von Forschungsleistung. Daneben wurde die Relevanz der Thematik in einem vorangegangenen Workshop der Arbeitsstelle Kleine Fächer betont, der sich an die Vertreter und Vertreterinnen der zuständigen Landesministerien richtete.

Eröffnender Vortrag "Leistungsbewertung kleiner Fächer - fachübergreifend, fach- oder strukturspezifisch?"

In seinem eröffnenden Vortrag widmete sich Stefan Hornbostel (zuletzt Leiter der Abteilung "Forschungssystem und Wissenschaftssystem" Deutsches Zentrum für Hochschul- und Wissenschaftsforschung) dem Thema Leistungsbewertung kleiner Fächer. Dabei identifizierte er vier zentrale Problembereiche, welche insbesondere für kleine Fächer relevant seien.

1. Problembereich: Welche Leistung soll gemessen werden?

Zunächst stellte Stefan Hornbostel das Problem der Leistungsidentifikation heraus. Welche Leistung soll gemessen werden und was ist eine relevante Leistung? Historisch betrachtet sei Leistungsmessung auf zwei enge Bereiche fokussiert gewesen: Lehre und Forschung. Heute sei das Portfolio weiter gefasst und es würden weitere Bereiche wie bspw. der wissenschaftliche Nachwuchs in der Leistungsbewertung berücksichtigt. Darüber hinaus sei eine zunehmende Differenzierung zwischen wissenschaftlichen und sozialen Indikatoren zu beobachten. Dabei würden im Zuge der 3rd Mission vermehrt Indikatoren diskutiert, welche zwar im engeren Sinne keine Leistungsindikatoren darstellten, aber notwendig seien für die Qualitätssicherung und somit Voraussetzung für Leistung. Zu solchen Indikatoren zählte Stefan Hornbostel die Replizierbarkeit von Daten, Open Access, Geschlechterverteilung, aber auch Indikatoren zur Negativabgrenzung, wie bspw. die Wahl des Journals.

Stefan Hornbostel schlussfolgerte, dass für eine erfolgreiche Leistungsmessung zunächst definiert werden müsse, welche Leistung relevant sei, um im Anschluss einschlägige Indikatoren identifizieren zu können. Kleine Fächer stünden hier vor einer besonderen Herausforderung, da für diese die Kooperationsstrukturen von übergeordneter Bedeutung seien. Kooperationsstrukturen seien im Kernsinne jedoch kein Leistungs- sondern ein Strukturindikator und führten zum zweiten Problembereich der Leistungsmessung in den kleinen Fächern.

2. Problembereich: Was sind Einheiten der Bewertung?

Im Mittelpunkt des zweiten Problembereichs stand die Frage, nach den Einheiten der Leistungsbewertung. Stefan Hornbostel führte aus, dass in der Forschungsevaluation i.d.R. keine personenbezogenen Indikatoren herangezogen würden. Stattdessen seien es Indikatoren auf Ebene der Organisationseinheiten, welche zur Beurteilung der Leistung betrachtet würden. Hinsichtlich der kleinen Fächer sei in diesem Zusammenhang problematisch, dass sich ihre Organisationseinheiten in einer Größenordnung bewegten, die keine statistischen Vergleiche zuließen. Dies führe dazu, dass kleine Fächer in Forschungsrankings entweder keine Berücksichtigung finden oder aber - wie im Falle des CWTS Leiden Ranking - zu großen Clustern zusammengeführt werden, so dass keine Rückschlüsse auf die einzelnen kleinen Fächer mehr möglich seien.

3. Problembereich: Was ist ein geeignetes Referenzsystem?

Die vorangegangene Problematik der Bewertungseinheiten führte Stefan Hornbostel zu der Frage nach einem geeigneten Referenzsystem für kleine Fächer. So sei die alleinige Betrachtung von Zahlen für eine Bewertung nicht ausreichend, es bedürfe stets einer angemessenen Vergleichsebene. Daher müssten Zahlen auf die fachliche Situation hin normiert werden, um sie dann einem Vergleich mit dem Erwartungswert unterziehen zu können. Dies stelle die kleinen Fächer vor eine besondere Herausforderung, seien sie doch zu klein, um selbst als Referenzgruppe dienen zu können. Stefan Hornbostel warf hieran anschließend die Frage auf, ob Fächer und insbesondere kleine Fächer das richtige Konstrukt seien, um das Wissenschaftssystem zu normieren. Hintergrund dieser Frage sei die Beobachtung, dass die Wertschätzung interdisziplinärer Forschung steige und infolgedessen die Frage aufkomme, ob es u.U. nicht sinnvoller sei, Referenzsysteme über Problembereiche und nicht länger über Fächer abzubilden. Hier sah er auch einen Vorteil für kleine Fächer. Diese seien zwar organisatorisch betrachtet klein, verfügten aber oftmals über eine starke Problembezogenheit.

Hinsichtlich eines geeigneten Referenzsystems für kleine Fächer mit Blick auf die Leistungsmessung konstatierte Stefan Hornbostel, dass der Einsatz von Indikatoren nicht flächendeckend, sondern spezifisch erfolgen müsse. Denn eine one-fits-all Lösung gebe es nicht, vielmehr müsse es das Ziel sein, einen größeren fachlichen Rahmen zu definieren und für eben diesen geeignete Indikatoren zu identifizieren.

4. Problembereich: Identifikation geeigneter Indikatoren

Als letzten und vierten Problembereich benannte Stefan Hornbostel die Identifikation geeigneter Indikatoren zur Leistungsmessung. Für kleine Fächer sei insbesondere die starke Abhängigkeit von einzelnen Personen problematisch, was eine statistische Betrachtung bzw. statistisch gesicherte Aussagen erschwere.

Dennoch könnten sich auch klassische Indikatoren für kleine Fächer eignen. Dazu zähle die Berücksichtigung von Drittelmitteleinwerbungen sowie die Messung wissenschaftlicher Publikationen. Hinsichtlich des Indikators Drittmitteleinwerbung bedürfe es jedoch einer geeigneten Referenzgruppe zur fachlichen Normierung und auch hinsichtlich der Bibliometrie sei es notwendig, fachkulturelle Eigenheiten zu berücksichtigen.

Darüber hinaus könne eine stärkere Implementierung des Indikators "social Impact" angedacht werden. Idee des Indikators sei die Messung des Einflusses akademischer Forschung auf nicht-wissenschaftliche Felder. Allerdings sei der Indikator "social Impact" derzeit noch kein anerkannter Forschungsindikator, was nicht zuletzt an der ungelösten Frage der Messung liege. Als Indikator ungeeignet seien dagegen Wissenschaftspreise.

Abschließend resümierte Stefan Hornbostel, dass Messprobleme auf Indikatorenebene nicht in Gänze lösbar seien. Eine Verbesserung der aktuellen Situation könne jedoch über die folgenden vier Punkte erreicht werden:

  • Angemessenes Feld der Indikatorik auswählen
  • Anerkennen, dass es keine Generallösung für kleine Fächer gebe
  • Stärkere Fokussierung auf Strukturindikatoren andenken
  • Neujustierung der Kategorien (stärker an Themen- und Problembereichen orientieren, weniger entlang der disziplinären Zugehörigkeit).

Podiumsdiskussion - Neue Wege der Leistungsbewertung

Auf dem virtuellen Podium diskutierten Rainer Lange (Leiter der Abteilung Forschung, Wissenschaftsrat), Christoph Lundgreen (Leiter des Projekts "Anreize im Wissenschaftssystem", Junge Akademie) und Dagmar Simon (Wissenschaftszentrum Berlin für Sozialforschung) über neue Wege der Leistungsbewertung für die kleinen Fächer.

Eingangsstatements

In seinem Eingangsstatement betonte Rainer Lange die Bedeutung von Indikatoren für die Reduzierung von Komplexität. Dabei sei jedoch zwischen der Beurteilung von Leistung und dem Aufzeigen von Belastungen zu differenzieren. Denn neben einer Leistungsmessung sei auch die Messung von Belastung von Relevanz, was im Besonderen auch die kleinen Fächer tangiere. Dabei stelle sich die Frage, inwieweit Belastungsindikatoren in die Entscheidungsprozesse von Hochschulen eingebunden werden könnten.

Christoph Lundgreen hob die Schwerpunkte der Stellungnahme zu Anreiz-Problematiken im Wissenschaftssystem der Jungen Akademie hervor. Daraus resultierten zwei zentrale Forderungen: 1. Bei Messungen nicht nur die Forschung zu berücksichtigen, sondern wenn schon, dann alle Säulen der akademischen Tätigkeit (von Lehre bis Transfer) 2. Loslösung von rein quantitativen Indikatoren. Lundgreen räumte dabei offen das leichte Paradox ein, dass die Mitglieder des Projektes grundsätzlich "weniger Messen" wünschenswert fänden, auf der anderen Seite aber wohl auch intensivere Messungen notwendig seien, um "besser" zu messen.

Zu Beginn ihres Statements skizzierte Dagmar Simon die Ergebnisse ihre Begleitforschung (gemeinsam mit Martina Röbbecke) zur Förderinitiative "Experiment!" der VolkswagenStiftung Hannover. Innovatives Element im Auswahlverfahren dieser Förderinitiative sei die teil-randomisierte Auswahl per Los - in Ergänzung zu einer unabhängigen Jury. Hintergrund sei, dass Peer Review zwar das entscheidende Selbststeuerungsinstrument in der Wissenschaft darstelle, dabei in der Auswahl der Forschungsprojekte jedoch zum Konservatismus neige. Die Begleitforschungt zeige, dass die geförderten Personen in der Ergänzung des Peer Review um den Losentscheid eine höhere Chance für innovative und risikoreiche Forschung sowie eine höhere methodische und thematische Diversität sähen.

Diskussion

Im Anschluss an die Eingangsstatements diskutierten die Podiumsgäste die Herausforderungen für kleine Fächer im Zuge von Peer Review und Auswahlverfahren sowie die Definition von Indikatoren für die Messung von Lehrleistung. Die zentralen Ergebnisse der Diskussion sind im Folgenden entlang der Themenfelder zusammengefasst:

Größe der Fachcommunity und ihr Einfluss auf Bewertungen durch Peers

  • Die Größe der Fachcommunitys sei kein Problem, welches ausschließlich in den kleinen Fächern zu finden sei. Vielmehr handele es sich um ein strukturelles Problem, welches sich auch bei großen und mittelgroßen Fächern zeige.
  • Problematischer als die Größe der Fachcommunity seien die etablierten Machtstrukturen innerhalb der Fächer, welche die Peer Review Verfahren beeinflussen könnten. Deshalb böten sich Losverfahren in Auswahlprozessen als Ergänzung an, um eine Loslösung von einzelnen Personen zu erreichen.

Steigerung einzelner Indikatoren führen zu Ineffizienz in der Forschung

  • Ein wesentliches Problem in der Bewertung und Steuerung von Forschungsleistung sei u.a. auf die verwendeten Indikatoren zurückzuführen. Grund dafür sei die Annahme, dass eine Steigerung der Zielvorgaben zu einer linearen Steigerung von Forschungsleistung führe. Vielmehr seien jedoch langfristig Sättigungseffekte zu beobachten. Deshalb sollten algorithmische Indikatoren - neben linearen Indikatoren - berücksichtigt werden, wobei auf die spezifischen Fachunterschiede eingegangen werden sollte.
  • Hinsichtlich des Umgangs mit linearen Indikatoren wurde als weiterer Lösungsvorschlag die Deckelung eben dieser formuliert und damit verbunden ein Bruch mit der Annahme, dass bspw. mit steigenden Drittmitteleinwerbungen die Forschungsleistung stetig zunehme.

Alternative Indikatoren zur Lehrauslastung

  • Für die Steuerung von Hochschulen seien Indikatoren im Bereich der Lehre zumindest im Hinblick auf die Grundfinanzierung ein wesentlicher Steuerungsfaktor. Zentraler Indikator sei dabei die Studierendenzahl, wobei kleine Fächer - mit in der Regel geringen Studierendenzahlen - Fächern mit einer hohen Auslastung gegenüberstehen.
  • Wichtig sei dabei eine Hierarchisierung von Indikatoren zu vermeiden, um eine Anerkennung der unterschiedlichen Leistungen zu gewährleisten und Fehlsteuerungen entgegenzuwirken.

Arbeitskreise und Diskussion

Am Nachmittag widmeten sich die Teilnehmenden in zwei Arbeitsgruppen der Frage, wie die spezifischen Arbeits- und Rahmenbedingungen kleiner Fächer angemessen bei der Mittelverteilung berücksichtigt werden könnten. Die Arbeitskreise setzten sich zum einen aus Hochschulleitungen und Fachvertreter*innen und zum anderen aus Vertreter*innen aus Ministerien und Förderinstitutionen zusammen. Die Ergebnisse der Arbeitsgruppen wurden anschließend im Plenum präsentiert und diskutiert.

Mit Blick auf die Grundfinanzierung der Hochschulen wurde von Seiten der anwesenden Ländervertreter*innen betont, dass sich die Grundfinanzierung vornehmlich an der Studierendenzahl (bzw. Zahl der Abschlüsse, Zahl der Studienanfänger*innen) bemesse, um in Deutschland eine beitragsfreie staatliche Hochschulbildung zu ermöglichen. Daher sei es aus Sicht der Landesvertreter*innen nachvollziehbar, dass Hochschulen Fächer nicht weiterführten, deren Studiengänge nicht ausgelastet seien. Zudem müsse gesehen werden, dass sich manche Hochschulen kleine Fächer nur leisten könnten, weil sie über eine ausreichende Zahl von großen Fächern mit vielen Studierenden verfügten. Eine Chance könnten hier digitale Netzwerke im Bereich von Studium und Lehre bieten, die Fächer mit geringen Studierendenzahlen in länderübergreifenden digitalen Angeboten zusammenführten.

In Anbetracht der Hochschulautonomie läge die Frage des Erhalts kleiner Fächer in erster Linie auf Ebene der Hochschulen. Eine Einflussnahme von Seiten der Länder sei vorrangig über Anreizsysteme möglich.

Die anwesenden Fachvertreter*innen sprachen sich mehrheitlich gegen eigene Indikatoren für kleine Fächer aus und für eine Gleichbehandlung aller Fächer - jedoch unter der Voraussetzung, dass keine systematischen Nachteile durch die eingesetzten Indikatoren entstünden. Dabei wäre es von Vorteil, wenn ein möglichst breites Portfolio an Indikatoren berücksichtigt werde, welche sich ergänzten und der Diversität der Fächer Rechnung trügen. Vor diesem Hintergrund zeigten sich die Diskutierenden offen gegenüber Indikatoren im Bereich "Transferleistungen". Unter Transferleistung verstanden die Anwesenden etwa die Unterhaltung von Museen und Archiven, welche ebenfalls in der Leistungsbewertung durch Hochschulen berücksichtigt werden sollten. Hinsichtlich einer stärkeren Berücksichtigung von Lehrleistung in der Leistungsmessung diskutieren die Fachvertreter*innen die Teilnahme an hochschuldidaktischen Maßnahmen als Indikator, betonten aber zugleich, dass auch durch einen solchen Indikator keine Messung von Lehrqualität erfolgen könne.

Als Gefahren für den Fortbestand kleiner Fächer wurden - neben geringen Studierendenzahlen - zum einen Entwicklungen zur Vereinheitlichung von Hochschulen im europäischen Raum genannt, die einerseits eine Angleichung des Fächerspektrums und andererseits die noch stärkere Betonung der wirtschaftlichen Verwertbarkeit von Wissenschaft mit sich bringen dürften. Zum anderen wurde auch für den deutschen Hochschulraum die Tendenz gesehen, im Rahmen der Hochschulsteuerung wirtschaftliche Aspekte stärker in den Vordergrund zu stellen, was kleine geisteswissenschaftliche Fächer vor größere Herausforderungen stellen dürfte als beispielsweise Fächer aus den Ingenieurwissenschaften.

Abschließende Zusammenfassung

Abschließend wurde resümiert, dass nicht nur speziell für kleine Fächer, sondern vielmehr für das gesamte Hochschulsystem die Frage bestehe, inwiefern Indikatoren mit Steuerungsinstrumenten zusammengeführt werden können, ohne dass systematische Nachteile auf Fächerebene entstehen. Als besondere Herausforderungen wurden dabei u. a. die Identifikation geeigneter Einheiten als Referenzsystem sowie die Identifizierung geeigneter Indikatoren, aber auch die Eigendynamik von Indikatoren, die eine gewisse Handlungslogik nahelege, erkannt. Abschließend konnte resümiert werden, dass für kleine Fächer keine gesonderten Indikatoren herangezogen werden sollten, sondern vielmehr ein breites Portfolio an Indikatoren, um der Diversität der Disziplinen Rechnung tragen zu können.

Veranstaltungsmaterialien

Programm und Dokumentation

Download des Programms "Kleine Fächer im Wettbewerb? Leistungsindikatoren zur Qualitätsmessung in den kleinen Fächern"

Download der Dokumentation "Kleine Fächer im Wettbewerb? Leistungsindikatoren zur Qualitätsmessung in den kleinen Fächern"