Kategorie-Archiv: Assessment

Gravatar_ChristophMeier

Prüfen im Rahmen von Lehrveranstaltungen – zielorientiert und fair

Im Rahmen der turnusmässigen „Mittelbau-Talks“ (MIB-Talk) hatte mich der Vorstand des Mittelbaus der Universität St.Gallen eingeladen, zum Thema „Prüfen“ zu berichten.

Die Qualität von Lehre an Hochschulen ist ja eng mit der Qualität von Prüfungen verbunden. Prüfungen haben eine hohe Wirkungskraft auf das Lernen Studierender. Immer wieder ist auch die Rede davon, dass Prüfungen den „heimlichen Lehrplan“ repräsentieren. Denn: „Wenn etwas nicht geprüft wird, dann wird es auch nicht gelernt“ (Reeves, 2006). Der Kohärenz von Lernzielen, Lernformen und Prüfungsformen kommt daher eine grosse Bedeutung für die Qualität von Lehre zu.

Mein Beitrag fokussierte die zentralen Fragen, die sich Lehrpersonen stellen, wenn sie eine Prüfung zu einer Lehrveranstaltung entwickeln:

  • Wozu prüfen?
    Soll die geplante Lernerfolgskontrolle formativen Charakter haben und auf den weiteren Lernprozess der Studierenden wirken oder geht es darum, im Rahmen einer summativen Lernerfolgskontrolle einen Nachweis zu den erworbenen Kompetenzen zu erbringen?
  • Was prüfen?
    Wie können die Lern- / Entwicklungsziele und die Prüfungsaufgaben in eine gute Passung gebracht werden – insbesondere im Hinblick auf das kognitive Anspruchsniveau? Und wie sollen Lernziele und Themen für eine Überprüfung ausgewählt werden?
  • Wie prüfen?
    Wie hängen die Bearbeitungsform von Prüfungsaufgaben und das erreichbare Anspruchsniveau zusammen?
  • Wie auswerten?
    Welche Form der Beurteilung von Ausführungen zu Prüfungsaufgaben (global vs. analytisch) ist wann sinnvoll? Was sind Anforderungen an eine Musterlösung und ein Bewertungsschema? Und über welchen Bewertungsmassstab sollen schliesslich erreichte Punktbewertungen in eine Note überführt werden?
  • Wie gut prüfen?
    Was sind die zentralen Qualitätsanforderungen an Prüfungen? Inhaltsgültigkeit; Objektivität in der Durchführung und Auswertung; Chancengerechtigkeit; aber auch Prüfungsökonomie.

Hier die Folien zu diesem Beitrag, die diese fünf Grundfragen aufgreifen und vertiefen und am Ende noch ein paar Ideen für das Weiterdenken von Prüfungsformen aufgreifen:

 

Für Diskussion sorgte gegen Ende der Veranstaltung noch der Aspekt der Chancengerechtigkeit und Fairness. Hier stellt sich immer wieder die Frage, ob und wie geringere Sprachkompetenzen bei Studierenden im Austauschsemester oder Studierenden aus dem Ausland bei der Bewertung berücksichtigt werden sollen. Zudem haben wir – zunächst kontrovers – diskutiert, inwiefern es im Sinne der Fairness wichtig ist, dass Lehrpersonen auf kulturelle Besonderheiten Rücksicht nehmen. Hier musste zunächst das Missverstandnis ausgeräumt werden, dass dadurch die Ansprüche an fachliche Inhalte relativiert würden. Lehrpersonen, so der Tenor der folgenden Beiträge, sollten die gestellten Prüfungsaufgaben auch dahingehend reflektieren, ob nicht in unbeabsichtigter Weise kulturspezifisches Wissen die Bearbeitung erleichtern bzw. erschweren kann: etwa wenn bei einer Aufgabenstellung zu einem Business-Case nach Marktchancen gefragt wird für Velo-Flickis (Fahrradreparaturwerkstätten), verschiedene Käsesorten oder konkurrierende Graubündener Wintersportregionen – hier wären ausländische Studierende aus Ländern, in denen wenig Fahrrad gefahren oder Wintersport betrieben wird vermutlich benachteiligt.

Verweise

Reeves, T. C. (2006). How do we know they are learning?: The importance of alignment in higher education. International Journal of Learning Technology, 2(4), 294–309.

Global Learning Value Rubric

passfoto_brahm_mini

Die Inspiration zu diesem Blog-Beitrag stammt von “Tomorrow’s Next Professor“, einem für heutige Zeiten fast antiquiert anmutenden Newsletter. Ins Leben gerufen wurde Tomorrow’s Next Professor von Rick Reis, einem „part time consulting professor“ an der Standford University.

In einem der letzten Newsletter standen „the challenges related to defining, mapping, implementing, and assessing global learning outcomes“ im Zentrum. Basis dafür war ein Beitrag der Association of American Colleges and Universities (AAC&U) (2013) unter dem Titel „Developing a Global Learning Rubric: Strengthening Teaching and Improving Learning“ (Autoren: Chad Anderson and David Blair).

Die Global Learning Rubric kann als Ergebnis eines Prozesses bezeichnet werden, der sich insbesondere mit den folgenden Fragen beschäftigte:

  • What is global learning, and how can our institution build consensus around it?
  • What are the outcomes of global learning, and what knowledge, skills, and capacities are needed to ensure that students achieve those outcomes?
  • Is our institution effectively infusing global learning into the curriculum and cocurriculum?
  • Are our students successfully acquiring the aforementioned knowledge, skills, and capacities?

Als Ziel von “global learning” wird ausgewiesen, dass allgemeine Curricula mit den Erwartungen einhergehen sollten, sozial verantwortliche und global denkende Führungskräfte zu entwickeln. Da dieses Ziel in ähnlicher Ausprägung auch in der Vision der Universität St. Gallen verankert ist, scheint der Ansatzpunkt, dazu eine Rubric zu entwickeln, auch für unsere Arbeit spannend. Die Rubric soll dazu beitragen, dass der Austausch über global learning an den Universitäten verstärkt wird und dass letztlich sowohl Lehrenden als auch Administration das zugrundeliegende Ziel unterstützen.

Mit einem umfassenden Prozess im Rahmen des Projekts „Valid Assessment of Learning in Undergraduate Education (VALUE)“ (auch Morgaine, 2010) wurden 6 Dimensionen des globalen Lernens formuliert:

  1. Global Self-Awareness
  2. Perspective Taking
  3. Cultural Diversity
  4. Personal and Social Responsibility
  5. Understanding Global Systems
  6. Applying Knowledge to Contemporary Global Contexts

Für jede Dimensionen gibt es vier Operationalisierungen, wie die folgende Abbildung zeigt.

global-learning-rubric

Bildquelle: Anderson & Blair (2013)

Die Rubric wurde in einem umfassenden Prozess daraufhin getestet, ob sie sich auf studentische Arbeiten anwenden lässt. Nichtsdestotrotz sollte bei Anwendung in einem spezifischen Studienprogramm zunächst ein individueller Kalibrierungsprozess mit einer Vielzahl von Beteiligten eines Studienprogramms durchlaufen werden. Diese Diskussion kann dann auch die probeweise Bewertung von studentischen Arbeiten enthalten, um zu sehen, inwieweit die Rubric auf für das eigene Studienprogramm einsetzbar ist. Dabei liegt der Fokus klar auf Kursen mit dem Ziel des „global learning“.

Für unser Projekt zur Integration von Sustainable Development im Bachelor BWL kann die Rubric interessante Reflexionsimpulse bieten. Auch wenn in diesem Projekt gerade die Integration dieser Inhalte in bestehende Veranstaltungen im Vordergrund steht, ist nichtsdestotrotz darüber nachzudenken, inwieweit die Bewertungskriterien für die bestehenden Kurse erweitert werden müssen.

Quellen:

Anderson, C. & Blair, D. (2013). Developing a Global Learning Rubric: Strengthening Teaching and Improving Learning. Diversity & Democracy, 16(3), online available at http://www.aacu.org/diversitydemocracy/vol16no3/anderson_blair.cfm (2013-10-24).

Morgaine, W. (2010). Developing Rubrics: Lessons Learned. In Rhodes, T. L. (Hrsg.). „Assessing Outcomes and Improving Achievement: Tips and Tools for Using Rubrics„. Washington, DC: Association of American Colleges and Universities.