Kategorie-Archiv: Lehrevaluation

PortraitStreamer

Beitragsvorstellung: „Hochschulbezogene Lehr-/ Lernforschung als Basis für die Lehrprofessionalisierung“ (2015)

Mit diesem Beitrag möchte ich den o.a. Titel von Wolfgang Jütte, Markus Walber und Claudia Lobe aus dem Sammelband zur Pädagogischen Hochschulentwicklung (S. 83-99) vorstellen:

In ihrem Beitrag weisen die Autoren an einem konkreten Beispiel der Universität Bielefeld einen Zugang zum Feld der Hochschullehre aus, der es zum Ziel hat, der Komplexität des vielschichtigen Konstrukt „Hochschullehre“ gerecht zu werden. Die Komplexität ergibt sich aus der Berücksichtigung von Prozessfaktoren (Lernen als Indikator für die Wirksamkeit von Lehre) sowie Kontextfaktoren (organisationale und personale Bedingungen) und verlangt deshalb ein multiperspektivisches Forschungsdesign sowie multimethodische Analyseinstrumente.

In einer ersten theoretischen Auseinandersetzung werden vier Gegenstandsbereiche der Hochschulforschung präzisiert: Die Autoren konstatieren, dass die (1) Qualität des Lehrens und Lernens vor allem an einem normativen Verständnis „guter Lehre“ resp. von „gutem Lernen“ ausgerichtet ist und, dass das Verhältnis von (2) Lehren und Lernen nicht in einfachen Kausalzusammenhängen abgebildet werden kann. Außerdem gilt es zu berücksichtigen, dass Lehrende und Lernende auf (3) den organisationalen Kontext reagieren und Lehrende von diesem in ihrer (4) Professionalisierung abhängig sind. − Um den beschriebenen Zusammenhängen forschungstechnisch begegnen zu können, ist die Methodentriangulation sinnvoll. Diese kann zur Fokussierung von Schnittstellen in den Daten und ihrer Verzahnung dienen, und so ein Wechselspiel zwischen „empirischen Beobachtungen und (theoretischen) Erklärungen im Forschungsverlauf“ (S. 86) ermöglichen kann.

Als nächstes konkretisieren die Autoren ihre Vorstellungen zu einem multiperspektivischen und multimethodischen Forschungsdesign am Beispiel des Projekts „Fellowship für Innovationen in der Hochschullehre“: Die Vorarbeit dazu leisteten sie mittels einer qualitativen Inhaltsanalyse der Projektanträge für Innovationsprojekte. Sie ist Grundlage für eine induktive Instrumentenentwicklung für die weiteren geplanten separaten Teilerhebungen zu folgenden drei Beobachtungsfokussen innovativer Lehre:

1)   Lehrende: Mit einer qualitativ inhaltsanalytischen Interviewstudie war das Ziel verbunden, „Einblicke in die Motivationen, Innovationsverständnisse und Handlungsprobleme bei der Realisierung innovativer Lehre sowie ihre organisationale Einbettung“ (S. 87/88) zu erhalten.

2)   Lernende: Die quantitative Befragung der Studierenden war mit dem Ziel verbunden, „Effekte innovativer Lehre auf das Lernen der Studierenden aufzuzeigen“ (S. 90).

3)   Vernetzung: Unter der Vorannahme, dass Innovationsprozesse als soziale Prozesse betrachtet werden, wurde eine soziale Netzwerkanalyse vorgenommen. Ihr Ziel war die Analyse der „Bedeutung der Netzwerkbildung mit gleichgesinnten Peers innerhalb und außerhalb des eigenen Hochschulkontextes“ (S. 88). Der Fokus lag dabei auf der „Kommunikation und Beziehungsstrukturen der Lehrenden in ihrer Funktion als Innovationspromotoren/-innen“ (S. 93).

Nach diesen separaten Erhebungen und Analysen nutzten die Autoren die Erkenntnisse i.S. einer Ergebnistriangulation dazu, „um Fragen an die jeweils andere Teilstudie zu formulieren und ihnen ggf. durch Sonderanalysen noch einmal gezielt nachzugehen“ (S. 95).

Im Anschluss an dieses konkrete Forschungsbeispiel weisen die Autoren auf die Relevanz einer möglichst evidenzbasierten Steuerung pädagogischer Praxis hin: Beobachtungen des professionellen Handelns und Erkenntnisse aus dem Feld sind gerade wegen ihrer situativen Merkmale fruchtbarer als normative pädagogische Zielvorstellungen.

Zum Schluss möchte ich noch eine kurze kritische Würdigung anfügen: Die Forderung nach einer Evidenzbasierung von Lehrprofessionalisierung leuchtet mir als wissenschaftliche Mitarbeiterin des CEDAR-Teams, aber auch als Lehrende an der Universität St.Gallen ein und entspricht meinem persönlichen Forschungsverständnis Meines Erachtens tangiert diese Auseinandersetzung vor allem die Diskussion eines Transferproblems von Forschung in die Praxis; besonders im Fall „Gestaltung innovativer Lehre“. Hierzu hätte ich eine genauere Darstellung des Forschungsprojekts als hilfreich empfunden, speziell eine explizitere Ausweisung des Innovationsbegriff: Welche Art von Innovationen wurden in den Projekten angesprochen und wer hat definiert, dass diese „innovativ“ sind (Stichwort: normative Setzung).

Weiterführend hätte mich als Leserin im Kontext der klaren Abschlussforderung noch eine kritische Würdigung des beispielhaften Innovationsprojekts interessiert: Mit welchen Herausforderungen bzw. Stolpersteinen muss man bei einem solchen Forschungsdesign und dieser Art der Erkenntnisgewinnung rechnen?

taiga_passfoto_2014

TAP – Teaching Analysis Poll – Pilot an der Universität St. Gallen

Auf Anregung des Teams für Lehren und Lernen der Universität Bielefeld pilotieren wir in diesem Semester die Teaching Analysis Poll (TAP). Bei dieser aus den USA kommenden Methode der formativen Evaluation wird das Ziel verfolgt, die Lehrenden bereits während des Semesters mit einer systematischen Rückmeldung zu unterstützen, ihre Lehrveranstaltung zu verbessern. TAP wird wie folgt durchgeführt (Quelle: u.a. Team Lehren und Lernen, Uni Bielefeld):

  • Anmeldung des Dozierenden für eine TAP im laufenden Semester
  • Zum vereinbarten Termin besuchen zwei Vertreter/-innen des Competence Centre for Educational Development and Research (CEDAR) die Veranstaltung (i.d.R. in der letzten halben Stunde).
  • Die Studierenden beantworten in Kleingruppen von maximal 5 Personen folgende drei Fragen:(1) Wodurch lernen Sie in dieser Veranstaltung am meisten? (2) Was erschwert Ihr Lernen? (3) Welche Verbesserungsvorschläge haben Sie für die hinderlichen Punkte?
  • Die Studierenden notieren ihre Vorschläge auf vorbereitete Arbeitsblätter, welche nach der Arbeitsphase eingesammelt werden.
  • Die Moderatoren/-innen des CEDAR gehen dann die Punkte mit den Studierenden durch und notieren sich, welche mehrheitsfähig sind.
  • Innerhalb einer Woche nach der Durchführung findet ein Feedbackgespräch zwischen dem/der Dozierenden und den CEDAR-Vertretern/-innen statt, indem vereinbart wird, welche der angesprochenen Punkte umgesetzt werden können. Die Lehrperson gibt ihren Studierenden in der folgenden Sitzung eine Rückmeldung zu den Punkten, die sie umsetzen möchte.

An der Unversität St. Gallen wird TAP in diesem Semester mit vier Lehrveranstaltungen sowohl auf der Bachelor- als auch auf der Masterstufe pilotiert. Erste Erfahrungen zeigen, dass die Studierenden – trotz anfänglicher Skepsish – die drei gestellten Fragen sehr intensiv diskutieren und konstruktive Verbesserungsvorschläge unterbreiten. Die folgende Abstimmung unterstützt die Moderatoren/-innen herauszuarbeiten, welche der Punkte von einer Vielzahl der Studierenden vertreten wird. Auf diese Weise wird vermieden, dass die Veranstaltung aufgrund von Einzelmeinungen umgestellt wird. Dabei kann auch festgestellt werden, dass sich durchaus kontroverse Diskussionen unter den Studierenden darüber entfachen, wie ‚gute Lehre‘ denn nun aussehen soll. Die Dozierenden erhalten im Feedbackgespräch wertvolle Hinweise, wie sie ihre Lehre noch im laufenden Semester verbessern können. Auf diese Weise erfahren die teilnehmenden Studierenden direkt, welche Veränderungen die Lehrperson umsetzt.

Wir sind gespannt auf die weiteren Erfahrungen in der Pilotphase und hoffen, dass wir das Konzept dann ab dem Frühjahrssemester in St. Gallen in die Breite bringen können.

Ein herzliches Dankeschön gilt den Kollegen/-innen der Universität Bielefeld, die ihre Erfahrungen mit TAP mit uns teilten!

Fraenzi

Erfahrungen mit Team-Teaching – Sicht der Studierenden

Anfangs April habe ich das dreitägige Blockseminar über „Präsentations- und Moderationssituationen gestalten“ bei Marion Lehner und Patrizia Kühner besucht. Die beiden gestalteten den Unterricht als Team und gehen diesbezüglich in ihrem Beitrag „Erfahrungen mit Team-Teaching“ genauer auf die Perspektive der Lehrenden ein.

Teamteaching (er-)öffnet viele Chancen, von welchen meines Erachtens auch Studierende profitieren. Die Lehrenden können sich gegenseitig entlasten, respektive unterstützen und somit differenzierter auf unterschiedliche Lernvoraussetzungen und Bedürfnisse der Teilnehmer (z.B. bezüglich Art und Weise des Unterrichtens) eingehen.  Mehrere Dozenten bringen vielfältigere Fähigkeiten (bspw. kommunikativ/sozial, fachlich etc.) ein, sodass eine Gestaltung des Unterrichts abhängig von Stärken und Schwächen der Lehrenden möglich ist.

Anfängliche Absprachen über Inhalt und Ablauf zwischen den Dozierenden können von den Lernenden als Unsicherheit, Einschränkung oder auch Dominanz- bzw. Kompetenzunterschiede der Lehrenden empfunden werden. Doch der gegenseitige Respekt anstelle von Konkurrenz und Machtkämpfen ist die optimale Basis für ein gut eingespieltes und funktionierendes Team. So resultierte auch im Blockseminar von Patrizia Kühner und Marion Lehner ein überaus angenehmerer wie auch lehrreicherer Unterricht für uns Studierende!

Erstrebenswert sind meiner Meinung nach kursspezifisch unterschiedliche Formen von Teamteaching. Je nach Thema können die Verantwortlichkeiten unterteilt – aber nicht aufgeteilt – und somit anfängliche Schwierigkeiten – wie oben beschrieben – vermieden werden.

passfoto_brahm_neu

Herausforderungen der Lehrevaluation – Beitrag in der Zeitschrift „Forschung & Lehre“

In der aktuellen Ausgabe der Zeitschrift „Forschung & Lehre“ wird das Thema Lehrevaluation beleuchtet. Tobias Wolbring, Post-Doc an der ETH Zürich und Autor des Buches „Fallstricke der Lehrevaluation“ weist nach, dass die Evaluation einer Lehrveranstaltung nicht nur durch die eigentlich zu messende Lehrqualität, sondern auch durch weitere Faktoren beeinflusst wird.

Lehrveranstaltungsevaluationen werden inzwischen flächendeckend eingesetzt und mit einer positiven Bewertung werden häufig (finanzielle) Anreize für gute Lehre oder auch Entscheidungen in Berufungsverfahren verbunden. Allerdings setzt eine solche Nutzung der Evaluationen voraus, dass diese einerseits das messen, was sie zu messen vorgeben (also die Lehrqualität), andererseits aber auch über Veranstaltungen hinweg vergleichbar sind. Dieser Blogbeitrag geht auf Basis des Artikels von Tobias Wolbring der Frage nach, inwieweit diese beiden Voraussetzungen erfüllt sind.

In empirischen Untersuchungen der Lehrevaluationen an der LMU München konnte Tobias Wolbring nachweisen, dass sich die Bewertung aufgrund folgender Faktoren der Studierenden systematisch unterscheidet:

  • Note der Hochschulzugangsberechtigung
  • Personen mit mathematisch-naturwissenschaftlichem Schwerpunktfach in der Schule
  • Wahlveranstaltungen gegenüber Pflichtveranstaltungen und
  • Vorinteresse an den Veranstaltungsinhalten.

Neben diesen Unterschieden in der studentischen Erwartungshaltung gibt es weitere Einflussfaktoren auf die Lehrevaluation, die ausserhalb der eigentlichen Interaktion zwischen Lehrenden und Studierenden liegen. Beispiele hierfür sind die physische Attraktivität der Dozierenden sowie Zeitpunkt der Notenerhebung. Während der erste Effekt im Durchschnitt nicht sehr ausgeprägt ist, bedeutet eine anspruchsvolle Klausur (welche vor dem Zeitpunkt der Evaluation) stattfindet, automatisch eine schlechtere Lehrevaluation. Die Evaluation bewertet in diesem Fall also nicht die eigentliche Lehrqualität, sondern andere – bestenfalls zumindest noch mit der Lehre im Zusammenhang stehende – Aspekte.

Zusätzlich zu den oben genannten Einflussfaktoren auf Seiten der Studierenden hat auch die Befragungsart (online oder per Papier) und die damit verbundene Teilnehmerschaft an der Evaluation einen Einfluss auf die Evaluationsergebnisse. Insbesondere bei papierbasierten Evaluationen am Semesterende werden diejenigen, die nicht mehr an der Lehrveranstaltung teilnehmen, nicht mehr erreicht. Diese sind aber tendenziell unzufriedener. Auch bei empirischen Untersuchungen wurde dieser Zusammenhang nachgewiesen. Es kann also auch aufgrund dieser Einflussfaktoren nicht von einer Vergleichbarkeit der Lehrevaluationen ausgegangen werden.

Letztlich bedeutet dies natürlich nicht, dass Lehrevaluationen nicht ein sehr sinnvolles Reflexionsinstrument für Lehrende darstellen. Allerdings sind die Ergebnisse und insbesondere ein Vergleich über mehrere Veranstaltungen hinweg mit Vorsicht zu betrachten. Wie auch der Ursprungsartikel von Tobias Wolbring ist auch dieser Beitrag „keineswegs als Plädoyer für die Abschaffung studentischer Lehrveranstaltungsbewertungen zu verstehen“! Es sei allerdings vor den möglichen negativen Folgen eines unreflektierten Einsatzes der Lehrevaluationen gewarnt.

Quelle: Wolbring, T. (2013). Fallstricke der Lehrevaluation. In: Forschung & Lehre, 20(12). Online verfügbar unter http://www.forschung-und-lehre.de/wordpress/?p=14868

Lehrevaluation und das eigene Empfinden: eine subjektive Reflexion

Berg

Was bringt mir als Lehrendem eigentlich die Evaluation der eigenen Veranstaltung? Ja, klar, sie sollte zumindest grobe Hinweise darauf geben, wie die Studierenden die eigene Lehre wahrnehmen. Häufig aber – so ging es zumindest mir – hatte ich das Gefühl, die Rückmeldungen auf Basis geschlossener Fragebogen-Items sind viel zu allgemein. „Ob es gut gelaufen ist oder nicht, merke ich auch selbst.“ – hatte ich gedacht.

Insofern brachte meine letzte Lehrevaluation durchaus ein gewisses Aha-Erlebnis. Das Blockseminar „Teamsituationen gestalten“ hatte ich schon mehrfach durchgeführt und insofern glaubte ich, ein ganz gutes Gespür für den Veranstaltungsablauf zu haben. In diesem Durchgang war es dem Empfinden nach recht mässig: Mässig interessierte und motivierte Studierende, mässige Diskussionsbeiträge, mässige Ergebnisse bei Gruppenarbeiten… so mein Empfinden. Mässig war dann auch meine Motivation nach dem ersten Blocktag. Die erste kleine Überraschung zeigte sich am zweiten Tag, wo die Studierenden abschnittsweise in Gruppen selbst lehren –  das machten sie diesmal richtig gut. Die grösste Überraschung kam dann aber in der Lehrevaluation. Die Studierenden waren vom Format der Veranstaltung wohl recht angetan und nach eigener Auskunft sehr am Thema interessiert.

Nochmal kritisch nachgedacht meine ich, dass wohl ich selbst der am mässigsten Motivierte war und diese Einstellung als Erwartung auf die Studierenden übertragen habe. Vielleicht, weil ich die Veranstaltung in ähnlicher Form schon mehrfach durchgeführt hatte? In jedem Fall kann man sich wohl nicht immer auf das eigene Gefühl verlassen, wenn es um die Einschätzung der Lehre geht. Hilfreich ist, dass die Kollegen/-innen der Qualitätsentwicklung an der Universität St. Gallen seit einiger Zeit ein neues Instrument verwenden. Dabei steht nicht (mehr) die Einschätzung der Dozierendenpersönlichkeit i.S. des „Gefallens“ im Vordergrund, sondern es wird nach konkreten Elementen und der Sinnhaftigkeit des didaktischen Designs (Qualität behandelter Problemstellungen, Materialien etc.), dem empfundenen Lernfortschritt sowie der Motivation und dem Engagement der Studierenden selbst gefragt. So gibt die Evaluation tatsächlich Anlass, die eigene Wahrnehmung etwas zu relativieren.