Dr. Markus Dahinden

 

Designprinzipien und Evaluation eines reliablen CBA-Systems zur Erhebung valider Leistungsdaten

Das Messen von Kompetenzen stellt in der Hochschullehre eine Herausforderung dar: Einerseits ist die Formulierung von kompetenzorientierten Fragestellungen für Dozierende eine komplexe Aufgabe, andererseits verursachen die großen Kohorten von Studierenden einen beträchtlichen Korrekturaufwand, welcher die beteiligten Experten oft tagelang beschäftigt. Durch den Einsatz eines Computer-basierten Systems kann die Entwicklung von Aufgabenstellungen durch Prozesssteuerung optimiert und der Korrekturaufwand erheblich reduziert werden.

Die vorliegende Dissertation hat zum Ziel, die Grundlagen für die nachhaltige Integration von Computer-basierten Leistungskontrollen (CBA) in der Hochschullehre zu schaffen. Dazu sind zwei Prämissen nötig: Erstens muss das System sicher sein, das heißt auch in heterogenen Systemumgebungen verlässliche und belegbare Resultate liefern. Zweitens müssen die entwickelten Fragestellungen die kognitiven Leistungen der Studierenden zuverlässig messen.

Um die Sicherheit der aktuell eingesetzten Systeme abschätzen zu können, wurden deren Funktionsweisen analysiert und potentielle Sicherheitsrisiken einer Risikoanalyse unterzogen. Dabei hat sich herausgestellt, dass die Systeme einerseits anfällig auf Netzwerkausfälle oder Überlastungen der Infrastruktur sind, andererseits nur rudimentäre technische Möglichkeiten bieten, um den rechtserheblichen Sachverhalt der Prüfungen zweifelsfrei feststellen zu können. Dies ist insofern kritisch, als dass der Wegfall eines physischen Prüfungsdokuments ein Paradigmenwechsel bei Prüfungsverfahren darstellt. Aufbauend auf den Erkenntnissen der Sicherheitsanalyse wurden deshalb fünf Designprinzipien für sichere CBA-Systeme ausgearbeitet. Diese verlangen unter anderem den Einsatz von digitalen Signaturen und Laufnummern für den Nachweis der Vollständigkeit der Resultate sowie eine Teilautonomie einzelner Komponenten des Prüfungssystems. Auf der Basis dieser Designprinzipien wurde mit der Sioux-Prüfungssuite ein proof-of-conceptimplementiert und in der Praxis mit unterschiedlichen Studierendenzahlen in sowohl unbenoteten Lernerfolgskontrollen als auch in summativen Schlussprüfungen evaluiert. Die Ergebnisse zeigen, dass ein auf den vorgeschlagenen Designprinzipien basierendes CBA-System die Anforderungen bezüglich eines sicheren und reliablen Systems erfüllen kann.

Zur zuverlässigen Messung der kognitiven Leistung der Studierenden wurden Fall-basierte Prüfungsfragen entwickelt. Diese münden in drei unterschiedlichen Fragetypen, welche sich automatisiert korrigieren lassen und somit für den Einsatz in CBA-Systemen geeignet sind. Um die Qualität dieser Fragen empirisch festzustellen, wurden sie mittels eines in dieser Arbeit vorgestellten Entwicklungsmodells evaluiert. Dabei wurden sowohl die interne Konsistenz als auch die Gültigkeit der Resultate mittels Aussenkriterien ermittelt. Diese Analysen zeigen, dass durch den Einsatz von Fall-basierten Prüfungsfragen kompetenzorientierte, valide Leistungsmessungen möglich sind.

Mit dieser Arbeit ist die Grundlage zu einer zuverlässigen, automatisierten Erhebung valider Leistungsdaten geschaffen worden. Diese Daten werden primär für die Notengebung verwendet. Sie sind aber auch hilfreich, um mit individualisiertem Feedback die Lernaktivitäten zu fördern. Im Abschluss dieser Arbeit wurde untersucht, welches Potential zur Unterrichtsentwicklung in der Analyse der Leistungsdaten steckt. Dazu wurden die Leistungsdaten in die im Unterricht ermittelten Prozessdaten wie beispielsweise-se Umfrageresultate, Studierendenbeurteilungen durch Experten oder Selbstbeurteilunglungen integriert und auf der Basis der Leistungsdaten gruppiert. Die Ergebnisse der vorliegenden Arbeit zeigen, dass diese lehrbezogenen Daten neben der retrospektiven Analyse auch prospektive Aussagen über individuelle Lernfortschritte erlauben. Dadurch wird es möglich, die Ursache und Wirkung von Lehrbemühungen unmittelbarer zu ermitteln und so beispielsweise den Zusammenhang zwischen Feedback, Selbsteinschätzung und Motivation zu untersuchen.