Loading...
 
Print

eAssessment Framework (vorläufiger Arbeitstitel)

 

Hintergrund

 
Die reine Präsentation von Informationen reicht für einen gesicherten Lernerfolg nicht aus, vielmehr muss der Lerner sich selbst aktiv mit dem Lernstoff beschäftigen. Zu diesem Zweck werden u.a. auch Übungsaufgaben gestellt. Um die Anzahl und die Verwendungshäufigkeit der angebotenen Aufgaben zu steigern, ohne dabei den Korrekturaufwand von Lehrkräften zu erhöhen, wurden schon früh mit dem Aufkommen von Computern diese zur automatischen Korrektur von „geschlossenen Aufgaben“ eingesetzt.

Geschlossene Aufgaben (Rütter73), zu denen z.B. Single- bzw. Multiple-Choice-, Lückentext- und Zuordnungsaufgaben gehören, zeichnen sich dadurch aus, dass die Antworten der Lerner durch ein einfaches Testverfahren ausgewertet werden können. Dabei wird die Lösung des Lerners mit einer Lösungsschablone oder einer einfach zu formalisierenden Menge von richtigen Antworten (z.B. Menge von zugelassenen Strings) verglichen. Aufgrund der einfachen Testverfahren sind diese Aufgaben-formen zum einen automatisch korrigierbar und zum anderen inhaltsunabhängig einsetzbar (Multiple-Choice-Aufgaben werden beispielsweise sowohl in der Ausbildung von Medizinern als auch in Führer-scheinprüfungen und in beliebigen anderen Domänen eingesetzt).
Art und Umfang der Rückmeldungen an den Lerner gehen dabei allerdings meist nicht über eine Begründung der Korrektheit oder Fehlerhaftigkeit hinaus und beschränken sich häufig auf die Meldung des Erfolgs bzw. Misserfolgs (richtig / falsch). Aussagen zu Fehlerquellen sind selten möglich und abhängig vom Design der Aufgabe.
Für die Bewertung der Lösungen gibt es zwei grundlegende Varianten. Entweder werden nur richtige Antworten gewertet (ggf. gewichtet) und falsche ignoriert, oder falsche Antworten führen zu Punktab-zug. Aufgrund der Einfachheit des Testverfahrens, der Art der Rückmeldung und der simplen Bewer-tungsschemata sind diese Aufgaben automatisch korrigierbar, so dass heute eine Vielzahl von Tools angeboten wird, die die Erstellung und Distribution von „geschlossene Aufgaben“ ermöglichen.

Allerdings sind die Aktivität des Lerners und die Intensität seiner Auseinandersetzung mit dem Stoff bei geschlossenen Aufgabentypen meist begrenzt. Bestimmte Fähigkeiten, wie die Erstellung eines Programms, das Zeichnen eines Diagramms oder das Schreiben eines Aufsatzes, sind nicht durch geschlossene Aufgaben testbar, so dass es bald erste Ansätze von eAssessment-Systemen gab, die den Fokus auf eine bestimmte Domäne richteten und mit inhaltsspezifischen Tests versuchten, Auf-gaben zumindest teilautomatisch zu korrigieren. Im Bereich der Programmierausbildung wurden be-reits in den 1960er Jahren erste Systeme entwickelt, die Lösungen in Form von Code entgegennah-men und bewerteten (FW65).
Dabei werden in eAssessment-Systemen die Kriterien für den Überprüfungsprozess modifiziert. Die Prüfung der Lösung ist dabei speziell an die Aufgabe bzw. Domäne angepasst und besteht meist aus einer Kombination verschiedener Testverfahren. So testen heutige eAssessment-Systeme im Be-reich der Programmierausbildung die Lösung u.a. zunächst z.B. in Hinblick auf Kompilierbarkeit und Einhaltung von Programmierkonventionen und prüfen sie dann gegen Testdaten.
Dabei können aufgrund der Spezialisierung auf eine Domäne Art und Umfang der Rückmeldungen, wenn auch in Grenzen, spezifischer gestaltet werden, da bestimmte Fehlerquellen ausgemacht wer-den können (Code kann nicht kompiliert werden, etc.). Bewertungen einer Lösung können dabei auf Basis der Ergebnisse der einzelnen Testverfahren ermittelt werden, wobei viele Testverfahren nicht die Korrektur durch einen Tutor ersetzen können. Häufig wird deshalb eine manuelle Korrektur und Bewertung auf Grundlage der automatischen Tests durchgeführt, wobei die automatisierte Überprü-fung als Vortest und ggf. Vorstrukturierung und Automatisierung einfacher Bewertungsschritte dient.

Da eAssessment-Systeme auch zur Unterstützung universitärer Lehrveranstaltungen eingesetzt wer-den, sollte der automatisierte Überprüfungsprozess der Lösungen durch ein eAssessment-System in den kompletten Übungsbetrieb eingebettet werden, so dass (teil-)automatisch oder manuell ermittelte Bewertungen direkt in die Leistungserfassung (z.B. in einem LMS oder einer dezentral geführten Da-tenbank) eingehen können.

Aufgabenstellung

 
Gegenstand der Diplomarbeit ist die Entwicklung eines Frameworks, das es ermöglicht, Überprü-fungsprozesse für beliebige domänenabhängige Testaufgaben zu steuern. Dazu sind insbesondere der Kontrollfluss von Überprüfungsprozessen zu analysieren sowie die notwendigen Schnittstellen zu den domänenspezifischen Testverfahren zu definieren. Hierbei ist zu berücksichtigen, dass sowohl (teil-)automatisierte als auch manuelle, durch einen „Teacher-in-the-loop“ durchgeführte Überprü-fungsprozesse unterstützt werden sollen, die darüber hinaus auch an den universitären Übungsbe-trieb, wie er aus der Informatikausbildung bekannt ist, anzubinden sein sollen.

Neben Überprüfungsprozessen müssen auch die Erstellung von Aufgaben, insbesondere die leichte Konfigurierbarkeit der Überprüfungsprozesse durch den Lehrenden, sowie weitere Faktoren betrachtet werden, die Einfluss auf die Überprüfungsprozesse haben. Hierzu zählen insbesondere Aspekte, die durch eine Anbindung des universitären Übungsbetriebs ins Spiel kommen, wie z.B. die gemeinsame Lösungseinreichung von Lerngruppen, die Buchführung über die Abgabe und Bewertung von Lösun-gen oder die Einsicht in korrigierte und kommentierte Lösungen, etc.

 

  • (Rütter73) Theodor Rütter. Formen der Testaufgabe. C.H. Beck, München, 1973.
  • (FW65) George E. Forsythe und Niklaus Wirth. Automatic grading programs. Commun. ACM, 8(5):275-278, 1965.

 

Betreuer

 
Betreuerin: Eva Giani

 


Created by System Administrator. Last Modification: Friday, 17. November 2006 13:21:42 by System Administrator.