Geschlossene Aufgabentypen wie Multiple-Choice-Tests sind in der Hochschulbildung insbesondere für Zwecke des summativen Assessments verbreitet. Allerdings können sie nicht als Lerner-zentriert betrachtet werden, da sie keine individuellen Lösungen zulassen. Hingegen ist das Assessment von offenen Aufgaben deutlich komplexer. Intelligente Tutoren-Systeme, kurz ITS, versuchen vollautonom individuelles Feedback zu geben; aufgrund hoher Entwicklungskosten sind sie jedoch nur für wenige Lehrthemen verfügbar.

Diese Arbeit stellt das Tutor-in-the-Loop-Modell vor, das einen alternativen, semi-automatischen Ansatz für formatives Assessment verfolgt. Es kombiniert automatisches und tutorielles Feedback mit dem Ziel, den Computer Feedback zu Standardlösungen und typischen Fehlern geben zu lassen. Lernende, die zusätzliche Hilfe benötigen oder die zu einer außergewöhnlichen Lösung gekommen sind, können Feedback von ihrem Tutor anfordern. Die Interaktionen der Lernenden mit den elektronischen Aufgaben werden aufgezeichnet, um den Tutor beim Nachvollziehen des Lösungsprozesses zu unterstützen. Diese Logdaten können ebenso verwendet werden, um Learning Analytics durchzuführen: alle Protokolle eines Kurses können analysiert werden, um häufige Fehler festzustellen oder um Studierende aufzufinden, die Hilfe benötigen.

Diverse Systeme wurden entwickelt, um das Tutor-in-the-Loop-Modell zu evaluieren. Ein allgemeines Framework wurde realisiert, um Aspekte des automatischen Feedbacks abzudecken, die Lernanwendungen gemeinsam haben. Mehrere Proofs of Concept wurden implementiert, um die Anwendbarkeit des Frameworks in verschiedenen Kontexten zu zeigen. Schließlich wurde eine Logging-Komponente realisiert, die auf einem existierenden Capture-and-Replay-Toolkit basiert.

Evaluationen zeigten intrinsische Schwächen dieses Toolkits in Bezug auf Bereitstellung und Analytics-Unterstützung auf. Daraufhin wurde es durch ein neues System für Logging und Learning Analytics ersetzt. Während der Evaluationen wurde herausgefunden, dass Lernende bei Bedarf zwar tatsächlich auf automatisch generiertes Feedback zugreifen, einige aber Hemmungen haben, Feedback von ihren Tutoren anzufordern. Datenschuzbedenken sind hierfür ein Hauptgrund. Dennoch kontaktierten mehrere Studierende ihre Tutoren, und ihre Fragen konnten mit Hilfe der protokollierten Lösungsprozesse beantwortet werden.