Digitale Aufgaben konstruieren
Digitale Aufgaben konstruieren
Einführung
Digitale Aufgabenformate (wie z.B. Multiple-Choice-Tests) ermöglichen meist eine (teil-)automatisierte Auswertung von Aufgabenstellungen, sodass der Korrekturaufwand reduziert werden kann. Aufgaben, die mittels einer fachspezifischen Software gelöst werden, wie zum Beispiel Programmieraufgaben, schaffen überdies die Möglichkeit zu sehr praxisnahen, kompetenzorientierten Prüfungen.
Ein weiterer Mehrwert digitaler Aufgaben ist die Möglichkeit, multimediale Elemente einzubinden: angefangen beim einfachen PDF-Dokument bis hin zu komplexen Videosimulationen.
Bei der Entwicklung jedes digitalen Aufgabenformates sollte geprüft werden, ob es das gewünschte Lernziel(-niveau) anspricht bzw. abfragt und ob die in der Aufgabe geforderten Kompetenzen auch zuvor eingeübt wurden.
Einsatzszenario
Digitale (wie auch analoge) Aufgaben können zum einen formativ angeboten werden. Das heißt: Die Aufgaben werden online bearbeitet und geben Aufschluss über den Lernfortschritt. Überdies lässt sich eine digitale Aufgabe auch summativ einsetzen, um eine abschließende Leistungsbewertung vorzunehmen.
BestandTeile einer AUFGabe
Jede Aufgabe besteht aus zwei Bestandteilen: a) einem Aufgabenstamm und b) einem Antwortformat. Der Aufgabenstamm bildet eine bestimmte Anforderungssituation ab, also eine Frage, eine Aussage, eine Geschichte, Bilder, Zeichnungen oder eine Rechenaufgabe. Maßgeblich bei der Gestaltung des Aufgabenstammes ist, dass diese das gewünschte Verhalten des Studierenden abfragt. Das Antwortformat dient dagegen zur Registrierung des Testverhaltens (vgl. Handreichung der TUM zum kompetenzorientierten Prüfen - siehe "Internetquellen und Literatur" unten).
Aufgabenformate
Geschlossene Aufgabenformate geben Antworten vor, welche ausgewählt oder in eine korrekte Reihenfolge gebracht werden sollen, wie z.B. Multiple-Choice- oder Drag-and Drop-Aufgaben. Offene Aufgabenformate erfordern eine eigenständige Leistung des Studierenden ohne die Möglichkeit, sich an vorgegebenen Antworten orientieren zu können. Die Bandbreite reicht hier von recht einfachen Aufgaben, wie z.B. Lückentextaufgaben bis hin zu Freitextaufgaben mit kreativen Antwortmöglichkeiten, wie sie für die Beschreibung von Vorgehensweisen, Begründungen oder Argumentationen benötigt werden.
Konstruktionsfehler
Aufgaben im Antwort-Wahl-Verfahren enthalten häufig Konstruktionsfehler. Das heißt: Formale, logische, grammatikalische oder inhaltliche Aspekte lassen Rückschlüsse auf die korrekte Antwort zu oder ermöglichen, falsche Optionen auszuschließen.
Die Fähigkeit, solche Hinweise (“cues”) zu nutzen, wird als Testwiseness bezeichnet. Nachlässig erstellte MC-Tests sind ein guter Nährboden für die erfolgreiche Anwendung von Testwiseness-Strategien.
Die einzelnen Items eines MC-Tests sollten am besten mit Hilfe einer Checkliste geprüft werden.
Zur Überprüfung der Qualität von Multiple-Choice-Fragen lohnt es sich mit einer Checkliste zu arbeiten, wie sie beispielsweise die Leibniz-Universität Hannover bereitstellt: Gute Fragen für gute Lehre. Eine Handreichung für Lehrende zur Erstellung von Fragen im Antwortwahlverfahren.
In diesem Beispiel der TH Wildau wird prozedurales Wissen mittels Multiple Choice abgefragt. Die richtige Antwort kann nur gegeben werden, wenn zuvor die Zusammenhänge verstanden wurden.
Quelle: TH Wildau.Leitfaden E-Assessment zur Erstellung von Fragen und Assessments. Letzter Zugriff: 13.4.2021
Unterschiedliche Fragetypen
Innerhalb der offenen bzw. geschlossenen Aufgabenformate können verschiedene Fragetypen eingesetzt werden. In diesem Video der FH Bielefeld werden geschlossene Aufgabenformate und verschiedene, darin verwendete Fragetypen ausführlich besprochen (Loviscach, Jörn: E-Assessment mit geschlossenen Aufgaben)
Die folgende Übersicht zeigt Fragetypen in Bezug auf gesetzte Lernziele und berücksichtigt dabei sowohl geschlossene als auch offene Aufgabenformate (vgl. Vogt & Schneider: E-Klausuren an Hochschulen).
Lernziele
- Begriffe wiedererkennen,
- Konzepte verstehen,
- Zusammenhänge erkennen,
- Einstellungen werten (sehr flexibel)
Lernziele
- Visuelle Strukturen wiedererkennen
Lernziele
- Begriffe in Beziehung setzen,
- Konzepte einander zuordnen,
- Hierarchien erkennen
Lernziele
- Prozesse analysieren,
- Historische Entwicklungen reproduzieren
Lernziele
- Begriffe reproduzieren,
- Mathematische Ergebnisse numerisch angeben
- Zahlen reproduzieren
Lernziele
- Satzbau verstehen,
- Begriffe reproduzieren,
Lernziele
- Problemlösung beschreiben,
- Standpunkt argumentieren
Lernziele
- Begriffe oder Namen reproduzieren
Tipps zur Umsetzung
An Lernzielen orientieren
Ob ein Lernziel erreicht wurde, lässt sich nur feststellen, wenn die Lernziele im Vorfeld klar definiert wurden. Diese Lernziele können sich auf unterschiedlichen Niveaus befinden – vom Abfragen von Faktenwissen über Anwendungen bis hin zur (Neu-)konstruktion von Wissen. Weitere Infos zu Lernzielen und deren Entwicklung lesen Sie gern in unserem Beitrag Lernziele.
Eindeutige Aufgabenstellungen entwickeln
Entwickeln Sie eindeutige Aufgabenstellungen. Dies gelingt u.a. dadurch, dass
- jede Aufgabe nur eine Anforderungsdimension abbildet (wie z.B. eine bestimmte Fähigkeit). Geht es beispielsweise darum, die Rechenfähigkeit von Studierenden zu ermitteln, darf für die Lösung der Aufgabe auch nur diese Fähigkeit abgefragt werden.
- die Aufgaben das gewählte Lernzielniveau berücksichtigen: Soll etwa ein tieferes Verständnis von Studierenden – etwa über eine Formel – geprüft werden, reicht es ggf. nicht aus, eine reine Anwendungsaufgabe zu stellen.
Bandbreite der Lernzielniveaus avisieren
Bieten Sie für verschiedene Lernziele auch verschiedene Aufgaben an. Während die Abfrage theoretischen Wissens mittels Antwort-Wahl-Aufgabe ggf. noch relativ leicht fällt, sind höhere Lernzielniveaus schwieriger umzusetzen. Hier einige Tipps:
- Positionieren Sie nach der Abfrage von Wissen in einer Antwort-Wahl-Aufgabe (Frage 1) eine Frage zur Begründung der zuvor gegebenen Antwort (Frage 2) – sog. Two-tier question, Timmermann, Kautz 2015.
- Betten Sie Ihre Frage in ein fachtypisches Szenario ein, durch das bestimmte Bedingungen vorgegeben sind. Fragen können sich dann immer wieder auf dieses Szenario beziehen.
- Geben Sie als Antwortmöglichkeiten verschiedene Lösungswege anderer (fiktiver) Studierender vor und lassen Sie die richtige auswählen.
Weitere Tipps und Tricks hierzu finden Sie auf den E-Assessment-Seiten der Universität Bremen
Bewertungskriterien festlegen
Definieren Sie parallel zur Aufgabenentwicklung Bewertungskriterien, um eine objektive und valide Prüfung der Ergebnisse zu prüfen. Weitere Hinweise zu Bewertungskriterien (rubrics) erhalten Sie hier.
Möglichkeiten der eigenen Testumgebung prüfen
Bevor Sie mit der Entwicklung von Aufgaben beginnen, informieren Sie sich darüber, welche Aufgabentypen Ihnen durch die an Ihrer Hochschule angebotenen Tools zur Verfügung stehen! Viele Testsysteme (wie die in ILIAS und Moodle) verfügen zudem auch über Plugins zur Erweiterung vorhandener Aufgabentypen.
Hilfreiche Links
Das Verbundprojekt der Hamburger Hochschulen Mintfit Hamburg bietet verschiedene Online-Tests an, die zur Veranschaulichung von Aufgabentypen dienen können.
Die Uni-Bern stellt ein Assessment-Tool zur Verfügung, welches Lehrende nutzen können, um passende Aufgabentypen zu finden. Durch die Abfrage von Anforderungen erhalten Lehrende ein Ranking der geeignetsten Assessments samt Erläuterung.
Tools an der HCU
Formatives Assessment: Für die Erstellung von Tests kann u.a. die Lernplattform moodle genutzt werden. Weitere Infos und eine Übersicht über moodle Fragetypen haben wir in unserem Beitrag Lernplattform moodle aufbereitet. HCU-Angehörige finden weitere Infos in einem Online-Selbstlernkurs.
Summatives Assessment: Hierfür steht EvaExam zur Verfügung. Mit EvaExam können Scan- oder Online-Klausuren für Prüfungen im Antwort-Wahl-Verfahren durchgeführt werden. Weitere Informationen finden Sie hier.
Tools an der TUHH
YAPS (Your Open Examination System for Activating and emPowering Students), ein elektronisches Prüfungssystem, das aktuell an der TUHH (weiter)entwickelt wird, bietet nützliche Funktionen für die Prüfungssituation, wie einen abgesicherten Browser oder die Administration über eine Handy-App. Aufgaben werden aktuell über browserbasierte Eigenentwicklungen eingebunden. Geplant ist, dass sich das System mit anderer webbasierter Software kombinieren lässt. Es sind vergleichsweise nur geringe Programmierkenntnise notwendig, um als Lehrende*r eine elektronische Prüfung anzulegen. Ansprechpartner hierzu ist die Arbeitsstelle MINTFIT Hamburg.
Auch ILIAS ermöglicht die Erstellung von Aufgabenformaten mit dem ILIAS-Objekt Test (siehe Beitrag Lernplattform ILIAS.) Eine umfangreiche Anleitung zur Arbeit mit dem ILIAS Assessment-System finden Sie hier.
Internetquellen und Literatur
Tipps zur Erstellung von MC-Fragen stellt die Universität Bremen zur Verfügung: Universität Bremen. E-Assessment. URL: http://www.eassessment.uni-bremen.de/mc_leitfaden.php (zuletzt besucht am 13.04.2021)
Erläuterungen und Beispiele zu geschlossenen Aufgabenformaten: FH Bielefeld, E-Assessments E-Klausuren. E-Prüfungen an Hochschulen. E-Assessment mit geschlossenen Aufgaben (zuletzt besucht am 12.04.2021)
Ausführliche Erläuterungen zu einzelnen Aufgabentypen stellt ELAN e.V. im E-Assessment Wiki zur Verfügung: ELAN e.V., E-Assessments und Klausuren. E-Prüfungen an Hochschulen. URL: https://ep.elan-ev.de/wiki/Aufgabentypen#Geschlossene_Aufgaben (zuletzt besucht am 12.04.2021)
Strategien und Beispiele zur Erstellung geschlossener Aufgaben: Jona Florian Stieler, Stieler Florian (2011). Validität summativer Prüfungen – Überlegungen zur Gestaltung von Klausuren, Janus Presse, Bielefeld, 2011, Download als PDF (zuletzt besucht am 15.04.2021)
Handreichung der TUM zum kompetenzorientierten Prüfen mit ausführlichen Hilfestellungen: ProLehre, TUM School of Education (2011). Herausforderung Prüfung. Handreichung zum kompetenzorientierten Prüfen. München, 2011, Download als PDF (zuletzt besucht am 15.04.2021)
Gallaun, K. Kruse, C. Seifert Adaptive (2019): Übungs- und Prüfungsaufgaben in Mathematik mit hochwertiger Bewertung. In Schott, D. (Hrsg.): Proceedings 15. Workshop Mathematik in ingenieurwissenschaftlichen Studiengängen, Rostock-Warnemünde, Wismarer Frege-Reihe, Heft 02/2019, 18-24, 2019 (zuletzt besucht am 07.12.2021)
Timmermann, Dion & Kautz, Christian (2015). Multiple choice questions that test conceptual understanding: A proposal for qualitative two-tier exam questions. ASEE Annual Conference and Exposition (2015-06). Download als PDF (zuletzt besucht am 15.04.2021)
Vogt, Michael & Schneider, Stefan (2009): E-Klausuren an Hochschulen. Gießen. URL: http://geb.uni-giessen.de/geb/volltexte/2009/6890/, (zuletzt besucht am 12.4.2021)
Hilfreiches Assessment-Tool der Universität Bern, das Lehrende bei der Entwicklung von Aufgaben unterstützt. URL: https://assessment.unibe.ch/ (zuletzt besucht am 16.04.2021)
Zur Veranschaulichung verschiedener Aufgabentypen interessant: Orientierungstests von Mintfit Hamburg. URL: https://www.mintfit.hamburg/ (zuletzt besucht am 16.04.2021)
ELAN e.V.: E-Assessments & E-Klausuren: E-Prüfungen an Hochschulen. (zuletzt besucht am 08.06.2020)
ZMML (Zentrum für Multimedia in der Lehre): Tipps zur Erstellung von MC-Fragen. E-Assessment. Universität Bremen (zuletzt besucht am 08.06.2020)
Lindner, M. A., Strobel, B., Köller, O. (2015). Multiple-Choice-Prüfungen an Hochschulen? Ein Literaturüberblick und Plädoyer für mehr praxisorientierte Forschung. In: Zeitschrift für Pädagogische Psychologie, 133-149. https://doi.org/10.1024/1010-0652/a000156 
Photo by Clay Banks on Unsplash
