Digitale Aufgaben konstruieren

Veröffentlicht von sabine am

Digitale Aufgaben konstruieren

Einführung

Digitale Aufgabenformate (wie z.B. Multiple-Choice-Tests) ermöglichen meist eine (teil-)automatisierte Auswertung von Aufgabenstellungen, sodass der Korrekturaufwand reduziert werden kann. Aufgaben, die mittels einer fachspezifischen Software gelöst werden, wie zum Beispiel Programmieraufgaben, schaffen überdies die Möglichkeit zu sehr praxisnahen, kompetenzorientierten Prüfungen. 

Ein weiterer Mehrwert digitaler Aufgaben ist die Möglichkeit, multimediale Elemente einzubinden: angefangen beim einfachen PDF-Dokument bis hin zu komplexen Videosimulationen.

Bei der Entwicklung jedes digitalen Aufgabenformates sollte geprüft werden, ob es das gewünschte Lernziel(-niveau) anspricht bzw. abfragt und ob die in der Aufgabe geforderten Kompetenzen auch zuvor eingeübt wurden.

Einsatzszenario

Digitale (wie auch analoge) Aufgaben können zum einen formativ angeboten werden. Das heißt: Die Aufgaben werden online bearbeitet und geben Aufschluss über den Lernfortschritt. Überdies lässt sich eine digitale Aufgabe auch summativ einsetzen, um eine abschließende Leistungsbewertung vorzunehmen.

BestandTeile einer AUFGabe

Jede Aufgabe besteht aus zwei Bestandteilen: a) einem Aufgabenstamm und  b) einem Antwortformat. Der Aufgabenstamm bildet eine bestimmte Anforderungssituation ab, also eine Frage, eine Aussage, eine Geschichte, Bilder, Zeichnungen oder eine Rechenaufgabe. Maßgeblich bei der Gestaltung des Aufgabenstammes ist, dass diese das gewünschte Verhalten des Studierenden abfragt. Das Antwortformat dient dagegen zur Registrierung des Testverhaltens (vgl. Handreichung der TUM zum kompetenzorientierten Prüfen - siehe "Internetquellen und Literatur" unten).

Aufgabenformate

Geschlossene Aufgabenformate geben Antworten vor, welche ausgewählt oder in eine korrekte Reihenfolge gebracht werden sollen, wie z.B. Multiple-Choice- oder Drag-and Drop-Aufgaben. Offene Aufgabenformate erfordern eine eigenständige Leistung des Studierenden ohne die Möglichkeit, sich an vorgegebenen Antworten orientieren zu können. Die Bandbreite reicht hier von recht einfachen Aufgaben, wie z.B. Lückentextaufgaben bis hin zu Freitextaufgaben mit kreativen Antwortmöglichkeiten, wie sie für die Beschreibung von Vorgehensweisen, Begründungen oder Argumentationen benötigt werden.

Konstruktionsfehler

Aufgaben im Antwort-Wahl-Verfahren enthalten häufig Konstruktionsfehler. Das heißt: Formale, logische, grammatikalische oder inhaltliche Aspekte lassen Rückschlüsse auf die korrekte Antwort zu oder ermöglichen, falsche Optionen auszuschließen.

Die Fähigkeit, solche Hinweise (“cues”) zu nutzen, wird als Testwiseness bezeichnet. Nachlässig erstellte MC-Tests sind ein guter Nährboden für die erfolgreiche Anwendung von Testwiseness-Strategien.

Die einzelnen Items eines MC-Tests sollten am besten mit Hilfe einer Checkliste geprüft werden.

Zur Überprüfung der Qualität von Multiple-Choice-Fragen lohnt es sich mit einer Checkliste zu arbeiten, wie sie beispielsweise die Leibniz-Universität Hannover bereitstellt: Gute Fragen für gute Lehre. Eine Handreichung für Lehrende zur Erstellung von Fragen im Antwortwahlverfahren.

In diesem Beispiel der TH Wildau wird prozedurales Wissen mittels Multiple Choice abgefragt. Die richtige Antwort kann nur gegeben werden, wenn zuvor die Zusammenhänge verstanden wurden.

Quelle: TH Wildau.Leitfaden E-Assessment zur Erstellung von Fragen und Assessments. Letzter Zugriff: 13.4.2021

Beispiel_prozedurales_Wissen
Klicken für Originalgröße

Unterschiedliche Fragetypen

Innerhalb der offenen bzw. geschlossenen Aufgabenformate können verschiedene Fragetypen eingesetzt werden. In diesem Video der FH Bielefeld werden geschlossene Aufgabenformate und verschiedene, darin verwendete Fragetypen ausführlich besprochen (Loviscach, Jörn: E-Assessment mit geschlossenen Aufgaben)

Die folgende Übersicht zeigt Fragetypen in Bezug auf gesetzte Lernziele und berücksichtigt dabei sowohl geschlossene als auch offene Aufgabenformate  (vgl. Vogt & Schneider: E-Klausuren an Hochschulen).

Lernziele

  • Begriffe wiedererkennen,
  • Konzepte verstehen,
  • Zusammenhänge erkennen,
  • Einstellungen werten (sehr flexibel)

Lernziele

  • Visuelle Strukturen wiedererkennen

Lernziele

  • Begriffe in Beziehung setzen,
  • Konzepte einander zuordnen,
  • Hierarchien erkennen

Lernziele

  • Prozesse analysieren,
  • Historische Entwicklungen reproduzieren

Lernziele

  • Begriffe reproduzieren,
  • Mathematische Ergebnisse numerisch angeben
  • Zahlen reproduzieren

Lernziele

  • Satzbau verstehen,
  • Begriffe reproduzieren,

Lernziele

  • Problemlösung beschreiben,
  • Standpunkt argumentieren

Lernziele

  • Begriffe oder Namen reproduzieren

Tipps zur Umsetzung

An Lernzielen orientieren

Ob ein Lernziel erreicht wurde, lässt sich nur feststellen, wenn die Lernziele im Vorfeld klar definiert wurden. Diese Lernziele können sich auf unterschiedlichen Niveaus befinden – vom Abfragen von Faktenwissen über Anwendungen bis hin zur (Neu-)konstruktion von Wissen. Weitere Infos zu Lernzielen und deren Entwicklung lesen Sie gern in unserem Beitrag Lernziele.

Eindeutige Aufgabenstellungen entwickeln

Entwickeln Sie eindeutige Aufgabenstellungen. Dies gelingt u.a. dadurch, dass

  • jede Aufgabe nur eine Anforderungsdimension abbildet (wie z.B. eine bestimmte Fähigkeit). Geht es beispielsweise darum, die Rechenfähigkeit von Studierenden zu ermitteln, darf für die Lösung der Aufgabe auch nur diese Fähigkeit abgefragt werden.
  • die Aufgaben das gewählte Lernzielniveau berücksichtigen: Soll etwa ein tieferes Verständnis von Studierenden – etwa über eine Formel – geprüft werden, reicht es ggf. nicht aus, eine reine Anwendungsaufgabe zu stellen.
    Bandbreite der Lernzielniveaus avisieren

    Bieten Sie für verschiedene Lernziele auch verschiedene Aufgaben an. Während die Abfrage theoretischen Wissens mittels Antwort-Wahl-Aufgabe ggf. noch relativ leicht fällt, sind höhere Lernzielniveaus schwieriger umzusetzen. Hier einige Tipps:

      • Positionieren Sie nach der Abfrage von Wissen in einer Antwort-Wahl-Aufgabe (Frage 1) eine Frage zur Begründung der zuvor gegebenen Antwort (Frage 2) – sog. Two-tier question, Timmermann, Kautz 2015.
      • Betten Sie Ihre Frage in ein fachtypisches Szenario ein, durch das bestimmte Bedingungen vorgegeben sind. Fragen können sich dann immer wieder auf dieses Szenario beziehen.
      • Geben Sie als Antwortmöglichkeiten verschiedene Lösungswege anderer (fiktiver) Studierender vor und lassen Sie die richtige auswählen.

    Weitere Tipps und Tricks hierzu finden Sie auf den E-Assessment-Seiten der Universität Bremen

    Bewertungskriterien festlegen

    Definieren Sie parallel zur Aufgabenentwicklung Bewertungskriterien, um eine objektive und valide Prüfung der Ergebnisse zu prüfen. Weitere Hinweise zu Bewertungskriterien (rubrics) erhalten Sie hier.

    Möglichkeiten der eigenen Testumgebung prüfen

    Bevor Sie mit der Entwicklung von Aufgaben beginnen, informieren Sie sich darüber, welche Aufgabentypen Ihnen durch die an Ihrer Hochschule angebotenen Tools zur Verfügung stehen! Viele Testsysteme (wie die in ILIAS und Moodle) verfügen zudem auch über Plugins zur Erweiterung vorhandener Aufgabentypen.

    Hilfreiche Links

    Das Verbundprojekt der Hamburger Hochschulen Mintfit Hamburg bietet verschiedene Online-Tests an, die zur Veranschaulichung von Aufgabentypen dienen können.

    Die Uni-Bern stellt ein Assessment-Tool zur Verfügung, welches Lehrende nutzen können, um passende Aufgabentypen zu finden. Durch die Abfrage von Anforderungen erhalten Lehrende ein Ranking der geeignetsten Assessments samt Erläuterung.

    Tools an der HCU

    Für die Erstellung von Tests kann u.a. die Lernplattform moodle genutzt werden. Weitere Infos und eine Übersicht über moodle Fragetypen haben wir in unserem Beitrag Lernplattform moodle aufbereitet. HCU-Angehörige finden weitere Infos in einem Online-Selbstlernkurs

    Tools an der TUHH

    YAPS (Your Open Examination System for Activating and emPowering Students), ein elektronisches Prüfungssystem, das aktuell an der TUHH (weiter)entwickelt wird, bietet nützliche Funktionen für die Prüfungssituation, wie einen abgesicherten Browser oder die Administration über eine Handy-App. Aufgaben werden aktuell über browserbasierte Eigenentwicklungen eingebunden. Geplant ist, dass sich das System mit anderer webbasierter Software kombinieren lässt. Es sind vergleichsweise nur geringe Programmierkenntnise notwendig, um als Lehrende*r eine elektronische Prüfung anzulegen. Ansprechpartner hierzu ist die Arbeitsstelle MINTFIT Hamburg (Fin Bahnsen) und Prof. Dr.-Ing. Görschwin Fey.

    Auch ILIAS ermöglicht die Erstellung von Aufgabenformaten mit dem ILIAS-Objekt Test (siehe  Beitrag Lernplattform ILIAS.) Eine umfangreiche Anleitung zur Arbeit mit dem ILIAS Assessment-System finden Sie hier.

    Internetquellen und Literatur

    Tipps zur Erstellung von MC-Fragen stellt die Universität Bremen zur Verfügung: Universität Bremen. E-Assessment. URL: http://www.eassessment.uni-bremen.de/mc_leitfaden.php (zuletzt besucht am 13.04.2021)

    Erläuterungen und Beispiele zu geschlossenen Aufgabenformaten: FH Bielefeld, E-Assessments E-Klausuren. E-Prüfungen an Hochschulen. E-Assessment mit geschlossenen Aufgaben (zuletzt besucht am 12.04.2021)

    Ausführliche Erläuterungen zu einzelnen Aufgabentypen stellt ELAN e.V. im E-Assessment Wiki zur Verfügung: ELAN e.V., E-Assessments und Klausuren. E-Prüfungen an Hochschulen. URL: https://ep.elan-ev.de/wiki/Aufgabentypen#Geschlossene_Aufgaben (zuletzt besucht am 12.04.2021)

    Strategien und Beispiele zur Erstellung geschlossener Aufgaben: Jona Florian Stieler, Stieler Florian (2011). Validität summativer Prüfungen – Überlegungen zur Gestaltung von Klausuren, Janus Presse, Bielefeld, 2011, Download als PDF (zuletzt besucht am 15.04.2021)

    Handreichung der TUM zum kompetenzorientierten Prüfen mit ausführlichen Hilfestellungen: ProLehre, TUM School of Education (2011). Herausforderung Prüfung. Handreichung zum kompetenzorientierten Prüfen. München, 2011, Download als PDF (zuletzt besucht am 15.04.2021)

    Gallaun, K. Kruse, C. Seifert Adaptive (2019): Übungs- und Prüfungsaufgaben in Mathematik mit hochwertiger Bewertung. In Schott, D. (Hrsg.): Proceedings 15. Workshop Mathematik in ingenieurwissenschaftlichen Studiengängen, Rostock-Warnemünde, Wismarer Frege-Reihe, Heft 02/2019, 18-24, 2019 (zuletzt besucht am 07.12.2021)

    Timmermann, Dion & Kautz, Christian (2015). Multiple choice questions that test conceptual understanding: A proposal for qualitative two-tier exam questions. ASEE Annual Conference and Exposition (2015-06).  Download als PDF (zuletzt besucht am 15.04.2021)

    Vogt, Michael & Schneider, Stefan (2009): E-Klausuren an Hochschulen. Gießen. URL: http://geb.uni-giessen.de/geb/volltexte/2009/6890/, (zuletzt besucht am 12.4.2021)

    Hilfreiches Assessment-Tool der Universität Bern, das Lehrende bei der Entwicklung von Aufgaben unterstützt. URL: https://assessment.unibe.ch/ (zuletzt besucht am 16.04.2021)

    Zur Veranschaulichung verschiedener Aufgabentypen interessant: Orientierungstests von Mintfit Hamburg. URL: https://www.mintfit.hamburg/ (zuletzt besucht am 16.04.2021)

    ELAN e.V.: E-Assessments & E-Klausuren: E-Prüfungen an Hochschulen. (zuletzt besucht am 08.06.2020)

    ZMML (Zentrum für Multimedia in der Lehre): Tipps zur Erstellung von MC-Fragen. E-Assessment. Universität Bremen (zuletzt besucht am 08.06.2020)

    Lindner, M. A., Strobel, B., Köller, O. (2015). Multiple-Choice-Prüfungen an Hochschulen? Ein Literaturüberblick und Plädoyer für mehr praxisorientierte Forschung. In: Zeitschrift für Pädagogische Psychologie, 133-149. https://doi.org/10.1024/1010-0652/a000156  (zuletzt besucht am 08.06.2020)

    Photo by Clay Banks on Unsplash