Summative digitale Prüfungen
Summative digitale Prüfungen
Unterscheidung digitaler Prüfungsformate
Im Kontext digitaler Prüfungen gibt es einen wahren Urwald an Begrifflichkeiten.
Eine digitale Prüfung (im Englischen “E-Assessment” genannt) ist zunächst einmal eine kognitive Leistungsmessung, bei der zumindest ein Teil der Prüfungsdurchführung digital läuft.
Elektronische Prüfung / E-Klausur
Hierbei handelt es sich um eine digitale Prüfung, bei der sowohl Vorbereitung, Durchführung als auch Korrektur in derselben Software-Anwendung (E-Prüfungssoftware wie z.B. moodle, Möbius, YAPS) erfolgen. In der Regel wird die digitale Prüfung in Testzentren bzw. Pool-Räumen der Hochschule unter Aufsicht durchgeführt.
Weitere Infos – siehe Beitrag E-Klausuren.
Scan-Prüfung
Eine Präsenzprüfung, bei der die Prüfungsmaterialien nach der Prüfungsdurchführung durch Einscannen digitalisiert werden.
Eine Software, mit der dies häufig realisiert wird, ist EvaExam. Lehrende legen ihre Prüfungsbögen direkt in EvaExam an und drucken diese aus. Studierende füllen diese physischen Bögen während der Präsenzklausur aus. Dann werden sie im Scanverfahren eingelesen und die Fragen überwiegend automatisch ausgewertet.
Diese Form der Prüfung eignet sich vor allem für Fragen im Antwort-Wahl-Verfahren. Antworten zu Freitextfragen werden separat und nicht-automatisiert am Bildschirm ausgewertet.
Als Fernprüfungen kommen unterschiedliche Prüfungsformate in Frage, zum Beispiel:
- mündliche Prüfung sowie.
- Referate und Präsentationen, welche über ein Webkonferenz-Software durchgeführt werden.
- Take Home Exam (THE): eine schriftliche Prüfung, die an einem frei gewählten Ort außerhalb der Hochschule stattfindet. Im THE werden Aufgaben gestellt, die innerhalb einer relativ kurzen Zeit gelöst werden. Weitere Infos: siehe Beitrag Take-Home-Exam.
Hinweis: Um eine solche Fernprüfung rechtssicher zu machen, müssen die prüfungsrechtlichen Gegebenheiten (z.B. Identitätskontrolle) in der Prüfungsordnung geregelt sein.
Eher selten ist die E-Klausur auf Distanz. Hier schreiben die Studierenden zeitgleich online und unter Aufsicht. Für die Überwachung kann in wenigen Bundesländern eine sog. Proctoring-Software eingesetzt werden. Ob dieses Verfahren auch an Ihrer Hochschule möglich ist, regelt das jeweilige Hochschulrahmengesetz des Landes und die “Allgemeine Studien- und Prüfungsordnung” (ASPO)”.
Rahmenbedingungen prüfen
In einem ersten Schritt gilt es, die rechtlichen, technischen und organisatorischen Rahmenbedingungen zu beleuchten. Worauf kommt es an?
Übergeordnete Regelungen
Übergeordnet regelt das Hochschulrahmengesetz die Prüfungen. Die einzelnen Bundesländer haben wiederum eigene Vorgaben im Landesgesetz, wie z.B. das Hamburgische Hochschulgesetz, kurz HmbHG (siehe Übersicht über die jeweiligen Landesgesetze).
Hochschulspezifische Regelungen
Welche Formen von computergestützten Prüfungen an Ihrer eigenen Hochschule zugelassen sind, regeln die “Allgemeine Studien- und Prüfungsordnung” (ASPO) sowie in die “Fachspezifische bzw. Besondere Studien- und Prüfungsordnung” (FSPO bzw. BSPO). Hier erfahren Sie, ob neben Präsenz- auch Fernprüfungen zulässig sind und welche Modalitäten hinsichtlich Datenverarbeitung, Identitätskontrolle, Videoaufsicht und Aufzeichnung gelten.
Hinweis:
Aufgaben im Antwort-Wahl-Verfahren dürfen nur dann durchgeführt werden, wenn sie in der ASPO explizit zugelassen sind. Hier sind ggfs auch Modalitäten (wie z.B. Zwei-Prüfer-Prinzip, Ermittlung der Bestehensgrenze…) definiert.
Um in Erfahrung zu bringen, welche Tools (Soft- bzw. Hardware) Ihre Hochschule für die Durchführung von Online-Prüfungen anbietet, lohnt sich die Kontaktaufnahme mit der IT, dem hochschuldidaktischen Zentrum oder den Verantwortlichen der Studienprogramme. Die Etablierung digitaler Prüfungen ist einer großer Dynamik unterworfen. So betreiben einige Hochschulen bereits seit Jahren eigene Testzentren , während an anderen Hochschulen Arbeitsgruppen eingerichtet sind. Durch die Kontaktaufnahme finden Sie heraus, welchen Support Sie bekommen können.
Gute Orga ist die halbe Miete. Was gehört dazu?
- Prüfungsamt,
- Termin & Raum,
- Aufsicht,
- Protokoll,
- Umgang mit kritischen Situationen
Auch wichtig: Welche Ansprechpartner haben Sie in der Hochschule zur Planung Ihrer Prüfung? Wer kann Sie unterstützen?
Prüfungsformat festlegen & didaktisch planen
Eine gute Prüfungsvorbereitung kann dabei helfen, Prüfungsangst zu reduzieren.
A propos Prüfungsangst: Die US-amerikanischen Psychologen Dodson und Yerkes haben in ihren Mäuse-Experimenten Folgendes herausgefunden:
Die individuelle Leistung steigt mit physiologischer oder mentaler Erregung bis zu einem gewissen Punkt. Die Leistung nimmt aber ab, wenn das Erregungsniveau zu hoch wird.
Worauf kommt es bei der Prüfungsvorbereitung nun an? – auf didaktische Stimmigkeit, Transparenz und die curriculare Einbettung der Prüfung:
Achten Sie bei der Konzeption Ihrer Prüfung darauf, das zu prüfen, was gelernt wurde. Ein Konzept, das hierbei hilft, ist das Constructive Alignment. Es besagt, dass Prüfungsform und Lernaktivitäten zu harmonisieren sind (siehe auch unsere Beiträge Constructive Alignment sowie Lernziele).
Zu berücksichtigen ist daher auch, Studierende mit Hilfe von formativem Assessment (also semesterbegleitenden Lernstandskontrollen und Selbstreflexionsaufgaben) auf die finale Prüfung vorzubereiten (siehe auch Beitrag Online-Quiz).
Transparenz hilft, zum Gelingen der Prüfung beizutragen. Studierenden wird ein Gefühl der Sicherheit vermittelt und Prüfungsangst wird reduziert.
Formalientransparenz
- Welche Zulassungsvoraussetzungen gelten?
- Wo & wann findet die Prüfung statt?
- Welche Hilfsmittel sind zugelassen?
- Welche Sanktionen gibt es bei Täuschungsversuchen?
Ablauftransparenz
- Identitätsprüfung
- Strukturierung der Prüfung
- Prüfer*innen & Prüfungsaufsicht
- Technische Eingewöhnung
Inhaltstransparenz
- Welche Lernziele bzw. welcher Kompetenzerwerb wird adressiert?
- Welches Können sollen Studierende in der Prüfung unter Beweis stellen?
- Welche Inhalte bzw. thematischen Schwerpunkte gibt es?
- Welches Format haben die Aufgaben (Fragetypen, Fragetechniken etc.)
Bewertungstransparenz
- Welche Bewertungskriterien werden angesetzt? (siehe auch unser Beitrag Bewertungskriterien)
- Wie sind Aufgaben/Fragen gewichtet?
- Wie viele Punkte können erreicht werden?
Tipp: Eventuell kann eine Probeklausur dazu dienen, die Prüfungsangst zu reduzieren.
Ein weiterer wichtiger Aspekt ist die curriculare Einbettung der Prüfung in den gesamten Studiengang. Natürlich haben Sie hierauf nicht unbedingt Einfluss bzw. die curriculare Einbettung wird an anderer Stelle geklärt. Doch es lohnt sich, diese im Blick zu haben.
Wichtig ist: Welche Studiengangsziele werden in welchen Modulen bzw. Lehrveranstaltungen vermittelt? Ebenso ist möglichst für einen Mix verschiedener Prüfungsarten (Hausarbeiten, mündliche Prüfungen, computergestützte Prüfungen etc.) zu sorgen.
Tipp: Achten Sie darauf, dass Prüfungen sinnvoll verteilt werden, um die Prüfungslast zu minimieren.
Aufgabenkonstruktion
Je nachdem, ob Sie eine E-Klausur, eine Portfolio-Prüfung, ein Take Home Exam oder eine andere digitale Prüfung planen. Die Aufgabentypen fallen ganz unterschiedlich aus. Dementsprechend variieren die Aufgabenstellungen und methodischen Vorgehensweisen der Aufgabenkonstruktion.
Testtheoretische Gütekriterien
Damit (Online)-Prüfungen aussagekräftig sind, müssen Sie bestimmte Gütekriterien erfüllen. Hier die klassischen Gütekriterien (vgl. Dubs 2006, Eugster & Lutz, 2003).
Wie gut ist das Messverfahren? Würde es bei erneuter Prüfung zum gleichen Ergebnis kommen? Wie zuverlässig sind also die Prüfungsergebnisse bzw. zeigt das Ergebnis den wahren Leistungsstand des Prüflings?
Um Reliabilität sicherzustellen, empfiehlt es sich, ein breites Spektrum abzufragen und eindeutige Aufgaben zu stellen.
Misst die Prüfung das, was sie messen soll? Das heißt: Es darf nur das bewertet werden, was geprüft wurde und durch Lernziele vorgegeben ist. Häufig wird dies nicht so umgesetzt, indem z.B. Ausdrucksfähigkeit und personenbezogene Erwartungen mit in die Bewertung einfließen.
Hinweis: Aufgaben im Antwort-Wahl-Verfahren unterscheiden Lernende in der Regel weniger gut in Extrembereichen (also sehr gute/schlechte Lernende). Dies liegt u.a. daran, dass gute Studierende ihr volles Leistungspotenzial in den etwas weniger kreativen MC-Aufgaben nicht unter Beweis stellen können.
Natürlich sind die Bedingungen für alle Studierenden nie vollkommen gleich. Dennoch muss eine weitgehende Chancengerechtigkeit in einer Prüfung unbedingt angestrebt werden, damit Studierende darauf vertrauen können, dass wirklich (nur) ihre Leistung zählt. Hier einige Tipps dazu:
- Forderungen/Erwartungen einer Prüfung vorher bekannt geben.
- die situativen Bedingungen bei der Prüfung (Zeit, Ablauf etc.) für alle gleich gestalten.
- bei der Erstellung von Prüfungsvarianten auf gleiches Schwierigkeitsnivieau achten – insbesondere auch bei zufälliger Zusammenstellung aus einem Fragenpool.
- Aufgaben neutral formulieren (Offenheit für sozioökonomischen Status, Kulturzugehörigkeit, Gender etc. schaffen).
- Aufgaben so konzipieren, dass sie von allen nur anhand der in der Veranstaltung vermittelten Kenntnisse/Fähigkeiten gelöst werden können.
- die Bewertung anhand vordefinierter Bewertungskriterien vornehmen.
- bei Zweifeln an der eigenen Objektivität ggf. weitere Prüfer/innen einbeziehen und Prüfung mit geschwärztem Namen nochmals bewerten lassen.
Eine Prüfung gilt dann als ökonomisch, wenn sie, gemessen an den Ergebnissen der Erhebung, möglichst wenig Zeit und Geld beansprucht (vgl. Moosbrugger / Kelava 2007, S. 21).
Aufgaben im Antwort-Wahl-Verfahren, die relativ schnell durchgeführt und ausgewertet werden können, gehen zum Beispiel meist mit einer erhöhten Konstruktionszeit einher. Eine Freitextaufgabe kann hingegen recht schnell formuliert werden, erhöht jedoch die Durchführungs- und Auswertungszeit.
Ein Test erfüllt das Gütekriterium der Ökonomie, wenn er, gemessen am diagnostischen Erkenntnisgewinn, relativ wenig finanzielle und zeitliche
Ressourcen beansprucht.
Hier ein Vergleich von Prüfungen im Antwort-Wahl-Verfahren und klassischen schriftlichen Prüfungen hinsichtlich testtheoretischer Gütekriterien.
Aufgabenanalyse
Nach der Prüfung ist vor der Prüfung! Nehmen Sie sich genügend Zeit für die Prüfungseinsicht, um die Güte der Aufgaben zu analysieren. Bei Aufgaben im Antwort-Wahl-Verfahren können Sie in den gängigen E-Prüfungs-Anwendungen und LMS (moodle, Ilias…) eine detaillierte Auswertung von Schwierigkeitsgrad und Trennschärfe Ihrer Items einsehen.
Der Schwierigkeitsindex sollte bei E-Tests mit Aufgaben im Antwort-Wahl-Verfahren zwischen 20 und 80 liegen. Sehr schwere oder sehr leichte Aufgaben enthalten wenig diagnostische Information – keiner/fast alle lösen die Aufgaben.
Es empfiehlt sich, zu Beginn des E-Tests mit Eisbrechern – also Fragen mit geringer Schwierigkeit – zu starten. Im Verlauf sollte die Schwierigkeit dann zunehmen. Überdies wird eine breite Streuung innerhalb der o.g. Schwierigkeit (Index 20-80) empfohlen (vgl. Bortz & Döring, 2006).
Die Trennschärfe gibt die Korrelation der (richtigen) Beantwortung eines speziellen Items mit dem Gesamtwert des Tests an. Somit vermittelt die Trennschärfe Aufschluss darüber, inwieweit ein Item zwischen leistungsstarken und leistugsschwachen Lernenden differenziert.
Hierbei gilt für folgende Trennschärfewerte:
- 0,40 und höher: ausgezeichnete Aufgabe
- 0,30 – 0,39: Brauchbare Aufgabe (Verbesserung ist möglich)
- 0,20 – 0,29: weniger brauchbare Aufgabe (Verbesserung ist notwendig)
- unter 0,19: unbrauchbare Aufgabe (Elimination oder Revision)
Tipps zur Umsetzung
Unterstützungsangebot für Lehrende der HCU & TUHH
Die Arbeitsstelle MINTFIT (AMH) bündelt die Kompetenz im Bereich elektronischen Prüfens der beteiligten Hamburger Hochschulen an einer Stelle und ist eine hamburgweite Beratungs- und Dienstleistungsstelle für Digitalisierung von Prüfen, Lehren und Lernen.
Das Dienstleistungsangebot der AMH umfasst folgende Bereiche:
- Beratung rund um das elektronische Prüfen, wie z.B. Vorteile/Nachteile, Eigenschaften, Organisation, rechtliche Fragestellungen (vor allem Datenschutz und Prüfungsordnungen), Eckpunkte von Hard- und Software für die Durchführung der E-Prüfungen
- Workshops bzgl. praktischer Fragen zur Umsetzung der E-Prüfungen, insbesondere: Erstellung von elektronischen Prüfungsaufgaben (technisch, nicht didaktisch), Auswahl der richtigen Prüfungssoftware, technische Umsetzung und Prüfungsdurchführung mit Geräten (des mobilen Testcenters)
- Erstellung von elektronischen Prüfungsinhalten: Support bei der praktischen Überführung der Prüfungsfragen/-aufgaben in die digitale Welt bzw. in das gewählte Prüfungssoftwaresystem
- Software – Prüfungsumgebungen: Beratung, Auswahl und Einführung in “sichere Prüfungsumgebungen”, SafeExamBrowser (SEB) und andere Prüfungssysteme
- Hardware – Mobiles Testcenter: Möglichkeiten mit den (Leih-) Geräten der AMH, inklusive Aufbau und Betreuung der Prüfungsdurchführung
Die Ansprechpersonen für Ihre Hochschule finden Sie hier.
Tools an der HCU
Für digitale Klausuren gibt es an der HCU folgende Möglichkeiten:
- EvaExam für Scan- oder Online-Klausuren für Prüfungen im Antwort-Wahl-Verfahren
- disziplinspezifische Software für authentische Aufgabenstellungen (z.B. CAD-Programme, Statistikprogramme, Jupyter Notebook).
- möbius courseware (ehemals Maple T.A.), gut geeignet für Mathematik und Informatik
- Lernplattform moodle (siehe auch unser Beitrag Lernplattform moodle)
- YAPS (siehe unten)
Tools an der TUHH
- YAPS (Your Open Examination System for Activating and emPowering Students), ein elektronisches Prüfungssystem, das aktuell an der TUHH (weiter)entwickelt wird. Es bietet nützliche Funktionen für die Prüfungssituation, wie einen abgesicherten Browser oder die Administration über eine Handy-App. Aufgaben werden aktuell über browserbasierte Eigenentwicklungen eingebunden. Es sind vergleichsweise nur geringe Programmierkenntnise notwendig, um als Lehrende*r eine elektronische Prüfung anzulegen. Ansprechpartner hierzu ist die Arbeitsstelle MINTFIT Hamburg (AMH).
- darüber hinaus: Maple T.A./Möbius, MATLAB, R-Studio
Weitere Infos
- siehe Beitrag E-Klausuren
Weiterführende Literatur
Dubs, R. (2006). Besser schriftlich prüfen. Prüfungen valide und zuverlässig durchführen. In: Behrendt, B.; Voss, H. P.; Wildt, J. (Hrsg.): Neues Handbuch Hochschullehre, S. 1-16. Stuttgart, Berlin. Raabe Verlag.
Eugster, B. & Lutz, L. (2003). Leitfaden für das Planen, Durchführen und Auswerten von Prüfungen an der ETHZ (zuletzt besucht am 07.12.2021).
Hochschulforum Digitalisierung (2021). Digitale Prüfungen in der Hochschule
Whitepaper einer Community Working Group aus Deutschland, Österreich und der Schweiz. (Zuletzt besucht am 26.11.2021)
Gerstner, M., Baume, M., Strasser, A. (2021). Whitepaper: Fernprüfungen an bayerischen Universitäten. Bayerisches Kompetenzzentrum für Fernprüfung, Technische Universität München. (Zuletzt besucht am 1.12.2021)
