Wie werden die Testfragen erstellt?

Der studentische kompetenzorientierte Progresstest enthält 120 MC-Fragen und umfasst dabei Themengebiete aus allen Semesterstufen. Die Ergebnisse der MC-Fragen werden detailliert aufgegliedert nach Kompetenzbereichen und Fächergruppen.

Des Weiteren enthält der studentische kompetenzorientierte Progresstest 10 „Situational-Judgement-Test“-Fragen (SJT), die ihren Fokus auf professionellem Handeln haben. SJT-Fragen beschreiben eine Situation im beruflichen / klinischen Feld, welche Entscheidungen erfordern. Zu den Antworten auf die SJT-Fragen erhalten Sie eine Erläuterung.

 

MC-Fragen

Kompetenzbereiche und Fächergruppen

Die MC-Fragen des studentischen kompetenzorientierten Progresstests orientieren sich einerseits an den Kompetenzen des Nationalen Kompetenzbasierten Lernzielkatalogs Medizin (NLKM1) und andererseits an den Fächern der deutschen Approbationsordnung für Ärzte (ÄAppO2). Die Fächer und Kompetenzen sind dabei zu 8 Fächergruppen (I-VIII) und 5 Kompetenzbereichen (A-E) zusammengefasst.

Blueprint

Aus jeder Kombination von Fächergruppe und Kompetenzbereich geht eine festgelegte Zahl von MC-Fragen in den Progresstest ein. Insgesamt enthält der Progresstest 120 MC-Fragen.

 

Review der MC-Fragen

Die MC-Fragen des Progresstests durchlaufen ein mehrstufiges Review-Verfahren:

Pre-Review: Bei der Erstellung der MC-Fragen werden diese hinsichtlich formaler und inhaltlicher Kriterien, wie sie auch bei der Erstellung von Fächerprüfungen im Studium zu Einsatz kommen, von mehreren Autoren/-innen (Gruppenreview) begutachtet. Nur wenn die Kriterien hinreichend erfüllt sind, kann eine MC-Frage in den Progresstest aufgenommen werden.

Post-Review: Nach der Durchführung des Progresstest werden alle MC-Fragen erneut mit Hilfe von statistischen Kennwerten und ggf. erneuter inhaltlicher Begutachtung überprüft, was zur Folge haben kann, dass MC-Fragen mit korrigierter Auswertung (z.B. eine weitere Antwortoption ist als korrekt zu werten) in die Gesamtauswertung eingehen oder auch komplett ausgeschlossen werden müssen. Letzteres ändert die mögliche maximal erreichbare Gesamtpunktzahl des Progresstests bei den MC-Fragen.

 

Situational-Judgement-Test-Fragen

Mit Situational-Judgement-Test-Fragen3 (SJT-Fragen) haben ihren Einsatz vielfach in der Personalauswahl:

„Situational Judgement Tests are commonly used by organizations for personnel selection. They aim to provide realistic but hypothetical scenarios and possible answers wich are either selected or ranked by the candidate.“
(Metcalfe D, Dev H. (2014) Situational Judgement Test. Oxford University Press.)3

Aufgrund ihres einfachen Formats (Mehrfachantworten mit erläuternden Feedbacktexten) lassen diese sich sehr gut verwenden, um kompetenzorientierte Fragen zu den Themenbereichen Kommunikation und professionelles Handeln in den Test zu integrieren.

Dabei werden die SJT-Fragen im Unterscheid zu den MC-Fragen nicht mit einem Punktwert ausgewertet, sondern man kann nach der Beantwortung der SJT-Fragen einen Feedbacktext einsehen, welcher die als ädaquat angesehenen Antwortoptionen begründet. Dies kann dann wiederum kommentiert und in Online-Diskussionsforen weiter diskutiert werden.

Die SJT-Fragen dienen daher vor allem der kritischen Ausweinadersetzung mit herausfordernden und schwierigen Situationen in beruflichen / klinischen Tätigkeiten.

Review von SJT-Fragen

Die SJT-Fragen des Progresstests durchlaufen ebenfalls ein mehrstufiges Review-Verfahren:

Pre-Review: Die Themen und der situative Kontext der SJT-Fragen werden von den Studierenden des studentischen Progresstest-Teams vorbereitet. Da die Themen medizinisch und rechtlich komplex sein können, erfolgt der Pre-Review der  SJT-Fragen anschließend gemeinsam mit medizinischen Fachexperten.

Post-Review: Die Antworten und Kommentare der teilnehmenden Studierenden zu den SJT-Fragen werden gemeinsam analysiert, um die Vorbereitung neuer SJT-Fragen für das darauf folgende Jahr stetig zu verbessern.

 

Literatur

1. Nationaler Kompetenzbasierter Lernzielkatalog Medizin (NKLM). www.nklm.de

2. Approbationsordnung für Ärzte ÄAppO. ÄApprO 2002. Issue date: 27.06.2002. www.gesetze-im-internet.de/_appro_2002/BJNR240500002.html

3. Metcalfe D, Dev H. (2014) Situational Judgement Test. Oxford University Press.