Evaluation von E-Learning-Angeboten

Funktionen einer Evaluation

Nur wenn mittels einer Evaluation die Schwächen einer Lernumgebung aufgedeckt werden, kann das Angebot anschließend entsprechend optimiert werden. Das ist bei E-Learning umso bedeutsamer, da die Beschäftigung mit Lernmaterialien und -aktivitäten hier teilweise oder vollständig online stattfindet, sodass etwaige Schwierigkeiten der Schülerinnen und Schüler im Umgang mit dem Angebot oft erst zu spät erkannt werden, während die Lehrkraft diese im Präsenzunterricht viel schneller und unmittelbarer bemerken und deshalb auch sofort darauf reagieren kann.

U­nerkannte Probleme mit E-Learning-Angeboten führen deshalb immer noch allzu häufig dazu, dass sich bei den Schülerinnen und Schülern unnötigerweise Verwirrung, Unlust und Ärger breitmachen, die den angestrebten Kompetenzerwerb von vornherein gefährden oder gar verunmöglichen, sehr zur Frustration der Lehrkraft, die häufig ausgesprochen viel Zeit in die Konzeption und die Realisierung eines E-Learning-Angebots gesteckt hat.

Definiton

Unterschiedliche Arten von Evaluation

Je nach Zielsetzung werden zwei grundsätzliche Arten der Evaluation unterschieden. Dabei liegt der Fokus entweder auf der Begleitung Lernprozess oder auf der Bewertung des Lernprodukts. Für welche Art der Evaluation Sie sich entscheiden, hängt grundsätzlich von den Lernzielen ab, die Sie erreichen möchten. Bei kompetenzorientierten Aufgabenstellungen ist eine formative Evaulation empfehlenswert.

Mehr zum Thema

Scriven (1972), Methodologie S.60-91

Zentrale Fragen für die Evaluation

Zentrale Fragen für die Evaluation von E-Learning-Angeboten sind in erster Linie die Folgenden:

1. Wie gut lässt sich das Angebot handhaben (Usability)? Hierbei geht es vor allem um die Bewertung des Layouts und die Benutzerführung des Programms, also z.B. des Einsatzes von Texten, Bildern, Animationen und Audio-/Video-Content, wie auch der Übersichtlichkeit und Transparenz des Layouts.

2. Wie hoch ist die Zufriedenheit der Lernenden mit dem Lehr- und Lernangebot? Erfüllt es ihre Lernerwartungen?

3. Lernen die Schülerinnen und Schüler durch die Nutzung des Angebots etwas bzw. erwerben sie dabei die gewünschten Kompetenzen (Lerneffektivität)?

Evaluationsmethoden und Werkzeuge

Methoden und Werkzeuge zur formative Evaluation

Das Ziel der formativen Evaluation ist das Finden von Schwachstellen des E-Learning-Angebots und dessen auf dieser Grundlage vorgenommene Optimierung. Dies ist relativ einfach durch möglichst „schlanke“,  digitale Instrumente (z.B. die Lernplattfom-Aktivität „Tagebuch”) möglich.  Flankiert werden sollten diese Instrumente aber auch durch das einfache, informelle Gespräch mit den Nutzerinnen und Nutzern im Präsenzunterricht. Zur Überprüfung des Kompetenzzuwachses durch die Nutzung des Lernangebots können, insbesondere hinsichtlich der Überprüfung des Verfügens über deklarative Wissenselemente (v.a. so genanntes „Faktenwissen“) auch die verschiedenen Varianten der Lernplattform-Aktivität „Test“ zum Einsatz kommen.

Zu beachten ist, dass die Lernenden nicht durch eine zu häufige begleitende Evaluation der Sequenz der Auswertung überdrüssig werden und diese dann nur halbherzig bzw. nicht mehr mit dem nötigen Ernst durchführen. Sinnvoll ist deshalb die Beschränkung der Messpunkte vor allem auf jene Phasen der Nutzung des E-Learning-Angebots bzw. jene Materialien und Aktivitäten, welche die Lehrkraft gemäß den verfolgten Zielen für besonders wichtig für den Lernerfolg hält.

Methoden und Werkzeuge zur summative Evaluation

Am Ende der Nutzung eines E-Learning-Angebots geht es im Rahmen einer summative Evaluation darum, die Sequenz noch einmal in ihrer Gesamtheit in den Blick zu nehmen und aus den Ergebnissen ggf. Änderungsbedarf abzuleiten. Eine große Stärke gerade von Lernplattform-Kursen liegt schließlich darin, dass diese sich sehr leicht anpassen lassen und komfortabel immer wieder durchgeführt werden können.

Hinsichtlich der Usability und Zufriedenheit der Lernenden bietet sich die Nutzung des Instruments des Critical Incidents Survey  Dieser Test erhebt, welche Ereignisse, Materialien, Aufgaben von den Schülerinnen und Schülern als besonders lernförderlich bzw. lernhemmend erfahren wurden.

Auch die summative Evaluation der Lerneffektivität des Angebots kann zum einen durch entsprechende Multiple-Choice-Tests stattfinden, mit denen deklarative Wissenselemente abgefragt werden, die während der Sequenz vermittelt wurden (z.B. landeskundliche Fakten, Definitionen von Fachtermini, etc.). Da sich laut Weinert Kompetenzen aber nicht in deklarativem Wissen erschöpfen, sollten auch andere Erhebungselemente hinzugezogen werden. Zur Evaluation des Lernerfolgs im Hinblick auf Kompetenzen wäre z.B. im Fremdsprachenunterricht eine begleitende Evaluation in Anlehnung an das Europäische Sprachenportfolio möglich.  Dafür ist die Kombination unterschiedlicher Perspektiven, z.B. der Selbsteinschätzung der eigenen fremdsprachlichen (und ggf. auch metakognitiven, sozialen, etc.) Kompetenzen durch die Lerner, der Fremdeinschätzung derselben Bereiche durch die Lehrkraft, sowie einer Sammlung aussagekräftiger, im Laufe der Sequenz erstellter Produkte und deren Bewertung durch die Lehrkraft charakteristisch.

Ein sehr großer Vorteil eines solchen Instrumentariums ist, dass sowohl der Selbst- wie auch der Fremdeinschätzung der Lernenden in Bezug auf alle von Franz Weinert beschriebenen (deklarativen, prozeduralen, volitionalen) Komponenten von Kompetenzen der gebührende Stellenwert eingeräumt wird, und so ein sehr hochauflösendes Bild, ausgehend vom Ist-Zustand (Selbst- und Fremdeinschätzung des Lernenden vor Beginn und am Ende der Sequenz) und dem Soll-Zustand (vgl. kriterienorientierte Bezugsnorm über den Lehrplan bzw. Kompetenzmodellen und entsprechenden Bildungsstandards) entsteht, von dem dann entsprechende Aussagen über die Entwicklung des Lernenden bzw. der Lerngruppe getroffen, sowie entsprechende Förderstrategien abgeleitet werden können.

Tipp

Gerade Portfolio-Arbeit lässt sich in der mebis Lernplattform besonders gut realisieren, da hier ohnehin alle von den Lernenden er- bzw. bearbeiteten Materialien nebst dem jeweiligen individuellen Feedback durch die Lehrkraft gespeichert sind, so dass sich automatisch eine Art Portfolio ergibt, das sowohl valide Aussagen angesichts der individuellen, der sozialen, wie auch der kriterienorientierten Bezugsnorm zulässt.

Critical Incidents

Eine Vorlage für eine Umfrage zu Critical Incidents für Ihre Lernplattform-Kurse finden Sie auf teachSHARE!

iPAC – Planungs- und Evaluationsinstrument

Das iPAC-Modell wurde als theoretischer Unterbau für mobiles Lernen entwickelt. Es zielt darauf ab, die pädagogischen Eigentümlichkeiten und besonderen Herausforderungen beim Lernen mit digitalen Medien herauszustellen.

Zentrale Bestandteile sind die Kategorien Personalisierung, Authentizität und Kollaboration, die wiederum in sieben Unterelemente aufgegliedert werden.

Die Unterelemente des iPAC-Modells dienen als Indikatoren bei der Messung des Einsatzes mobiler Lerntechnologien und besitzen jeweils eine Skala zwischen zwei Polen. Dadurch lässt sich evaluieren, wie eine Lernaktivität bezüglich dieses Kriteriums von den Lehrenden und Lernenden eingeschätzt wird.

Personalisierung

Authentizität

Mobile Endgeräte erlauben die Bearbeitung besonders authentischer Aufgaben unter Nutzung realitätsnaher Tools. Die Unterkategorien Task und Tool sind daher im iPAC-Modell eng miteinander verbunden.

Kollaboration

Auf teachSHARE finden Sie einen Fragebogen auf der Basis des iPAC-Modells für die Befragung von Lehrenden und Lernenden zu einer Lernaktivität, bei der mobiles Lernen im Unterricht angewandt wurde.

Aus der Ausprägung der jeweiligen Kategorie auf der fünfteiligen Skala lässt sich schlussfolgern, welche Bereiche des Einsatzes mobiler Technologien in der betrachteten Unterrichtseinheit gut gelungen und welche noch optimierbar sind.

iPAC Survey

Eine Vorlage für eine Umfrage zu Critical Incidents für Ihre Lernplattform-Kurse finden Sie auf teachSHARE!

Hinweis

Die Inhalte der Webseite und die Fragen des Survey Tools und damit auch die Erläuterung in diesem Beitrag basieren auf der ersten Version des iPAC-Frameworks.

Die Autoren haben das Modell jedoch zwischenzeitlich aktualisiert. Ein aktuelle Version finden Sie hier: