Prompt-Engineering

Beschreibung

Hintergrund

• ChatGPT als generative künstliche Intelligenz von der Firma OpenAI
• Dialogsystem ist in der Lage „menschenähnliche Konversationen zu führen und auf die Eingaben der Benutzerinnen und Benutzer zu reagieren“ (Schönbächler, Himpsl-Gutermann, & Strasser, 2023, S. 13)
• Entwicklung von Umfang und Funktionen in verschiedenen Versionen (GPT-Modelle) (̈OpenAI, 2024) (DAIR.AI, 2024)
• Steigende Relevanz in Alltag, Schule und Beruf (Schleiss, et al., 2023)
• Notwendigkeit zur Auseinandersetzung auf Landesebene, Handlungsleitfäden (Umgang mit textgenerierenden KI-Systemen, 2023) (Ultze & Krämer, 2023)
• Schülerinnen und Schüler nutzen ChatGPT bereits (Müller & Sommer, 2023) (Voß, 2023)

Thematischer Rahmen

• Generative künstliche Intelligenz am Beispiel von ChatGPT im Informatikunterricht
• ChatGPT im dialogischen Prozess wahrnehmen und nutzen
• Bezug und Umgang mit KI bei Schülerinnen und Schülern durch eine Auseinandersetzung mit ….
• Prompt-Engineering: Aufbau und Struktur von Eingaben zur Steigerung der Ergebnisqualität
• Prompt-Pattern: Generalisierung der „Prompts“ für wiederkehrende Lösungsansätze

Forschungsstand

• KI gerade bei jüngeren Schülerinnen und Schüler mit Fehlvorstellungen als Black-Box wahrgenommen (Lindner, Müller- Unterweger, Löffler, Lohr, & Berges, 2023)
• Kompetenzen bei Schülerinnen und Schüler erforderlich, um Potenziale, Gefahren … erkennen zu können (Schönbächler, Himpsl-Gutermann, & Strasser, 2023)
• Feedback von KI-Systemen zur Steigerung eigener Kompetenzen positiv wahrgenommen (Jacobs & Jaschke, 2023)
• ChatGPT mit Kursinhalten trainieren für kontrolliertes Wissen für Schülerinnen und Schüler (Lo, 2023)
• Notwendigkeit gegeben, KI in Schule einzusetzen (Roppertz, 2021)

• Natürliche Sprache als Eingabeform herausfordernd bei „Nicht-KI-Experten“ (Hartmann, Wong, Yang, Zamfirescu-Pereira, 2023)
• Informationskompetenz einer der Schlüsselkompetenzen zur Auseinandersetzung mit ChatGPT (Schönbächler, Himpsl-Gutermann, & Strasser, 2023)
• Konkreter: KI-Kompetenzen als „AI Literacies“ (Strasser, 2023) (Schirmer, Berger, Himpsl-Gutermann, Lorenz, & Steiner, 2023)
• „ACE-Strategie“ mit den Stufen Annehmen, Critical Thinking und Erkennen
• Barrieren (Design, Selection, Coordination, Understanding, Information) und Probleme beim Prompting
  • Fehlende Unterstützung in der Strukturierung von Prompts
  • Entmutigen sich nach ersten fehlerhaften Rückgaben
  • Neue Dialoge ohne Anpassungen der vorherigen Prompts
  • Keine Recherche
  • Übergeneralisierung (Prompt geht einmal nicht = geht bestimmt immer nicht)
• Nicht-Experten designen Prompts …
  • Implizit
  • Unsystematisch
  • Übermütig

Motivation

• Zielgerichtete KI-Nutzung im dialogischen Prozess professionalisieren
• Kompetenzentwicklung bei Schülerinnen und Schülern zur Auseinandersetzung/zum Umgang mit KI
• Potenziale und Möglichkeiten in und mit KI erkennen (KI als Werkzeug in Lebenswelt und Schule)
• Fehlvorstellungen abbauen und Black-Box erschließen

Dualitätsrekonstruktion

Unterrichtsstunde

Beschreibung

• ChatGPT im dialogischen Prozess als Werkzeug kennenlernen und verwenden
• Individuellen Bezug und Umgang zur generativen KI (ChatGPT) professionalisieren
• Ergebnisqualität durch gezieltes Prompt-Engineering verbessern
  • Aufbau und Struktur (Bestandteile & Gütekriterien) von Prompts
  • Generalisierung von Strategien zur Problemlösung durch Prompt-Pattern
• Arbeit an allgemeinen Grundlagen von Prompts
• Bezug zu eigenen Ergebnissen aus vorherigem Teil des Projekttages (Gruppe 1, Selbstreguliertes Lernen)

Durchführung

• Durchführung der Doppelstunde (ca. 90 Minuten) anhand eines Unterrichtsverlaufsplans
• Aufgaben und Bearbeitung über Arbeitsblätter und ChatGPT
• Interaktionen mit ChatGPT über den datenschutzkonformen Dienst fobizz
• Unterstützende Präsentationsfolien, die durch die Arbeitsphasen der Doppelstunde leiten
  • Wechsel von Sozialformen und Methoden
  • Einzel-, Partner- und Gruppenarbeit
• Analoge Arbeitsblätter & Poster, digitale Eingaben an Computern des PIN-Labs

Stundenziele

Schülerinnen und Schüler können …

1. … Bestandteile von Prompts benennen, um präzise und relevante Ergebnisse erzielen zu können
2. … eigene Prompts anhand von Gütekriterien formulieren
3. … die Qualität von Prompts beurteilen und zur Steigerung der Ergebnisqualität hin modifizieren
4. … Prompt-Pattern benennen, beschreiben und formulieren
5. … Prompt-Pattern modifizieren und auf eigene Probleme anwenden

Verlaufsplan

Materialien

Arbeitsblätter

Erwartungshorizont

Aufgabe 1

Bestandteil	Beschreibung
Kontext	Hintergrundinformationen Themenbereich, in dem sich die Anfrage befindet
Anweisung/Eingabe	Aufgabe, Anweisung oder Frage Beschreibung, was erledigt werden soll
Ziel/Zweck	Wofür werden die Informationen benötigt Definiert die Zielgruppe/Bereich
Begrenzung/Umfang	Definition von Länge/Umfang/Detailgrad der Antwort
Ausgabeformat	Format der Ausgabe Liste, Tabelle, Zusammenfassung, Code, …

(DAIR.AI, 2024)

Aufgabe 2

Prompt	Überprüfung
AB Prompt 1	Vage und allgemein: Keine Programmiersprache Kein Kontext: Geht es um eine Erklärung für SuS? Oder eines Programmierers? Keine spezifische Anweisung: Erkläre, beschreibe, fasse zusammen, ... fehlt Begrenzung/Umfang: Detailliert? Kurz und knapp?
AB Prompt 2	Klarheit/Präzision: Besser beschrieben als Prompt 1 Kontext: Nicht wie/wofür Schleifen verwendet werden, Schleifen-Art (for, while) Fehlende Zielgruppe und fehlender Umfang
AB Prompt 3	Klarheit/Präzision gegeben (Lösung der Funktion, Python) Kontext: Konkrete Aufgabe gestellt (erkläre) in Python Umfang angegeben, könnte noch verfeinert werden (DOC, Typ-Überprüfung)

Aufgabe 5

Prompt-Pattern	Kurze Beschreibung/Beispiel
Persona	Versetzt ChatGPT in eine bestimmte Rolle Definiert Kontext, der einem selbst vielleicht unklar ist Beispiel: Du bist Software-Entwickler und programmierst …
Audience Persona	Definiert eine bestimmte Zielgruppe für die Ausgabe Ausgabe wird für die angegebene Zielgruppe angepasst Beispiel: Ich bin Schüler der 8. Klasse, erkläre mir …
Tree of Thought	Baumstruktur von (Zwischen)ergebnissen, die ChatGPT in mehreren Phasen (Ast) gegenüberstellt und auswählt. Beispiel: Mehrere Experten beantworten die Frage … teilen sie in der Gruppe … wählen eins davon aus … Experte der sich irrt, verlässt die Gruppe … [Frage]
Recipe	Ausgabe wird in eine Schritt-für-Schritt Abfolge formatiert Komplexe Sachverhalte werden in Teilabschnitte aufgeteilt Beispiel: [Aufgabe] … [Zielgruppe] … [Kontext] … komplette Reihenfolge aller Schritte … fülle alle fehlenden Schritte
Flipped Interaction	ChatGPT stellt so lange Fragen, bis es die Aufgabe vollständig bearbeiten kann. Gut, wenn man selbst nicht genau weiß, welche Zusatzinfos gebraucht werden. Beispiel: Stelle mir so lange Fragen, bis du …

(DAIR.AI, 2024) (White, 2023) (Yao, 2024)

Gruppenkärtchen (Prompt-Pattern)

Literaturverzeichnis

Brinda, T., Diethelm, I., Gemulla, R., Romeike, R., Schöning, J., & Schulte, C. (2016). Dagstuhl-Erklärung: Bildung in der digitalen vernetzten Welt. Gesellschaft für Informatik e.V.

Engelke, B., & Engelke, U. (2023). ChatGPT–Mit KI in ein neues Zeitalter: Wie KI-Tools unser Leben und die Gesellschaft verändern. MITP-Verlags GmbH & Co. KG.

Jacobs, S., & Jaschke, S. (2023). Large Language Models in der Berufsausbildung von IT- Fachkräften. In L. Hellmig, & M. Hennecke (Hrsg.), INFOS 2023 - Informatikunterricht zwischen Aktualität und Zeitlosigkeit (S. 187-196). Bonn: Gesellschaft für Informatik e.V.

Lindner, A., Müller-Unterweger, M., Löffler, P., Lohr, D., & Berges, M. (2023). Von Autonomem Fahren bis Zahnarzt - Vorstellungen von Schüler:innen zu Künstlicher Intelligenz und ihre Integration in den Informatikunterricht. INFOS 2023 - Informatikunterricht zwischen Aktualität und Zeitlosigkeit (S. 93-102). Bonn: Gesellschaft für Informatik e.V.

Lo, C. K. (2023). What is the impact of ChatGPT on education? A rapid review of the literature. Education Sciences, 13(4), 410.

Müller, P., & Sommer, S. (2023). Aufbruch ins Unbekannte: Schule in Zeiten von künstlicher Intelligenz und ChatGPT. Düsseldorf: Vodafone Stiftung Deutschland.

OpenAI (2024), ChatGPT. Abgerufen am 2. September 2024 von www.openai.com,

DAIR.AI (2024) Prompt Engineering Guide, Abgerufen am 10. Juni 2024 von www.promptingguide.ai

Schönbächler, E., Himpsl-Gutermann, K., & Strasser, T. (2023). Vom Chat zum Check. Informationskompetenz mit ChatGPT steigern. Medienimpulse, 61(1), S. 1-51

Schirmer, K., Berger, M., Himpsl-Gutermann, K., Lorenz, S. A., & Steiner, M. (2023). Künstliche Intelligenz im Unterricht: Lehr-/Lernszenarien für verschiedene Gegenstände. Medienimpulse, 62(2), S. 1-40.

Schleiss, J., Mah, D. K., Böhme, K., Fischer, D., Mesenhöller, J., Paaßen, B., ... & Schrumpf, J. (2023). Künstliche Intelligenz in der Bildung. Drei Zukunftsszenarien und fünf Handlungsfelder. KI-Campus. DOI, 10.

Strasser, T. (23. Februar 2023). Not another ChatGPT Love Song!? Warum der Chatbot nur ein Puzzleteil in der Diskussion ist. Abgerufen am 12. Mai 2024 von PLAN B: https://magazin.forumbd.de/lehren-und-lernen/not-another-chatgpt-love-song/

Schulte, C., & Budde, L. (2018, November). A Framework for Computing Education: Hybrid Interaction System: The need for a bigger picture in computing education. In Proceedings of the 18th Koli Calling International Conference on Computing Education Research (pp. 1-10).

Ultze, R., & Krämer, D. (2023). Empfehlungen für den Umgang mit KI-Anwendungen am Beispiel von ChatGPT. Berlin: Senatsverwaltung für Bildung, Jugend und Familie.

Umgang mit textgenerierenden KI-Systemen. (2023). Düsseldorf: Ministerium für Schule und Bildung des Landes Nordrhein-Westfalen.

Roppertz, S. (2021). Die Rolle und Bedeutung von Künstlicher Intelligenz in der Berufsausbildung – Implikationen für angehende Berufs- und Wirtschaftspädagog*innen. (H.-H. Kremer, N. Naeve-Stoß, L. Windelband, & J. Fuge, Hrsg.) bwp@(40).

Voß, M. (16. September 2023). Künstliche Intelligenz und Schule – passt das zusammen? Abgerufen am 15. Mai 2024 von https://www.mdr.de/nachrichten/deutschland/panorama/kuenstliche- intelligenz-schule-100.html

White, J., Fu, Q., Hays, S., Sandborn, M., Olea, C., Gilbert, H., ... & Schmidt, D. C. (2023). A prompt pattern catalog to enhanceprompt engineering with chatgpt. arXiv preprint arXiv:2302.11382.

Yao, S., Yu, D., Zhao, J., Shafran, I., Griffiths, T., Cao, Y., & Narasimhan, K. (2024). Tree of thoughts: Deliberate problem solvingwith large language models. Advances in Neural Information Processing Systems, 36.

Yilmaz, R., & Yilmaz, F. G. K. (2023). Augmented intelligence in programming learning: Examining student views on the use ofChatGPT for programming learning. Computers in Human Behavior: Artificial Humans, 1(2), 100005.

Zamfirescu-Pereira, J. D., Wong, R. Y., Hartmann, B., & Yang, Q. (2023, April). Why Johnny can’t prompt: how non-AI experts try(and fail) to design LLM prompts. In Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems (pp. 1-21).