KI methodisch prüfen lernen.
Zwei-Tages-Workshop mit einem konkreten Vorgehensmodell für Test-Verantwortliche, die KI-gestützte Funktionen oder ganze KI-Systeme prüfen sollen. Wir setzen gemeinsam eine lokale KI-Umgebung auf, bauen mit Claude Code eine kleine Demo-Anwendung mit integriertem KI-Assistenten und arbeiten daran die Test-Kategorien Funktional, Guardrails, Adversarial und Lokalisierung durch. Voraussetzung ist ein gutes Grundverständnis von KI, Entwicklungsumgebungen und Test-Methodik (mehr dazu im FAQ).
Workshop anfragen→Vier Gründe, das Vorgehensmodell zu lernen.
Konkretes Vorgehensmodell
Vom Setup über die Demo-Anwendung bis zum Reporting Schritt für Schritt durchgespielt. Du gehst mit einem reproduzierbaren Modell zurück, das in deinem Team funktioniert.
Eigene lokale KI
oLLama oder LM Studio lokal aufgesetzt, ein eigenes Modell läuft auf deinem Rechner. Damit testest du frei von API-Limits, Datenschutz-Fragen und externer Drift.
Test-Kategorien hands-on
Funktionaler Test, Guardrails, adversariale Szenarien und Lokalisierung werden am eigenen Demo-System geübt. Kein Trockenschwimmen, sondern Anwendung an einem echten KI-Setup.
Audit-taugliches Reporting
Strukturierte Dokumentation, mit der eine Release-Entscheidung sauber begründet werden kann. Templates für AI-Act- und ISO-42001-Bezüge nimmst du mit.
Lebenslanger Zugriff auf das Online-Kursmaterial.
Nach der Schulung bleibt dein Login auf die Slide-Decks und Materialien aktiv. Wenn wir das Material überarbeiten, hast du automatisch die neue Version. Kein Ablaufdatum, kein Wieder-Buchen.
Was Teilnehmer nach dem Workshop können.
Sieben Bausteine über zwei Tage.
Vorgehensmodell & Eval-Mindset
Was KI-Testen strukturell anders macht und wie ein durchgängiges Vorgehensmodell vom Setup bis zum Reporting aussieht. Risikobasiertes Test-Denken und Bezug zu AI Act und ISO 42001.
- KI-Testen vom klassischen Testen abgrenzen und Nicht-Determinismus einordnen
- Vorgehensmodell-Phasen Setup, Demo, Strategie, Durchführung und Reporting verstehen
- Risikobasierte Test-Priorisierung an der eigenen Domäne anwenden
- AI-Act- und ISO-42001-Bezüge als Rahmen für das Vorgehen einordnen
Lokale KI-Umgebung aufsetzen
Praktischer Aufbau einer lokalen KI-Umgebung mit oLLama oder LM Studio. Lokales Modell betreiben, Inference-Schicht verstehen, API-Anbindung für die spätere Demo-App vorbereiten.
- oLLama oder LM Studio auf dem eigenen Rechner installieren und einrichten
- Lokales Modell wie Llama oder Mistral laden und ansteuern
- Lokale Inference-API kennen und für Test-Skripte nutzbar machen
- Datenschutz-Vorteile lokaler KI gegenüber externer API einordnen
Demo-Anwendung mit Claude Code
Mit Claude Code bauen wir gemeinsam eine kleine Demo-Homepage mit integriertem KI-Assistenten. Schicht-Architektur verstehen, lokale Modell-Anbindung herstellen und Test-Hooks für die nachfolgenden Bausteine vorbereiten.
- Mit Claude Code in der eigenen Entwicklungsumgebung produktiv arbeiten
- Demo-Homepage mit Chat-UI und Backend-Endpunkten aufbauen
- KI-Assistenten an das lokale Modell anbinden und System-Messages strukturieren
- Test-Hooks und Logging für die nachfolgenden Test-Bausteine einrichten
Test-Strategie & Eval-Konzept
Bevor wir testen, das Konzept: Was teste ich, welche Risiken stehen oben auf der Liste, welche Metriken und Schwellwerte greifen und wie wird das alles wiederholbar.
- Eval-Set aus realen Anforderungen und Edge Cases ableiten
- Metriken-Mix für Funktional, Sicherheit, Qualität und Performance auswählen
- Schwellwerte und Akzeptanzkriterien für Release-Entscheidungen festlegen
- Test-Automatisierungs-Frameworks wie Promptfoo, deepeval oder RAGAS als Wiederholbarkeits-Hebel einsetzen
- Modell-, Prompt- und Eval-Set-Versionierung als Grundlage für Reproduzierbarkeit verstehen
Funktionaler Test & Guardrails
Die ersten Tests an der Demo-App: Funktioniert die KI wie erwartet und halten die Schutzschichten? Coverage über die Use Cases, Groundedness der Antworten, Guardrails und Policy-Checks.
- Funktionale Tests gegen die Demo-Anwendung strukturiert durchführen
- Antwort-Qualität an Groundedness und Faktentreue messen
- System-Prompts und Guardrails als testbare Komponenten behandeln
- Policy-Checks und Filter-Schichten gezielt prüfen und dokumentieren
Adversariale Szenarien & Red Teaming
Die KI gezielt unter Stress setzen: Prompt Injection, Jailbreak-Versuche, manipulative Eingaben, Bias-Sondierung. Red Teaming als wiederholbarer Prozess statt Einzel-Stichprobe.
- Prompt Injection und Jailbreak-Patterns reproduzieren und dokumentieren
- Red Teaming als wiederholbaren Prozess aufsetzen, mit klaren Eskalations-Triggern
- Bias-Sonden gegen Protected Attributes systematisch ansetzen
- Eingabe-Manipulation gegen schwache Validierungen im Backend testen
Lokalisierung, Drift & Reporting
Letzte Test-Dimensionen und der Abschluss: Lokalisierung in mehreren Sprachen, nicht-funktionale Tests, Drift-Monitoring nach Release und das Eval-Reporting in Audit-tauglicher Form.
- Mehrsprachigkeit und kulturelle Anpassung als eigene Test-Dimension behandeln
- Performance, Latenz und Kosten als nicht-funktionale Tests einordnen
- Drift-Monitoring nach Release konzeptionell aufsetzen, Trigger für Re-Evaluation kennen
- Eval-Reporting in Audit-tauglicher Form ablegen, AI-Act- und ISO-42001-Bezüge dokumentieren
- Templates und Beispiel-Reports zur weiteren Nutzung mitnehmen
Was es kostet.
Im Preis enthalten
- Live-Workshop mit Trainer
- Eval-Framework-Templates für eigene Use-Cases
- Halluzinations- und Bias-Check-Vorlagen
- Teilnahmebestätigung
Rabatte
Frühbucher-Rabatt 10% bei Buchung mehr als 30 Tage vor Termin. Gruppen-Rabatt 10% ab 5 gleichzeitig angemeldeten Teilnehmern.
Inhouse Training?
Für Lernatmosphäre vor Ort und ein Format, das sich für deine Mitarbeitenden wiederholen lässt, bieten wir den Workshop auch bei dir Inhouse an. Sprich uns für ein maßgeschneidertes Angebot an.
Was oft gefragt wird.
Welches Vorwissen brauche ich?
Wir setzen ein gutes Grundverständnis von KI, Entwicklungsumgebungen und Test-Methodik voraus. Eine ISTQB Foundation Level Zertifizierung ist ideal, formal aber nicht verpflichtend. Wer beim KI-Teil noch unsicher ist, bekommt mit dem Workshop: KI-Grundlagen — Intensiv das passende Fundament. Ohne dieses Vorwissen läuft der Workshop schnell zu hoch und die Wirkung kommt nicht in der Tiefe an.
Was brauche ich technisch auf meinem Rechner?
Einen eigenen Laptop mit aktueller Entwicklungsumgebung (Node.js und ein Code-Editor reichen), Internet-Zugang und genug Speicher für ein lokales KI-Modell. 8 GB RAM sind das Minimum, 16 GB sind komfortabler. oLLama und LM Studio sind kostenfrei. Claude Code wird im Workshop bereitgestellt.
Brauche ich Programmier-Skills?
Ein Grundverständnis von Webentwicklung hilft, etwa HTML, JavaScript und der Umgang mit einfachen APIs. Mit Claude Code arbeiten wir konversationell, du musst also nicht tief im Code stecken. Du solltest dich aber in einer Entwicklungsumgebung zurechtfinden und Konzepte wie API-Calls, Backend und Frontend einordnen können.
Wie verhält sich das zum Consulting-Angebot „Testen von KI"?
Das Consulting entwickelt mit deinem Team gemeinsam ein Testkonzept für ein konkretes Produkt. Der Workshop hier baut die Kompetenz im Team auf, das selbst dauerhaft zu tun, mit einem konkreten Vorgehensmodell als Anker.
Vom Setup bis zum Audit-tauglichen Reporting.
Praktisches Vorgehensmodell für 4 bis 12 Teilnehmer, remote oder vor Ort. Eigene lokale KI-Umgebung, Demo-Anwendung mit Claude Code, alle Test-Kategorien hands-on, fertige Reporting-Templates zum Mitnehmen.
Workshop anfragen→Vielleicht passt aus einer anderen Säule etwas besser zu deiner Situation.
Quality Education
Workshops, Schulungen und 1:1-Coaching für Test-, Projekt- und KI-Compliance-Themen.
→Quality Consulting
Strategie, Methodik, Frameworks für belastbare Qualität. Audits, Konzepte, AI-Compliance.
→Quality Services
Operative Test-Manpower, Interim-Testmanagement und Vermittlung aus dem Fachnetzwerk.
→CT Map
Übersicht aller drei QCT-Säulen mit Wegweiser zu deinem passenden Einstiegspunkt.
→