Projektwissen & Best Practices

Guard Rails sind im Kern definierte Grenzen für zulässiges Verhalten. Wichtig ist: Guard Rails sind gleichermaßen Verbote und auch Vorgaben dafür, wie das System in Grenzsituationen stattdessen reagieren soll. In der Praxis brauchst du abgestufte, vorhersehbare Reaktionsmuster. Ein Assistenzsystem kann eine Anfrage ablehnen, aber die Qualität liegt in der Art…

Wenn du einen KI-Assistenten testest, der Sprache versteht, Entscheidungen trifft und Umsysteme triggert, dann testest du nicht einfach eine Funktion. Du testest eine Kette von Fähigkeiten. Und du testest sie unter Bedingungen, die selten perfekt sind: Rauschen, Kontext, wechselnde Datenstände, variable Latenzen, Modellupdates, Multi-Intents, und internationale unterschiedliche Regeln und (Verhaltens-)Richtlinien.…

Wie versprochen beschäftigen wir uns in den kommenden Wochen in der Artikelreihe: „QA im Zeitalter des Nichtdeterminismus“ intensiv mit dem Thema: „Semantisches Testen nicht-deterministischer KI-Systeme“. Das klingt auf dem Papier mega-sexy – nicht. Ich weiß. Aber inhaltlich hat das echt ne Menge zu bieten und wer gerade auf den Hype-Train…

Die Herausforderung heisst: Nichtdeterminismus. Was bedeutet das? Nichtdeterminismus heißt: Das System liefert nicht das exakt reproduzierbare Ergebnis, selbst wenn du denselben Input unter scheinbar gleichen Bedingungen wiederholst. Trotzdem kann jedes Ergebnis im Sinne der gewünschten Absicht, dem sogenannten Intent, semantisch richtig sein.