Autor: Dr. Philipp Schlenkhoff, LL.M. corp. restruc.
Der Einsatz von Künstlicher Intelligenz (KI) ist längst in zahlreichen Branchen angekommen und spielt eine zentrale Rolle bei der digitalen Transformation. Neben der Entwicklung und Implementierung von KI-Lösungen rücken dabei Fragen nach Qualität, Ethik, Risikomanagement und Transparenz immer stärker in den Fokus.
In diesem Zusammenhang existieren unterschiedliche Frameworks und Standards, die Unternehmen bei der Planung, Durchführung und Überwachung von KI-Projekten unterstützen.
Dieser Beitrag gibt einen Überblick über die KI-Projektstruktur des AI Transformation Instituts, die sich an CRISP-DM orientiert, und stellt sie den Anforderungen an ein ISO-konformes KI-Managementsystem gem. ISO/IEC 42001:2023 gegenüber.
Abschließend wird eine Kombination beider Ansätze beschrieben, die sich als besonders effektiv erweist, um den komplexen Anforderungen moderner KI-Anwendungen gerecht zu werden.
A. KI-Projektstruktur des AI Transformation Instituts: Angelehnt an CRISP-DM
Das AI Transformation Institut hat eine Projektstruktur entwickelt, die sich stark an der bekannten CRISP-DM-Methodik (Cross Industry Standard Process for Data Mining) orientiert. CRISP-DM wurde ursprünglich für Data-Mining-Projekte konzipiert, ist aber inzwischen ein bewährter Standard für viele KI-Projekte. Die folgende Übersicht zeigt die zentralen Phasen, wie sie im AI Transformation Institut je nach Projektart auch in leicht angepasster Form genutzt werden:

1. Business Understanding
In dieser ersten Phase werden die Projektziele und der erwartete geschäftliche Nutzen gegenüber den Kosten des KI-Vorhabens zusammengestellt. Passt der Nutzen zur Unternehmensstrategie? Darüber hinaus werden mögliche Risiken (schon hier: erster Blick auf die Daten), rechtliche Rahmenbedingungen und Compliance-Anforderungen geprüft sowie die wichtigsten Stakeholder identifiziert, die für das Projekt Erfolgsvoraussetzung sind. Auf dieser Basis lässt sich frühzeitig klären, ob das Projekt realisierbar ist und wo potenzielle „Show-Stopper“ liegen könnten. Zudem werden hier die KPIs festgelegt, anhand derer im Schritt 5 evaluiert wird.
2. Data Understanding
Anschließend wird bewertet, ob die benötigten Daten für den Use Case zur Verfügung stehen und in welcher Qualität sie vorliegen. Kann und darf ich diese Daten überhaupt nutzen? Erste kleine Tests je nach Projekt, z.B. mit Standardprodukten (ChatGPT; Claude et al.) oder Prototypen geben zudem Aufschluss darüber, ob das Vorhaben mit den vorliegenden Daten tatsächlich die gewünschten Ergebnisse liefern kann oder ob Anpassungen nötig sind.
3. Data Preparation
In der Datenaufbereitungsphase werden die benötigten Daten in das Format überführt in welchem ich sie brauche. Dies sollte meist eine überprüfung der Datenqualität und -konsistenz beinhalten. Denn diese ist und das kann man nicht oft genug betonen, kritisch für die Ergebnisqualität des Vorhabens. Bei Projekten mit generativen Modellen kann dies beispielsweise bedeuten, die Texte, die ich als Basis für mein RAG Modell verwende kritisch auf Dubletten, alte Stände und Ähnliches zu prüfen. Immer dabei: wie gehe ich mit sensiblen und geschützten Daten korrekt um.
4. Modeling
(Zugegeben: Der Name passt bei GenAI Projekten nicht mehr wirklich…)
Anschließend erfolgt die eigentliche Modellauswahl und ggf. -anpassung. Häufig werden bestehende Modelle oder Tools eingesetzt, die durch Prompt Engineering, RAG-Anwendungen oder sogar Finetuning in den konkreten Anwendungsfall eingepasst werden. Dabei ist eine geeignete Infrastruktur (z. B. Cloud-Umgebung, GPU/TPU-Ressourcen) wichtig, um das Training bzw. den Betrieb des Modells oder des Systems sicherzustellen. Der Prozess verläuft iterativ, da in mehreren Prototypen- und Optimierungsschleifen stetig Verbesserungen vorgenommen werden.
5. Evaluation
Sobald erste Ergebnisse vorliegen, werden sie auf Qualität und Zielerreichung überprüft. Hierfür nutzen wir die festgelegten KPIs aus Schritt 1. Neben objektiven Kennzahlen ist bei generativen Inhalten meist menschliche Bewertung notwendig, um im Rahmen eines intelligenten Evaluationskonzepts zu „objektiveren“ Vergleichen zu kommen. Die Evaluation zeigt, ob weitere Optimierungen, also Iterationen erforderlich sind oder ob das System bereits ausreichend reif für den Einsatz ist. Oft ist man aber in der ersten Runde wieder zurück bei Phase 2: Data Understanding oder im Worst Case bei Phase 1: Business Understanding
6. Deployment
Zum Abschluss wird das Modell – sofern die KPIs erreicht wurden – in bestehende Betriebsabläufe integriert. Dieser Schritt beinhaltet sowohl technische Aspekte, wie die Anbindung an operative Systeme und das Aufsetzen von Monitoring-Lösungen, als auch die Schulung der Nutzerinnen und Nutzer. Ohne eine fortlaufende Überwachung geht bei KI-Projekten nichts. Nur so stellt man sicher, dass das System im täglichen Gebrauch den Anforderungen entspricht und bei Bedarf weiterentwickelt oder angepasst werden muss.
Fazit
Durch dieses strukturierte Vorgehen lassen sich frühzeitig Herausforderungen erkennen und adressieren, die bei generativen KI-Projekten auftreten können. Und nicht selten führt dies sinnvollerweise dazu ein Projekt (noch) nicht durchzuführen.
In weiteren Projektverlauf bedeutet dies ein iteratives Vorgehen, bei dem ich zwischen den Phasen iteriere, was dem Charakter der KI entspricht: Die Ergebnisqualität meines Modells bzw. meines Gesamtsystems ist extrem schwer vorherzusagen und hängt stark von den „Daten“ ab. Mit anderen Worten – und trotz allen Verprobens: ich weiß erst, was ich bekomme, wenn ich es gemacht habe. Und ich muss dies laufend dokumentieren, auch um Fehler nicht zwei Mal zu machen.
B. Anforderungen einer ISO-Norm an ein KI-Managementsystem
Eine ISO-konforme Struktur für KI im Unternehmen gewinnt zunehmend an Bedeutung. Mit der ISO/IEC 42001:2023 liegt ein Standard vor, zum KI-Management, die Aspekte wie Ethik, Compliance, Risikomanagement, Datensicherheit und Transparenz noch stärker betonen. Wichtig zu erwähnen sind dabei insbesondere folgende Aspekte:
1. Risikomanagement
- Identifizierung und Bewertung spezifischer KI-Risiken, z.B. Verzerrungen (Bias), Datenschutzverletzungen oder fehlerhafte Prognosen
- Einführung geeigneter Kontrollmechanismen (z.B. regelmäßige Audits)
2. Compliance und Ethik
- Einhaltung gesetzlicher Anforderungen und ethischer Leitlinien (z.B. DSGVO, branchenspezifische Regularien)
- Sicherstellung von Fairness, Nachvollziehbarkeit und Diskriminierungsfreiheit in KI-Systemen
3. Governance und Organisation
- Klare Rollen und Verantwortlichkeiten bei der Entwicklung, dem Betrieb und der Überwachung von KI-Anwendungen
- Benennung eines KI-Verantwortlichen oder -Komitees, das die Einhaltung der Richtlinien steuert
4. Dokumentation und Transparenz
- Lückenlose Aufzeichnung aller relevanten Projektinformationen, Entscheidungen und Tests
- Offenlegung der KI-Funktionsweise gegenüber Stakeholdern (Erklärbarkeit, Audit Trails)
5. Qualitätsmanagement
- Definition von Qualitätszielen (z.B. Modellgenauigkeit, Performance)
- Kontinuierliche Prozessoptimierung und Weiterentwicklung der eingesetzten Methoden und Tools
Hierbei handelt es sich um eine grobe Übersicht. Für weitergehende Details empfehlen wir die Lektüre der Norm selbst, allerdings nicht kostenfrei: https://www.iso.org/standard/81230.html
C. Unterschiede zwischen CRISP-DM-orientierter Projektstruktur und ISO-Anforderungen
Obwohl sich CRISP-DM und ein ISO-konformes KI-Managementsystem schon ähneln, zeigen sich bei genauerem Hinsehen klare Unterschiede in Fokus und Tiefe:
1. Technischer Fokus vs. Ganzheitlicher Ansatz
- CRISP-DM ist primär ein methodischer Leitfaden für den Datenanalyseprozess. Es legt den Schwerpunkt auf die iterative Entwicklung von Modellen und ist relativ schlank hinsichtlich Dokumentation oder Risikomanagement.
- ISO-Anforderungen hingegen betrachten KI als gesamtunternehmerische Aufgabe. Sie verlangen eine umfassende Governance-Struktur, die technische, organisatorische und ethische Aspekte miteinander verbindet.
2. Risikomanagement und Ethik
- In CRISP-DM gibt es keine explizite Phase, die sich intensiv mit Risikomanagement oder ethischen Fragestellungen befasst. Zwar werden Vorhaben in der Phase „Evaluation“ bewertet, doch ist dies weniger umfangreich.
- Ein ISO-konformes KI-Managementsystem legt großen Wert auf Bias-Analysen, Datenschutz und Compliance. Es fordert einen systematischen Umgang mit sämtlichen Risiken, die sich aus dem Einsatz von KI ergeben können.
3. Verbindlichkeit und Zertifizierbarkeit
- CRISP-DM ist ein Best-Practice-Framework, es existiert keine formale Zertifizierung. Unternehmen können es flexibel anpassen.
- Eine ISO-Norm hingegen ist zertifizierbar. Die Einhaltung bestimmter Prozesse und Richtlinien wird dabei durch Audits geprüft. Das verleiht den ISO-Anforderungen eine höhere Verbindlichkeit und schafft Vertrauen bei Kunden und Geschäftspartnern.
4. Dokumentationsanforderungen
- Während CRISP-DM zwar die Notwendigkeit der Dokumentation vorsieht, sind die Anforderungen nicht so detailliert geregelt.
- ISO-Vorgaben schreiben eine umfassende Dokumentation aller Phasen und Entscheidungen vor, was ein höheres Maß an Transparenz schafft, aber auch administrativen Aufwand bedeutet.
D. Kombination beider Ansätze für ganzheitliches KI-Projektmanagement
In der Praxis zeigt sich, dass weder eine rein CRISP-DM-basierte Projektstruktur noch ein rein ISO-orientiertes Managementsystem alle Anforderungen an ein modernes KI-Projekt perfekt abdecken. Eine Kombination beider Ansätze ist daher oft der Schlüssel zum Erfolg:
1. Methodische Basis von CRISP-DM
- Nutzt die Phasenstruktur (Business Understanding, Data Understanding, Data Preparation, Modeling, Evaluation, Deployment), um Projekte iterativ und anwenderzentriert zu steuern.
- Profitiert von der klaren Orientierung an Data Science-Prozessen, was für Teams, die KI-Systeme entwickeln, sehr eingängig ist.
2. Ergänzung durch ISO-Konformität
- Integriert die Risikobetrachtung (Bias, Datenschutz, Compliance) in alle Phasen des CRISP-DM-Prozesses.
- Etabliert Verantwortungs- und Governance-Strukturen, um sicherzustellen, dass ethische und regulatorische Anforderungen erfüllt werden.
- Fördert die lückenlose Dokumentation und ermöglicht damit eine ISO-Zertifizierung, sofern gewünscht oder erforderlich.
3. Organisatorische Verankerung
- Legt fest, dass Fachabteilungen, Data Scientists, Compliance-Verantwortliche und IT-Security-Experten von Anfang an in das Projekt eingebunden sind.
- Bildet in größeren Unternehmen ggf. ein KI-Steuerungskomitee, das die Einhaltung der ISO-Richtlinien überwacht und bei Entscheidungen berät.
Diese Verbindung schafft den notwendigen methodischen Unterbau für eine erfolgreiche KI-Entwicklung (CRISP-DM) und gleichzeitig die formale und ethische Absicherung, die angesichts zunehmender Regulierungsinitiativen und steigender Anforderungen an Transparenz und Verantwortlichkeit unerlässlich ist.
Fazit
Die KI-Projektstruktur des AI Transformation Instituts folgt in großen Teilen dem bewährten CRISP-DM-Prozess und hat sich damit in der Praxis als effizient und benutzerfreundlich erwiesen. Gleichzeitig kommen Unternehmen und Organisationen, die KI einsetzen, kaum mehr an regulatorischen Vorgaben und steigenden Anforderungen an Ethik, Risikomanagement und Compliance vorbei. Ein ISO-konformes KI-Managementsystem bietet hier einen wirksamen Ordnungsrahmen und stärkt das Vertrauen von Kunden, Partnern und der Öffentlichkeit.
Die Unterschiede zwischen einer CRISP-DM-orientierten Projektstruktur und ISO-Anforderungen liegen vor allem in der Verbindlichkeit, dem organisatorischen Umfang und dem Fokus auf Risikomanagement und Ethik. Der kombinierte Ansatz ist daher oft die beste Wahl: Er verbindet die Agilität und Praxisnähe von CRISP-DM mit der Sicherheit und Verlässlichkeit einer ISO-Zertifizierung. So entsteht ein umfassendes KI-Projektmanagement, das sowohl die technische Exzellenz als auch die Verantwortung gegenüber Gesellschaft, Gesetzgebung und Geschäftspartnern berücksichtigt.