Kurz gesagt
KI-Sicherheit umfasst alle Maßnahmen, die KI-Systeme vor Angriffen wie Prompt Injection und Datenabfluss schützen und Fehlhandlungen von KI-Agenten verhindern. Das BSI empfiehlt, KI-Komponenten wie andere sicherheitskritische IT-Systeme zu behandeln: Rechte begrenzen, kritische Aktionen bestätigen lassen, Eingaben prüfen, protokollieren und Beschäftigte mit verbindlichen Regeln schulen.
Was ist KI-Sicherheit?
KI-Sicherheit (englisch AI Security) bezeichnet den Schutz von KI-Systemen und der Daten, die sie verarbeiten, vor Angriffen, Missbrauch und Fehlfunktionen. Im Unternehmen geht es dabei um Chatbots, Assistenten in Office-Programmen, Coding-Agenten und KI-Agenten, die selbst E-Mails schreiben, Dateien ändern oder Bestellungen auslösen.
Das BSI unterscheidet in seiner IT-Sicherheitsinformation vom Juni 2026 zwei Seiten: Angreifer nutzen KI, um schneller Schwachstellen zu finden und überzeugendere Phishing-Mails zu schreiben. Gleichzeitig erweitern KI-Systeme selbst die Angriffsfläche, weil Sprachmodelle neue Klassen von Schwachstellen wie Prompt Injections mitbringen.
Eine dritte Seite betrifft die ganz normale Nutzung. Das BSI nennt in seinem Papier zu generativen KI-Modellen Risiken, die ohne jeden Angreifer entstehen, etwa fehlerhafte Ausgaben, unsicherer generierter Code und zu großes Vertrauen in die Ergebnisse (Automation Bias).
Je selbstständiger ein KI-Agent handelt, desto größer der mögliche Schaden. Das BSI beschreibt KI-Agenten als Systeme, die eigenständig Aktionen ausführen, statt nur Antworten zu geben.
Welche Bedrohungen gibt es für Unternehmen?
Die OWASP-Liste der zehn größten Risiken für LLM-Anwendungen (Version 2025) führt Prompt Injection auf Platz eins. Dahinter folgen unter anderem die Preisgabe sensibler Informationen, Lieferkettenrisiken und übermäßige Handlungsfreiheit (Excessive Agency). Die Tabelle ordnet die wichtigsten Bedrohungen für den Unternehmensalltag ein.
| Bedrohung | Was passiert | Beleg |
|---|---|---|
| Prompt Injection | Eingaben bringen das Modell dazu, Vorgaben zu ignorieren oder Konfigurationen zu ändern. | BSI, OWASP LLM01 |
| Indirekte Prompt Injection | Versteckte Anweisungen in Webseiten, Dokumenten oder E-Mails steuern den Agenten, etwa als weißer Text auf weißem Grund. | BSI R28, BSI KI-Agenten |
| Datenabfluss | Eingaben landen beim Anbieter oder ein manipulierter Agent gibt Daten an Dritte weiter. | BSI R2, OWASP LLM02 |
| Übermäßige Handlungsfreiheit | Ein Agent versendet ungewollt Mails, schließt Verträge oder löst Überweisungen aus. | BSI KI-Agenten, OWASP LLM06 |
| Lieferkette und Poisoning | Manipulierte Modelle, Plugins oder Trainingsdaten enthalten Hintertüren. | BSI IT-Sicherheitsinformation, OWASP LLM03/LLM04 |
| Unsicherer generierter Code | Code aus dem Sprachmodell enthält Sicherheitslücken oder veraltete Bibliotheken. | BSI R6 |
| Halluzinationen | Das Modell erfindet Inhalte und Quellen, die glaubhaft wirken. | BSI R4, OWASP LLM09 |
| KI-gestützte Angriffe von außen | Personalisiertes Phishing, Deepfake-Anrufe und schneller entwickelte Exploits. | BSI IT-Sicherheitsinformation |
Warum KI-Agenten ein besonderes Risiko sind
Ein Chatbot, der nur Text ausgibt, richtet wenig direkten Schaden an. Ein Agent mit Zugriff auf Postfach, Dateien und Internet dagegen kann eine versteckte Anweisung sofort in eine Handlung übersetzen. Das BSI warnt ausdrücklich vor der Kombination aus drei Fähigkeiten, die als Lethal Trifecta bekannt ist.
Gefährlich wird es laut BSI, wenn ein Agent zugleich vertrauliche Daten einsehen kann, fremde Inhalte verarbeitet und mit externen Systemen kommunizieren kann. Dann reicht eine präparierte E-Mail, damit der Agent interne Daten an einen Angreifer schickt. Wie sich das bei Werkzeug-Anbindungen über das Model Context Protocol auswirkt, zeigt die Seite zur Sicherheit von MCP-Servern.
Auch Coding-Agenten sind betroffen. In seinen AISI-News vom September 2026 berichtet das BSI über Schwachstellen in Claude Code, OpenAI Codex, Gemini CLI und GitHub Copilot, bei denen manipulierte Plugins aus Marktplätzen Code auf dem Rechner ausführen konnten. Die dort zitierte Empfehlung: Agenten in Sandboxes betreiben, Netzwerkzugriff einschränken, Verhalten überwachen und Zugangsdaten außer Reichweite halten.
Wie ist die Lage laut BSI?
Das BSI hat am 22. Juni 2026 eine IT-Sicherheitsinformation zu den Auswirkungen von KI auf die Cybersicherheit von Organisationen veröffentlicht und sie mit Kritikalität 2 (Gelb) eingestuft: Maßnahmen müssen zeitnah ergriffen werden. Kernaussage ist, dass KI Aufwand, Zeitbedarf und Einstiegshürden für Angriffe senkt.
Für Unternehmen leitet das BSI daraus konkrete Anforderungen ab. Patches für exponierte Systeme sollen innerhalb weniger Stunden, besser Minuten eingespielt werden. Organisationen sollen nach dem Grundsatz Assume Breach arbeiten, also davon ausgehen, dass Systeme angegriffen und womöglich schon kompromittiert sind. KI-Komponenten sind laut BSI mit Isolation, Validierungsschichten und Berechtigungskonzepten abzusichern.
Wie weit Unternehmen sind, zeigt die KI-Sicherheitsstudie 2026 von BSI und TÜV-Verband mit mehr als 500 befragten Unternehmen ab 20 Beschäftigten. 17 Prozent berichten von einem Vorfall in den letzten zwölf Monaten, bei dem KI eine Rolle spielte oder gespielt haben könnte. Nur 11 Prozent haben spezifische Prozesse für KI-bezogene Sicherheitsvorfälle, 25 Prozent haben dafür gar keine Regeln.
Bei der internen KI-Nutzung bieten 56 Prozent Schulungen an, 45 Prozent haben formale Freigabeprozesse und 40 Prozent protokollieren oder überwachen die KI-Nutzung. 29 Prozent haben keine der abgefragten organisatorischen Maßnahmen umgesetzt.
Was empfiehlt das BSI für den Einsatz von KI?
Die folgenden Schritte fassen die Gegenmaßnahmen aus dem BSI-Papier zu generativen KI-Modellen (Version 2.0, Januar 2025) und aus der IT-Sicherheitsinformation vom Juni 2026 zusammen. Die Nummern M1 bis M20 verweisen auf das BSI-Papier.
Risikoanalyse vor dem Einsatz
Vor der Integration in Arbeitsabläufe eine eigene Risikoanalyse durchführen und bestehende Sicherheitsmaßnahmen darauf anpassen.
Modell und Anbieter nach Kriterien auswählen
Funktionen, Trainingsdaten, Lieferkette, Evaluation und Versionierung prüfen (M1).
Rechte auf das Minimum beschränken
Zugriffs- und Ausführungsrechte LLM-basierter Anwendungen begrenzen und klare Vertrauensgrenzen zu externen Ressourcen ziehen (M17).
Kritische Aktionen bestätigen lassen
Aktionen wie den Aufruf externer Anwendungen von einer ausdrücklichen Zustimmung abhängig machen und anzeigen, welcher Text sie ausgelöst hat (M17).
Protokollieren und überwachen
Interne Aufrufe, Plugin-Nutzung und Informationsflüsse nachvollziehbar loggen und automatisiert auf unerwünschtes Verhalten prüfen (M19).
Ausgaben prüfen
Ergebnisse mit Außenwirkung und Code, der an eine Shell oder einen Browser geht, vor der Weiterverwendung kontrollieren (M20).
Beschäftigte verbindlich regeln und schulen
Zugelassene Dienste, erlaubte Eingaben und Weiterverwendung in Richtlinien festhalten und technisch durch Sperren oder Freischalten von Diensten stützen (M16).
Angriffsfläche kennen
Ein Inventar aller Anwendungen führen, Erreichbarkeit aus dem Internet minimieren und Netze segmentieren (IT-Sicherheitsinformation 2026).
Gegenmaßnahmen: die vier Regeln für KI-Agenten
Aus den Empfehlungen von BSI und OWASP lassen sich vier Regeln ableiten, die für jeden KI-Agenten gelten. Sie begrenzen den Schaden, wenn ein Angriff trotz aller Vorsicht gelingt.
- Rechte begrenzen: Der Agent erhält nur die Zugriffe, die er für genau diese Aufgabe braucht, kein gemeinsamer Zugang zu Postfach, Konto und Dateien.
- Freigaben einbauen: Mails, Zahlungen und Löschungen laufen erst nach Bestätigung durch einen Menschen, siehe Human in the Loop.
- Eingaben trennen: Inhalte aus Webseiten, Mails und Dokumenten gelten als Daten, nie als Anweisung, und laufen getrennt von Systemvorgaben.
- Protokollieren: Jede Aktion des Agenten wird extern gespeichert, damit Auffälligkeiten früh auffallen und Vorfälle aufklärbar bleiben.
KI-Governance: Richtlinie, Inventar und Freigabeprozess
Ohne klare Regeln nutzen Beschäftigte KI-Werkzeuge auf eigene Faust. Die Datenschutzkonferenz (DSK) geht in ihrer Orientierungshilfe davon aus, dass dies in vielen Unternehmen und Behörden bereits Realität ist. Wie Sie diese Schatten-KI erkennen und in geregelte Bahnen lenken, beschreibt eine eigene Seite.
Die DSK empfiehlt, schriftlich festzulegen, ob, unter welchen Voraussetzungen und zu welchen Zwecken welche KI-Anwendungen eingesetzt werden dürfen, möglichst mit Beispielen erlaubter und verbotener Szenarien. Für die Arbeit sollen Arbeitgeber eigene Geräte und betriebliche Accounts stellen, damit keine Profile einzelner Beschäftigter bei Anbietern entstehen.
Zur Governance gehört außerdem ein Inventar aller eingesetzten KI-Anwendungen und Agenten mit Zweck, Datenarten, Rechten und verantwortlicher Person. Neue Werkzeuge durchlaufen einen Freigabeprozess, in dem IT-Sicherheit und Datenschutz die Anbindung prüfen. Die Regeln überprüfen Sie regelmäßig, weil sich Modelle, Funktionen und Bedingungen der Anbieter laufend ändern.
KI-Verordnung: Was verlangt Artikel 4 zur KI-Kompetenz?
Artikel 4 der KI-Verordnung (EU) 2024/1689 gilt seit dem 2. Februar 2025 und richtet sich an Anbieter und Betreiber von KI-Systemen. Betreiber ist nach Artikel 3 Nummer 4, wer ein KI-System in eigener Verantwortung verwendet, außer im rein persönlichen, nicht beruflichen Rahmen. Ein Unternehmen, das KI-Werkzeuge für die Arbeit einsetzt, ist damit in der Regel Betreiber.
Mit der Verordnung (EU) 2026/1744 (Digital-Omnibus zur KI) wurde Artikel 4 neu gefasst. Seit dem 27. Juli 2026 lautet die Pflicht: Anbieter und Betreiber ergreifen Maßnahmen, um die Entwicklung der KI-Kompetenz ihres Personals und anderer Personen zu unterstützen, die in ihrem Auftrag mit KI-Systemen arbeiten. Dabei sind Kenntnisse, Erfahrung, Aus- und Fortbildung sowie der Einsatzkontext zu berücksichtigen.
Neu ist der ausdrückliche Satz, dass die Pflicht nicht dazu verpflichtet, für irgendeine Person ein bestimmtes Niveau an KI-Kompetenz zu garantieren. Vorher verlangte der Wortlaut Maßnahmen, um nach besten Kräften ein ausreichendes Maß an KI-Kompetenz sicherzustellen. Die Pflicht zu Maßnahmen bleibt also bestehen.
Praktisch bedeutet das: Dokumentieren Sie, welche Rollen welche KI-Systeme nutzen, und schulen Sie passend zum Risiko. Wer einen Agenten mit Zugriff auf Kundendaten konfiguriert, braucht mehr Wissen über Prompt Injection und Rechtevergabe als jemand, der Texte zusammenfassen lässt. Die Angaben hier sind eine sachliche Einordnung, keine Rechtsberatung.
| Regelung | Gilt ab | Was sie betrifft |
|---|---|---|
| Kapitel I und II (u. a. Art. 4, Art. 5) | 2. Februar 2025 | KI-Kompetenz und verbotene Praktiken |
| Neufassung Art. 4 durch VO (EU) 2026/1744 | 27. Juli 2026 | Pflicht zur Förderung der KI-Kompetenz ohne Niveaugarantie |
| Allgemeiner Geltungsbeginn (u. a. Art. 50) | 2. August 2026 | Transparenzpflichten, z. B. Offenlegung von Deepfakes durch Betreiber |
| Hochrisiko-KI nach Anhang III | 2. Dezember 2027 | Pflichten aus Kapitel III, darunter Art. 26 für Betreiber |
| Hochrisiko-KI nach Anhang I | 2. August 2028 | KI in Produkten, die EU-Produktrecht unterliegen, etwa Medizinprodukte |
Rollen: Wer ist im Unternehmen zuständig?
Jede Maßnahme braucht eine Person, die für sie zuständig ist. Das BSI betont, dass IT-Sicherheit von der Leitungsebene getragen werden muss, mit Budget und einer verantwortlichen Stelle. Die DSK empfiehlt, Datenschutzbeauftragte stets einzubinden und die Beteiligung von Betriebs- oder Personalrat zu prüfen.
| Rolle | Aufgabe bei KI-Sicherheit |
|---|---|
| Geschäftsführung | Gibt die KI-Richtlinie frei, stellt Budget und benennt Verantwortliche. |
| Informationssicherheit und IT | Prüft Werkzeuge, vergibt Rechte, betreibt Protokollierung und Patchmanagement. |
| Datenschutzbeauftragte | Berät zu Rechtsgrundlage, Auftragsverarbeitung und Datenschutz-Folgenabschätzung. |
| Betriebs- oder Personalrat | Wirkt bei Regelungen mit, die Verhalten oder Leistung der Beschäftigten betreffen können. |
| Fachverantwortliche je Agent | Legt Zweck, Daten und Freigabeschritte fest und prüft die Protokolle. |
| Beschäftigte | Nutzen nur freigegebene Werkzeuge, geben keine vertraulichen Daten ein und prüfen Ergebnisse. |
Checkliste: KI-Sicherheit im Unternehmen
Mit diesen Punkten prüfen Sie, wo Ihr Unternehmen steht. Die datenschutzrechtliche Seite, etwa Rechtsgrundlage und Auftragsverarbeitung, behandelt die Seite zu KI und Datenschutz.
- Inventar aller KI-Werkzeuge und Agenten mit Zweck, Daten, Rechten und Verantwortlichen
- Schriftliche KI-Richtlinie mit erlaubten und verbotenen Einsatzszenarien
- Betriebliche Accounts statt privater Zugänge, Trainingsnutzung und Verlauf bewusst eingestellt
- Agenten mit minimalen Rechten, getrennten Zugangsdaten und Sandbox
- Bestätigungspflicht für Mails, Zahlungen, Löschungen und Änderungen an Code
- Protokolle extern gespeichert und regelmäßig ausgewertet
- Prüfschritt für Ausgaben mit Außenwirkung, gegen KI-Halluzinationen
- Schulungen passend zur Rolle, dokumentiert für Artikel 4 KI-Verordnung
- Meldeweg und Notfallplan für KI-bezogene Sicherheitsvorfälle
Häufige Fragen
Was bedeutet AI Security?
AI Security ist der englische Begriff für KI-Sicherheit. Gemeint ist der Schutz von KI-Systemen, ihren Daten und den angebundenen Systemen vor Angriffen wie Prompt Injection, Datenabfluss oder manipulierten Modellen.
Dazu gehört auch, Schäden durch fehlerhafte Ausgaben oder ungewollte Aktionen von KI-Agenten zu begrenzen.
Müssen Unternehmen ihre Mitarbeiter in KI schulen?
Artikel 4 der KI-Verordnung verpflichtet Betreiber von KI-Systemen, Maßnahmen zur Entwicklung der KI-Kompetenz ihres Personals zu ergreifen. Seit der Neufassung vom 27. Juli 2026 muss kein bestimmtes Kompetenzniveau garantiert werden.
Eine Schulung ist das naheliegende Mittel. Form und Umfang richten sich nach Rolle, Vorwissen und Einsatzkontext.
Gibt es Bußgelder bei fehlender KI-Kompetenz?
Artikel 99 Absatz 4 der KI-Verordnung nennt Artikel 4 nicht unter den Pflichten mit eigenem Bußgeldrahmen. Sanktionen für sonstige Verstöße legen die Mitgliedstaaten nach Artikel 99 Absatz 1 fest.
Ob und wie Verstöße geahndet werden, hängt deshalb vom nationalen Recht ab. Für eine verbindliche Einschätzung wenden Sie sich an eine Rechtsberatung.
Welche KI-Anwendungen sind verboten?
Artikel 5 der KI-Verordnung verbietet seit dem 2. Februar 2025 bestimmte Praktiken, zum Beispiel manipulative Techniken, die Menschen erheblich schaden, und Social Scoring.
Mit der Verordnung (EU) 2026/1744 kommen ab dem 2. Dezember 2026 Verbote für KI-Systeme hinzu, die ohne Zustimmung intime Darstellungen bestimmbarer Personen erzeugen.
Was ist die Lethal Trifecta bei KI-Agenten?
So nennt man die Kombination aus Zugriff auf vertrauliche Daten, Verarbeitung fremder Inhalte und der Möglichkeit, nach außen zu kommunizieren. Das BSI warnt, dass ein Agent mit allen drei Fähigkeiten durch versteckte Anweisungen zum Datenabfluss gebracht werden kann.
Die wirksamste Gegenmaßnahme ist, mindestens eine der drei Fähigkeiten wegzunehmen oder hinter eine Freigabe zu legen.
Reicht es, ChatGPT im Unternehmen zu verbieten?
Ein Verbot allein verschiebt die Nutzung oft auf private Geräte und Accounts. Das BSI empfiehlt, verbindliche Regeln mit technischen Maßnahmen zu verbinden, etwa dem Sperren oder Freischalten bestimmter Dienste.
Besser wirkt ein freigegebenes Werkzeug mit betrieblichen Accounts und klaren Vorgaben, welche Daten eingegeben werden dürfen.
Womit fange ich bei KI-Sicherheit an?
Beginnen Sie mit einem Inventar: Welche KI-Werkzeuge und Agenten laufen bereits, mit welchen Daten und Rechten? Darauf baut die Risikoanalyse auf, die das BSI vor jeder Integration empfiehlt.
Im nächsten Schritt folgen Richtlinie, Rechtebegrenzung und Freigaben für kritische Aktionen.
Quellen
- Auswirkungen auf die Cybersicherheit von Organisationen durch die Entwicklung im Bereich Künstlicher Intelligenz (BITS-B 2026-262788-1032, Version 1.0, 22.06.2026), BSI
- Generative KI-Modelle: Chancen und Risiken für Industrie und Behörden (Version 2.0), BSI
- KI-Agenten, BSI
- AISI Deutschland: Aktuelle KI-Sicherheitsthemen 09/2026, BSI
- Nur jedes zehnte Unternehmen gegen KI-gestützte Angriffe gerüstet (KI-Sicherheitsstudie 2026), BSI und TÜV-Verband
- OWASP Top 10 for LLM Applications 2025, OWASP Foundation
- Verordnung (EU) 2024/1689 (KI-Verordnung), EUR-Lex
- Verordnung (EU) 2026/1744 (Digital-Omnibus zur KI), EUR-Lex
- Orientierungshilfe Künstliche Intelligenz und Datenschutz (Version 1.0, 6. Mai 2024), Datenschutzkonferenz (DSK)