BSI und KI: die Veröffentlichungen im Überblick

Was veröffentlicht das BSI zu KI?

Das BSI bündelt seine Papiere zu KI auf einer Themenseite für Unternehmen und Organisationen. Dort stehen Grundlagenstudien, Prüfkriterien, Whitepaper und praktische Leitfäden nebeneinander, die meisten auf Deutsch, einige nur auf Englisch. Mehrere Dokumente stammen vom Referat T 25 „Sicherheit in der Künstlichen Intelligenz“.

Dazu kommt der Aufbau des AISI Deutschland (AI Safety and Security Institute). BSI und Bundesnetzagentur bilden laut BSI in einer ersten Phase einen virtuellen Kern. Das Institut soll KI-Modelle technisch bewerten und die Bundesregierung beraten, ausdrücklich ohne Rolle als Regulierer oder Marktaufsicht. Monatlich erscheinen dazu die AISI-News mit aktuellen KI-Sicherheitsthemen.

Für Unternehmen, die KI-Werkzeuge nur nutzen, sind nicht alle Papiere gleich wichtig. Viele richten sich an Entwickler oder an die Bundesverwaltung. Die folgenden Tabellen ordnen deshalb jede Veröffentlichung einer Zielgruppe zu. Wie die BSI-Empfehlungen in ein Gesamtkonzept passen, zeigt die Seite zur KI-Sicherheit im Unternehmen.

BSI-Veröffentlichungen zu Sprachmodellen und KI-Agenten

Diese Papiere betreffen direkt den Einsatz von Sprachmodellen, Chat-Assistenten und Agenten im Unternehmen. Die Daten stammen aus den Dokumenten selbst oder von der jeweiligen BSI-Seite, Stand November 2026.

Weitere BSI-Papiere: Grundlagen, Prüfkriterien und Daten

Diese Veröffentlichungen helfen bei Beschaffung, Prüfung und eigener Modellentwicklung. Für den reinen Einsatz von KI-Agenten sind sie seltener nötig.

Was sagt das BSI zu KI-Agenten?

Auf seiner Verbraucherseite zu KI-Agenten warnt das BSI vor einer Kombination, die es „tödliche Dreifaltigkeit“ nennt: Ein Agent kann vertrauliche Daten einsehen, verarbeitet fremde Inhalte etwa aus Mails oder dem Internet und kann mit externen Systemen kommunizieren. Dazu empfiehlt es, Rechte auf die Aufgabe zu begrenzen, wichtige Aktionen bestätigen zu lassen und Aktivitätsprotokolle regelmäßig zu prüfen. Wie KI-Agenten aufgebaut sind und wo sie eingesetzt werden, erklärt eine eigene Seite.

Die IT-Sicherheitsinformation vom Juni 2026 nennt agentische Systeme ausdrücklich: Kritisch werden Prompt Injections dort, wo Sprachmodelle mit Werkzeugen, Schnittstellen oder automatisierten Abläufen gekoppelt sind und ihre Ausgaben direkt Aktionen auslösen. Für die sichere Einführung agentischer KI verweist das BSI auf einen Leitfaden des Australian Cyber Security Centre.

Die AISI-News 09/2026 berichten über Lücken in Coding-Agenten, bei denen manipulierte Plugins aus Marktplätzen oder Einstellungen in einem Git-Repository Code ausführen konnten. Wer Programmierassistenten mit Werkzeuganbindung nutzt, findet die Absicherung auf der Seite zu Claude Code und MCP.

Basisschutz gegen Indirect Prompt Injection: die fünf Maßnahmen

Das jüngste Papier ist für alle Unternehmen interessant, die Mitarbeitern einen Chat mit Dokumenten-Upload anbieten. Das BSI hat dafür mehrere dokumentbasierte LLM-Chats im Red Teaming untersucht. Die wiederkehrende Schwäche: Dokumentinhalte gehen ungefiltert in den Prompt und sind nicht klar vom Auftrag des Nutzers getrennt. Wie der Angriff abläuft, erklärt die Seite zur indirekten Prompt Injection.

• Eingabe-Bereinigung: unsichtbare Unicode-Zeichen, Steuerzeichen und gefälschte Rollen-Marker vor der Übergabe entfernen.
• Vertrauensbereich-Trennung: fremde Inhalte in markierte Blöcke mit Zufalls-ID und niedriger Vertrauensstufe packen.
• Gehärteter System-Prompt: feste Struktur mit Prioritäten, die Überschreiben und Auslesen erschwert.
• Modellauswahl und Reasoning: ein robustes Modell nach Benchmarks wählen und einen Denkschritt vorschalten.
• Egress-Filter: die fertige Antwort auf Datenabfluss, Systemprompt-Teile und Exfiltrations-Links prüfen.

Das BSI betont, dass die Maßnahmen weder ein anwendungsspezifisches Red Teaming noch eine eigene Sicherheitsbewertung ersetzen und nur gegen Indirect Prompt Injections wirken.

Was Unternehmen aus den BSI-Papieren umsetzen

Aus den Leitfäden lassen sich Schritte ableiten, die auch kleinere Unternehmen ohne eigene Entwicklungsabteilung umsetzen können. Die Klammern nennen die Quelle. Eine strukturierte Bewertung der Risiken je Anwendung beschreibt die Seite zu KI-Risiken.

1. Risikoanalyse vor dem Einsatz

   Vor der Einführung jedes KI-Werkzeugs eine eigene Risikoanalyse durchführen, inklusive Prüfung der Anbieter (Generative KI-Modelle, AI Coding Assistants).

2. Inventar führen

   Alle Systeme und Anwendungen kennen, um bei neuen Schwachstellen sofort die eigene Betroffenheit zu prüfen (IT-Sicherheitsinformation 2026).

3. Rechte begrenzen

   KI-Komponenten wie sicherheitskritische IT behandeln: Isolation, Validierungsschichten, Berechtigungskonzepte (IT-Sicherheitsinformation 2026).

4. Freigaben einbauen

   Wichtige Aktionen eines Agenten vorher von einem Menschen bestätigen lassen, siehe Human in the Loop (Seite KI-Agenten).

5. Eingaben trennen

   Fremde Inhalte bereinigen und als nicht vertrauenswürdig markieren, Antworten auf Datenabfluss prüfen (Basisschutz 2026).

6. Protokollieren

   Aktivitäten der Agenten aufzeichnen und regelmäßig auswerten, Vorfälle nach dem Grundsatz Assume Breach erwarten (Seite KI-Agenten, IT-Sicherheitsinformation 2026).

7. Ergebnisse prüfen

   Generierten Code und Inhalte mit Außenwirkung vor der Weiterverwendung kontrollieren (AI Coding Assistants, Generative KI-Modelle).

Grenzen der BSI-Empfehlungen

Das BSI verspricht keine vollständige Sicherheit. In der Checkliste zu Evasion-Attacks heißt es, dass derzeit keine absolut sichere Lösung existiert und auch mehrere Schutzschichten Restrisiken lassen. Für den Basisschutz übernimmt das BSI keine Gewähr für Vollständigkeit und Wirksamkeit im Einzelfall.

Die meisten Papiere sind Empfehlungen ohne Rechtspflicht. Der Kriterienkatalog richtet sich an die Bundesverwaltung, AIC4 wird freiwillig angewendet. Rechtliche Pflichten für Unternehmen ergeben sich aus DSGVO und KI-Verordnung (EU) 2024/1689, die BSI-Papiere zeigen, wie sich die Technik dahinter absichern lässt.

Häufige Fragen