KI-Datenabfluss beginnt selten mit einem einzelnen, offensichtlich verdächtigen Ereignis. KI-Interaktionen erstrecken sich meist über mehrere Systeme: Ein Modell erhält beispielsweise Informationen aus einer Anwendung, ruft ein Tool auf und sendet Kontext an einen externen Dienst.
In Teil 1 dieser Seriehaben wir die grundlegende Sichtbarkeitslücke beleuchtet, unter anderem, wie bereits der alltägliche Einsatz von KI Geschäftsinformationen preisgeben kann. Dieser zweite Artikel geht vom Problem zur Untersuchung über und konzentriert sich auf vier praxisnahe Anwendungsfälle für Sicherheitsteams: von KI-Datenabfluss und Shadow AI bis hin zu MCP-Servern und Agenten, die über ihren vorgesehenen Aufgabenbereich hinausgehen.
In allen vier Fällen lautet die zentrale Frage nicht, ob ein einzelnes Ereignis ungewöhnlich wirkt. Entscheidend ist, ob die Daten, Tools, Ziele und daraus folgenden Aktionen zur jeweiligen Anwendung, zum Agenten oder zum genehmigten Workflow passen.
Vier Anwendungsfälle für KI-Sicherheit, die Verhaltenskontext erfordern
1. Potenziellen KI-Datenabfluss erkennen
Um KI-Datenabfluss zu erkennen, müssen Sicherheitsteams Zugangsdaten, sensible Informationen oder Dateien identifizieren, die an KI-Modelle und externe Ressourcen gesendet werden. Aufschlussreiche Hinweise sind etwa die Quellanwendung oder der relevante Kontokontext, das Modell, das Ziel, die betroffene Datei und das ausgehende Datenvolumen.
Nehmen wir einen genehmigten Unternehmensassistenten, der normalerweise kurze Textanfragen innerhalb eines klar definierten Geschäftsprozesses bearbeitet. Bei einer neuen Interaktion werden mehrere Tabellendateien hochgeladen und ein deutlich grösseres Datenvolumen an eine unbekannte externe Domain gesendet.
Eine Erkennungsregel kann sensible Daten oder ein gesperrtes Ziel identifizieren. Die Verhaltensanalyse fügt eine weitere Ebene hinzu: Sie zeigt, dass die Übertragung von den etablierten Mustern der Anwendung oder des Workflows abweicht.
Das Signal beweist nicht, dass jemand absichtlich Informationen preisgeben wollte. Es liefert aber einen Grund für eine Untersuchung, solange Ziel, Datei und Interaktionskontext noch verfügbar sind.
2. Shadow AI aufdecken, bevor pauschale Einschränkungen greifen
Persönliche KI-Konten und neu eingeführte Tools können bereits in geschäftliche Arbeitsabläufe integriert werden, bevor diese Dienste eine Sicherheitsüberprüfung durchlaufen haben. Ein Überblick über Modellanbieter und KI-Anwendungen kann Unternehmen dabei helfen, die tatsächliche Nutzung mit den genehmigten Richtlinien abzugleichen.
Ziel sollte nicht sein, jedes neue Tool standardmässig zu blockieren. Sicherheits- und Governance-Teams brauchen zunächst eine verlässliche Bestandsaufnahme: wo welcher Dienst genutzt wird, ob er genehmigt ist und welche Kategorien von Informationen ihn erreichen. Diese Nachweise ermöglichen verhältnismässige Entscheidungen statt pauschaler Einschränkungen auf Basis von Annahmen.
3. MCP-Server und verbundene Tools verstehen
MCP-Server, APIs und andere verbundene Tools erweitern die Reichweite eines Agenten. Ein Sicherheitsteam sollte nachvollziehen können, welche Dienste kontaktiert werden, welche Workflows sie aufrufen, wie häufig sie aufgerufen werden und welche Daten über sie fliessen.
Ein MCP-Server, der in genehmigten Entwicklungs-Workflows breit eingesetzt wird, ist anders zu bewerten als ein neu beobachteter Server, der kurz vor einer ungewöhnlichen Dateiübertragung kontaktiert wird – was auf KI-Datenabfluss hindeuten könnte. Keiner von beiden ist automatisch sicher oder bösartig. Ob eine Aktivität untersucht werden sollte, entscheidet die Beziehung zwischen Server, Workflow, Daten und nachfolgender Aktion.
Auch Anfragevolumen liefern wertvollen Kontext. Ein plötzlicher Anstieg kann auf eine legitime Einführung, eine geänderte Automatisierung oder einen Agenten hindeuten, der ein Tool wiederholt in einer unbeabsichtigten Schleife aufruft. Die Zahl allein ist noch keine Schlussfolgerung. Sie hilft Analysten aber zu entscheiden, wo sie genauer hinschauen sollten.
4. Erkennen, wenn ein Agent seinen vorgesehenen Aufgabenbereich überschreitet
Die Berechtigungen eines Agenten beschreiben, was er tun kann. Seine Aktivität zeigt, was er tatsächlich tut.
Nehmen wir einen Agenten für den IT-Betrieb, der normalerweise Überwachungsdaten liest und eine Reaktion vorschlägt. Beginnt er, eine Bereitstellungs-API aufzurufen, auf einen Produktionsordner zuzugreifen oder Diagnosedateien an einen unbekannten Dienst zu übertragen, kann jede dieser Aktionen dennoch gültige Zugangsdaten und eine genehmigte Schnittstelle nutzen. Die Veränderung zeigt sich erst in der Abfolge und im Kontext.
Durch verhaltensbasiertes Lernen lassen sich erwartete Muster über Agenten, Anwendungen, Workflows, Tools, Ordner, externe Ressourcen und MCP-Server hinweg ermitteln. Eine relevante Abweichung kann dann eine Warnmeldung auslösen, selbst wenn kein bekannter bösartiger Befehl vorliegt.
Das ist besonders relevant für KI-Agenten in der Softwareentwicklung und im IT-Betrieb, wo legitime und potenziell schädliche Aktivitäten dieselben administrativen Tools nutzen können.
Warum ein ungewöhnliches Ereignis nicht automatisch ein Vorfall ist
Der Kontext ist entscheidend, weil sich Unternehmensumgebungen verändern. Teams führen neue Tools ein, Anwendungen werden aktualisiert, Workflows werden ausgebaut. Eine bisher unbekannte Domain oder ein neuer Tool-Aufruf kann völlig legitim sein.
Eine wirksame Erkennung sollte Analysten deshalb helfen, drei Fragen zu beantworten:
- Was hat sich verändert?
- Welche Daten, Tools und Ziele waren beteiligt?
- Passt die Aktivität zur Anwendung, zum Agenten oder zum genehmigten Workflow?
Dieser Ansatz verringert die Neigung, jede Abweichung als bösartig einzustufen. Zudem verhindert er, dass Sicherheitstelemetrie zu einer Bewertung der Produktivität oder Leistung von Mitarbeitenden wird. Gegenstand der Analyse sind die sicherheitsrelevanten Interaktionen und Datenflüsse.
Erkennung ergänzt die Zugriffskontrolle
Sichtbarkeit und Erkennung ersetzen keine sichere Architektur. Unternehmen brauchen weiterhin Zugriffe nach dem Least-Privilege-Prinzip, Freigabeschritte für Aktionen mit grosser Tragweite, eine Trennung von Entwicklung und Produktion, sichere Praktiken in der Softwareentwicklung, Backups und getestete Incident-Response-Prozesse.
Der OWASP-Leitfaden zu Excessive Agency empfiehlt, Erweiterungen, Funktionen und Berechtigungen von Agenten auf das Notwendige zu beschränken, für Aktionen mit grosser Tragweite eine menschliche Freigabe zu verlangen und Berechtigungsprüfungen in nachgelagerten Systemen durchzusetzen. Zudem nennt er Logging und Überwachung als Massnahmen, mit denen Unternehmen unerwünschte Aktionen erkennen und darauf reagieren können.
Diese Kontrollen beantworten unterschiedliche Fragen. Präventive Kontrollen legen fest, was möglich sein soll. Erkennung und Untersuchung helfen festzustellen, was tatsächlich geschehen ist und ob die Aktivität im Rahmen ihres vorgesehenen Zwecks geblieben ist.
Beides ist notwendig, wenn Agenten über legitime Identitäten und genehmigte Tools handeln können.
Mit Exeon.AgentGuard von der KI-Aktivität zum Nachweis
Alle vier Anwendungsfälle haben eine gemeinsame Anforderung: Sicherheitsteams müssen isolierte Ereignisse zu einer nachvollziehbaren Interaktionskette verknüpfen.
Exeon.AgentGuard ist darauf ausgelegt, diesen Kontext über KI-Modelle, Agenten, Anwendungen, Tools, MCP-Server, Dateien und externe Ressourcen hinweg bereitzustellen. Je nach verfügbaren Datenquellen kann es Web-Proxy-, KI-Gateway- oder Log-Daten nutzen, um ausgehende Informationen mit dem jeweiligen Modell, Ziel und Workflow zu verknüpfen – und so die Nachweise zu liefern, die für die Untersuchung von potenziellem KI-Datenabfluss nötig sind.
Anpassbare Erkennungsregeln identifizieren bekannte Risikomuster, während die Verhaltensanalyse relevante Veränderungen über Anwendungen, Agenten und KI-Workflows hinweg sichtbar machen kann. Lokale Verarbeitung, Anonymisierung und Deduplizierung helfen, die für Untersuchungen erforderlichen Nachweise aufzubewahren, ohne den Überwachungsdatensatz an einen externen Analysedienst zu senden.
Es geht nicht darum, Einzelpersonen zu bewerten oder jede ungewöhnliche Aktion als Angriff einzustufen. Vielmehr sollen Sicherheitsteams genügend Nachweise erhalten, um zu erkennen, wann KI-Nutzung oder Agentenaktivitäten die erwarteten Grenzen überschritten haben.
Sichtbarkeit sollte mit den Befugnissen wachsen
Unternehmen bewegen sich vom Experimentieren mit KI hin zu Systemen, die Informationen abrufen und auf dieser Grundlage handeln können. Mit diesen wachsenden Befugnissen steigt auch das Risiko von KI-Datenabfluss und Sicherheitsteams brauchen Nachweise über die gesamte Interaktionskette: von der ursprünglichen Anfrage bis zum beteiligten Modell, zur Datei, zum Tool und zum externen Ziel.
Ziel ist nicht, sinnvolle Automatisierung zu verhindern. Vielmehr soll KI-Aktivität so nachvollziehbar werden, dass Teams erwartete Arbeit von Aktivitäten unterscheiden können, die eine Untersuchung erfordern.
Berechtigungen legen fest, was ein Agent tun darf. Der Kontext zeigt, ob er innerhalb dieses Zwecks geblieben ist.
