Lesedauer: 8 Minuten
Chancen nutzen – Risiken erkennen und minimieren
KI und Cybersecurity
Künstliche Intelligenz (KI) bietet viele Chancen – sowohl für Unternehmen als auch für Cyberkriminelle. Doch welche neuen Security-Herausforderungen kommen im Zusammenhang mit KI auf Unternehmen zu und welche KI-basierten Bedrohungen werden die nächste Zeit prägen? Diese und andere Fragen beantwortet der KI-Experte Philipp Jauernig-Biener vom Jenaer Unternehmen dotSource im WIRTSCHAFTSSPIEGEL-Interview.

Foto: Julio – stock.adobe.com (generiert mit KI)
In den vergangenen Monaten hat KI viele Unternehmen im Sturm erobert, aber auch die Cyberbedrohungslage weiter verschärft. Die vielen neuen KI-basierten Tools vergrößern nicht nur die Angriffsfläche, sondern sind auch für Cyberkriminelle wertvolle Helfer bei der Vorbereitung und Durchführung von Attacken. Welche Gefahren bestehen durch neue bösartige KI-Tools?
Dafür müssen wir erst einmal festlegen, was wir unter „bösartig“ verstehen. Wie bei allen anderen Werkzeugen kann künstliche Intelligenz sowohl sinnstiftend als auch schadhaft eingesetzt werden. Mit einem Hammer kann ich ein Baumhaus für mein Kind bauen oder mutwillig eine Vase zerstören, mit Word einen Liebes- aber auch einen Drohbrief schreiben. Und mit einer Bild-KI kann ich eben entweder meine Präsentationen optisch aufwerten, oder Deepfakes erzeugen. Die Frage, die man sich in erster Linie also stellen muss, ist, ob und inwiefern KI zu bösartigen Zwecken eingesetzt werden kann.
Besonders generative KI bietet die Möglichkeit, fehlendes Know-how bis zu einem gewissen Grad auszugleichen oder Einstiege in bestimmte Themen leichter zu machen. Leider trifft das aber auch auf den schadhaften Gebrauch zu. So wird beispielsweise digitales social Engineering – also die Manipulation von Menschen über digitale Kanäle – deutlich leichter, weil sich unseriöse Mailings nicht mehr durch offensichtliche Rechtschreibfehler oder holprige Übersetzungen auszeichnen. Dies senkt die Einstiegsbarrieren für ausgeklügelte Phishing-Kampagnen, die kaum von legitimer Kommunikation zu unterscheiden sind.
Wenn wir hingegen spezifisch von „bösartigen KI-Tools“ sprechen, meinen wir Programme, die explizit für schadhafte Zwecke wie Betrug, Datendiebstahl oder Sabotage konzipiert wurden. Ein Beispiel hierfür ist die Nutzung von KI in Ransomware, die ihre Verschlüsselungsmethoden dynamisch anpasst, um Entdeckung zu vermeiden. Die Gefahr bestand allerdings auch schon vor der weiten Verbreitung von KI. Die besondere Herausforderung liegt jetzt allerdings in der Geschwindigkeit und Anpassungsfähigkeit, mit der solche Tools beziehungsweise Menschen mit solchen Tools agieren können.
Angriff und Verteidigung sind immer ein gegenseitiges Wettrüsten, meist durch den Angreifer initialisiert. Sich dagegen absichern zu wollen, heißt, sich selbst mit dem Thema beschäftigen zu müssen. Es erfordert eine Anpassung der Sicherheitsstrategien, die nicht nur reaktiv, sondern proaktiv und adaptiv sein müssen, um mit der sich ständig weiterentwickelnden Bedrohungslandschaft Schritt zu halten. Bei fehlender Zeit und Expertise können hierbei spezialisierte Firmen unterstützen.

Foto: Sarah – stock.adobe.com (generiert mit KI)
Die KI lebt durch die Trainingsdaten. Welche Gefahren bestehen durch die Manipulation dieser Daten und wie lassen sich mögliche Manipulationen erkennen?
Das Risiko und die Motivation zur Datenmanipulation variieren je nach Einsatzgebiet der KI. Beispielsweise könnten in der medizinischen Diagnostik manipulierte Daten Forschungsergebnisse verfälschen, während in einem Online Shop manipulierte Nutzerinteraktionen die KI-gestützten Empfehlungen verzerren könnten. Man muss allerdings beachten, dass KI-Modelle an sich eine große Menge an Daten benötigen, um zuverlässig zu funktionieren. Der Anteil an verzerrten Daten müsste im Verhältnis dazu signifikant sein, um eine spürbare Auswirkung zu haben. Solch ein „Data Poisoning“ ist zwar grundsätzlich möglich, erfordert aber Kenntnis über die Funktionsweise des konkreten KI-Modells.
Ein realistisches Beispiel für Data Poisoning bietet das Tool „Nightshade“. Mit diesem werden Bilder für menschliche Augen unsichtbar entfremdet. Infolgedessen passen das Bild und die Label nicht mehr zueinander und ein KI-Modell, das mit diesen Bildern trainiert wird, lässt zunehmend deutlich fehlerhafte Bilder entstehen. Dieses Tool ist allerdings zum Schutz von Kunstschaffenden gedacht, deren Bilder ohne Genehmigung zum Training verwendet werden,
und weniger als direkter Angriff. Im Umkehrschluss ergibt sich, dass der beste Schutz vor manipulierten Trainingsdaten in der Sicherung der Datenqualität und der Etablierung von Standards für die Datenakquise liegt.
Geht man aber von vorsätzlichen Manipulationsangriffen aus, wird man nur schwer ohne technische Gegenmaßnahmen auskommen. Im medizinischen Bereich könnten Anomalie- Erkennungssysteme ungewöhnliche Muster in Diagnosedaten aufspüren, die auf manipulierte Trainingsdaten hindeuten. Für Online-Shops, wo KI von Nutzerinteraktionen lernt, könnten Web-Analytics und Captcha- Systeme Bot-Aktivitäten identifizieren, die KI-Empfehlungen verzerren. Wichtig ist dabei, ein Gleichgewicht zu finden, um echte Bedrohungen zu identifizieren, ohne zu viele falsch positive Ergebnisse zu produzieren.
Sobald wir aber in den Bereich der generativen KI voranschreiten, müssen wir beachten, dass nur die wenigsten Unternehmen oder Institutionen ihre KI von Grund auf selbst trainieren. Stattdessen wird auf Foundation-Models zurückgegriffen, die dann mit den eigenen Daten angepasst werden. Ab diesem Punkt kann man allerdings noch immer indirekt die Trainingsdaten beeinflussen, im neutralen Sinne:
Wenn ich beispielsweise für einen Chatbot Regeln festlege, wie mit welchen Anfragen umzugehen ist, dann manipuliere ich das Foundation-Model, um dem ganzen einen Rahmen zu geben. Dahinter kann auch ein guter Grund stehen. ChatGPT beispielsweise ist so instruiert, dass keine Erklärungen für illegale Aktivitäten gegeben werden. Das Modell ist dazu aber im Prinzip in der Lage. Neben den berechtigten Gründen für solch eine Einschränkung ergeben sich daraus auch Probleme. So ist etwa die Entscheidung, was die KI von sich geben darf und was nicht, durchaus kulturell geprägt und kommt von Einzelpersonen. Damit betrifft Manipulation nicht die Trainingsdaten, sondern deren Darstellung. Um den Output von KI reflektiert zu betrachten, muss ich mir als User dessen bewusst sein.
Wie kann man solche Manipulationen verhindern? Kann man das überhaupt?
Genau wie bei den Gefahren durch Manipulation richten sich auch die Methoden, diese zu verhindern, nach den spezifischen Anwendungsfällen. Häufig liegt der erste Schritt in der Erkennung von Unregelmäßigkeiten mit Hilfe technischer Maßnahmen. Für solche technischen Gegenmaßnahmen ist eine zwingende Voraussetzung, dass ein Bewusstsein für die Manipulationsmöglichkeiten vorherrscht.
Die wohl zielführendste Präventionsmaßnahme liegt schon vorher bei der Sicherung der Datenqualität durch die ausschließliche Verwendung von legitimen und verifizierten Datenquellen. Das erfordert streng einzuhaltende Richtlinien für die Datenakquise und -verwendung. Die Einhaltung derer kann innerhalb eines Unternehmens etwa dadurch unterstützt werden, dass die verwendeten Systeme zur Datenspeicherung durch Rollen- und Rechtemanagement nur ausgewählten Personen zur Verfügung stehen.
Bei der Nutzung von KI Tools, die mit natürlicher Sprache instruiert werden, wäre es natürlich von Vorteil, sowohl die Trainingsdatenbasis zu kennen als auch den Systemprompt. Insbesondere proprietäre Modelle sind dahingehend aber wenig transparent. Kritisches Denken ist gefragt: Nicht jeden KI Output darf man für bare Münze nehmen.
In jüngster Zeit war viel von Regulierung im Bereich KI zu lesen. Sowohl die EU als auch die USA sind hier auf dem Weg. Welches Ziel steckt dahinter?
Das Spannende ist, dass der AI Act der EU bereits 2019 angekündigt und ein erster Entwurf in der EU-Kommission 2021 veröffentlicht wurde. Die meisten wurden auf das Gesetzgebungsverfahren aber erst nach dem Livegang von ChatGPT im November 2022 aufmerksam. Spätestens ab diesem Punkt wurde es dringend notwendig, eine Gesetzesgrundlage zu entwickeln.
Zudem hat erst OpenAI generative KI für jede Person zugänglich gemacht. Viel mehr Menschen als vorher haben nun Ideen dazu, wie diese Technologie zukünftig eingesetzt werden könnte. Dieses Innovationspotenzial ist beeindruckend, birgt bei fehlender Regulierung allerdings auch das Risiko der unbedachten und damit potenziell schädlichen Verwendungen. Regulierungen sollten daher so gestaltet sein, dass sie nicht nur potenzielle Risiken minimieren, sondern auch die Innovation und den kreativen Einsatz von KI fördern.
Das Warten auf eine eindeutige Regulierung bildet auf der anderen Seite ein Hemmnis für die strategische Ausrichtung. Denn wer weiß, ob der gefasste Plan beim Beschluss der Regulierung noch immer durchführbar ist?
Was es braucht, ist Rechtssicherheit. Der AI Act, obwohl nicht perfekt, stellt einen wichtigen Schritt in diese Richtung dar, indem er einen rechtlichen Rahmen bietet, der es Unternehmen ermöglicht, zu planen und zu agieren. Es ist begrüßenswert, dass dazu unter anderem gehört, dass Betreiber einer KI-Anwendung eine Risikobewertung in Bezug auf den potenziellen Einfluss auf die Grundrechte der Nutzergruppen durchführen müssen. Das Ziel sollte sein, dass sich aktiv und weitsichtig mit potenziellen Risiken auseinandergesetzt wird, um konkrete KI-Leitlinien auf Basis der gesetzlichen Vorgaben aufzustellen. Dazu gehört es auch, Transparenz bei der Entscheidungsfindung von KI-Systemen zu ermöglichen, denn jede letzte Entscheidung muss beim Menschen liegen.
Haben Sie abschließend noch ein paar grundsätzliche Ratschläge für unsere Leserschaft zum Thema KI und Cybersecurity? Was sollte überwiegen: Chancen nutzen oder Risiken fürchten?
Chancen reflektiert nutzen und risikobewusst experimentieren. Es gibt genügend Use Cases, die nicht voraussetzen, dass der KI potenziell sensible Informationen bereitgestellt werden müssen. Über diese können erste Erfahrungen gesammelt und der Nutzen reflektiert werden. Auf dieser Basis kann dann eine KI-Strategie in Angriff genommen werden, die auch Sicherheitsaspekte berücksichtigt, etwa durch Datenschutzmaßnahmen wie „Privacy by Design“. Dies gilt im gesamten Lebenszyklus einer KI-Anwendung, um sicherzustellen, dass der Schutz sensibler und persönlicher Daten nicht nur ein nachträglicher Gedanke, sondern ein integraler Bestandteil der Arbeit mit KI ist. In Organisationen helfen klare und transparent begründete Regeln für den KI-Einsatz, die Akzeptanz der Mitarbeitenden zu erlangen. Wer erklärungslos nur verbietet (zum Beispiel den Einsatz von ChatGPT im Allgemeinen), erzeugt Frustration und muss damit rechnen, dass im Verborgenen Regeln umgangen werden. Gewinnbringender sind verpflichtende, praktisch orientierte Schulungen oder Bootcamps für die Mitarbeitenden, bevor die jeweiligen KI-Tools eingesetzt werden; auf allen Ebenen, von der Führungskraft bis hin zum Mitarbeitenden. Schließlich fördert eine Kultur der Offenheit und des fortwährenden Dialogs nicht nur die Akzeptanz von KI, sondern ermöglicht es auch, Bedenken und innovative Ideen frei zu äußern. Dies trägt sowohl zur Risikominimierung als auch zur Förderung von Innovationen bei.
Viele Unternehmen glauben, sie müssten KI möglichst schnell einsetzen, um im Wettbewerb nicht zurückzufallen. Nach meiner Auffassung sollte es dabei aber nicht nur um Geschwindigkeit gehen, sondern auch Risikominimierung, sprich: Regeln, die den Abfluss sensibler Daten verhindern. Welche Regeln sollten Unternehmen beachten, die mit KI experimentieren beziehungsweise KI-Tools einführen wollen?
Die Einführung von KI-Tools bringt viel Bewegung und Veränderung in Unternehmen mit sich. Ein effizienter KI-Einsatz sorgt für Automatisierung. Automatisierung verlangt und fördert die Standardisierung von Prozessen – dabei können Expertenteams unterstützen. Eine weitere Herausforderung kann darin bestehen, die Mitarbeitenden vom Thema zu überzeugen. Es ist sinnvoll, Mitarbeitende in den Entscheidungsprozess einzubeziehen und Raum für Feedback und weitere Ideen zu schaffen. Dies fördert nicht nur die Akzeptanz, sondern nutzt auch das kollektive Wissen und die Erfahrungen der Belegschaft, um potenzielle Risiken frühzeitig zu identifizieren und zu adressieren. Gleichzeitig besteht meist aus Unkenntnis heraus die Angst, dass die eigene Arbeit durch KI ersetzt wird. Aus vermeintlichem Selbstschutz werden dann die bereitgestellten Tools nicht oder nur unzureichend genutzt, der erhoffte Mehrwert bleibt aus. Es ist daher wichtig, sich den Sorgen und Bedürfnissen derjenigen Mitarbeitenden anzunehmen, die dem Einsatz von KI kritisch gegenüberstehen. Durch Schulungen, Weiterbildungen und Ausprobieren wird meistens deutlich, dass die menschliche Expertise nicht nur weiterhin gebraucht wird, sondern sogar notwendig ist, damit KI-gestützte Prozesse weiterhin die Qualitätsansprüche erfüllen.
Ein solcher Change-Management-Prozess ist in mehrere Phasen aufgeteilt, die gleichzeitig auch zur Risikominimierung beitragen. Nachdem die Dringlichkeit erkannt wurde, ist es hilfreich, einzelne Personen im Unternehmen zu identifizieren, die in der richtigen Handhabung aufgeklärt und geschult werden und die sich durch ihre intrinsische Motivation mit dem Thema auseinandersetzen wollen. Sie werden damit zu Vorreitern und Ansprechpartnern.
Der Markt an KI-Tools ist über das letzte Jahr hinweg wenig überraschend stark angewachsen. Davon sollte man sich allerdings nicht einschüchtern lassen. Neben einer rechtlichen Prüfung, gerade hinsichtlich aller DSGVO-Belange, sollte man sich bei der Auswahl eines KI-Tools vor allem im Klaren darüber sein, welche Pain Points eigentlich bestehen. Bei der Einführung von neuen Systemen ist es wichtig, konkrete KPIs aufzustellen, anhand derer nach einer Test-Phase evaluiert werden kann, ob die jeweilige Anwendung das gesetzte Ziel erfüllt. Darüber hinaus sollten Unternehmen bereit sein, ihre KI-Strategien und -Ziele regelmäßig zu überprüfen und basierend auf den gesammelten Daten und Rückmeldungen anzupassen. Dies ermöglicht eine agile Herangehensweise, die es Unternehmen erlaubt, schnell auf Veränderungen zu reagieren. Das setzt voraus, dass im Unternehmen das Wissen darum vorhanden ist, was überhaupt möglich ist. Fällt der Einstieg dafür schwer, ist es auch durchaus legitim, Beratungsangebote in Anspruch zu nehmen.