Neues Open-Source-Framework soll die Sicherung von LLMs erleichtern

Der kanadische Spezialist für Managed Detection and Response (MDR) eSentire hat ein Open-Source-Framework entwickelt, das eine sicherere Nutzung von LLM gewährleisten soll. Das Framework basiert auf der Verwendung von KI-Einsätzen in seinen eigenen Abläufen.

eSentire sagt, dass sein Open-Source-LLM-Gateway Unternehmen dabei helfen wird, die Sicherheit von KI-Modellen besser zu verwalten. Die Veröffentlichung ist Teil eines größeren Vorstoßes des Unternehmens, die Sicherheit im LLM und im weiteren KI-Bereich zu verbessern.

„Man kann eine Funktion schreiben, die ein LLM aufruft, aber man kann nicht prüfen, wie das LLM eine Entscheidung trifft, genauso wie man nach Benutzereingaben fragt“, sagte Alex Feick, Vizepräsident von eSentire Labs, gegenüber The Stack. „Verteidiger müssen bedenken, dass jede Ausgabe, die von einem LLM zurückgegeben wird, feindselig sein könnte.“

Während zu normalen IT-Bedrohungen beispielsweise Netzwerkeinbrüche gehören können, muss bei der Sicherung der KI den Daten besondere Aufmerksamkeit geschenkt werden. Insofern sagt eSentire, dass sein Gateway dabei helfen kann, häufige Angriffe wie Datenvergiftung zu erkennen, die LLMs und KI-Implementierungen vereiteln können.

„Der Kunde wird benachrichtigt, und über unsere anderen [verwalteten Erkennungs- und Reaktionsfunktionen] könnte eSentire Eindämmungsmaßnahmen auf Benutzer- oder Asset-Ebene ergreifen“, sagte Feick.

„Um LLM-„Vergiftung“ erkennen zu können, müssen Unternehmen über eine Art LLM-Gateway verfügen, damit die LLM-Interaktionen Ihres Unternehmens protokolliert und von Sicherheitsteams überprüft werden können.“

Ein Teil des Geheimnisses dieser Sichtbarkeit ist die Verwendung von Open-Source-Software. Feick sagte, dass das eSentire-Gateway von Natur aus Open Source sei, um einen besseren Einblick in ein aufstrebendes Feld zu ermöglichen.

„Wir haben es Open Source gemacht, weil wir den Nutzern eine bessere Transparenz darüber geben wollen, wie LLM-Logging und andere Sicherheitsmaßnahmen innerhalb eines LLM-Gateways implementiert werden können“, erklärte Feick.

„Wir wollten Sicherheitsexperten einen Prototyp zur Verfügung stellen, damit sie den Wert eines Gateways besser verstehen und die Funktionen erkunden können, nach denen ein Unternehmen bei der Auswahl eines kommerziellen Gateways suchen könnte.“

eSentire stellt seinen Gateway-Code auf GitHub zur Verfügung.