Il nuovo framework open source mira a rendere più semplice la protezione dei LLM

Lo specialista canadese di rilevamento e risposta gestiti (MDR) eSentire ha reso open source un framework progettato per garantire un uso più sicuro di LLM. Il quadro si basa sull’utilizzo dell’intelligenza artificiale nelle proprie operazioni.

eSentire afferma che il suo gateway LLM open source aiuterà le aziende a gestire meglio la sicurezza del modello AI. Il suo rilascio fa parte di una spinta più ampia da parte dell’azienda per promuovere la sicurezza all’interno del LLM e dei campi più ampi dell’intelligenza artificiale.

"Puoi scrivere una funzione che chiama un LLM, ma non puoi controllare come il LLM prenderà una decisione, proprio come chiedere l'input dell'utente", ha detto a The Stack il vicepresidente di eSentire Labs, Alex Feick. "I difensori devono considerare che qualsiasi risultato restituito da un LLM potrebbe essere ostile."

Mentre le normali minacce IT possono includere cose come le intrusioni nella rete, la protezione dell’intelligenza artificiale richiede di prestare particolare attenzione ai dati. In tal senso, eSentire afferma che il suo gateway può aiutare a rilevare attacchi comuni come l’avvelenamento dei dati che possono ostacolare gli LLM e le implementazioni di intelligenza artificiale.

"Il cliente verrà informato e, tramite le nostre altre funzionalità [di rilevamento e risposta gestite], eSentire potrebbe intraprendere azioni di contenimento a livello di utente o di risorsa", ha affermato Feick.

"Essere in grado di rilevare l'"avvelenamento" LLM richiede che le organizzazioni dispongano di una qualche forma di gateway LLM in modo che le interazioni LLM della tua azienda possano essere registrate e riviste dai team di sicurezza."

Parte del segreto di tale visibilità è l'uso di software open source. Feick ha affermato che, in base alla progettazione, il gateway eSentire è open source per fornire una migliore visibilità in un campo emergente.

"Lo abbiamo reso open source perché vogliamo offrire agli utenti una migliore trasparenza su come la registrazione LLM e altre misure di sicurezza possono essere implementate all'interno di un gateway LLM", ha spiegato Feick.

"Volevamo fornire ai professionisti della sicurezza un prototipo in modo che potessero comprendere meglio il valore di un gateway ed esplorare le funzionalità che un'organizzazione potrebbe voler cercare quando sceglie un gateway commerciale."

eSentire sta rendendo disponibile il suo codice Gateway su GitHub.