Integrarea rapidă a modelelor de inteligență artificială și Large Language Models (LLM) în aplicații introduce riscuri noi și unice de securitate.
Serviciile noastre de testare LLM evaluează vulnerabilitățile specifice acestor tehnologii, de la „prompt injection” și „data poisoning” până la expunerea de informații confidențiale și comportamente neașteptate ale modelelor.
Abordarea noastră se bazează pe OWASP LLM Top 10 și NIST AI 600-1, combinând testare manuală specializată cu instrumente particularizate. Investigăm modul în care aplicația interacționează cu modelul LLM, identificăm datele de intrare care influențează comportamentul modelului (date de training, prompt-uri, resurse referențiale) și testăm sistematic pentru vulnerabilități specifice AI.
Principalele vulnerabilitati testate sunt:
Prompt Injection și Jailbreaking: Testarea capacității de a ocoli restricțiile modelului prin crearea de date de intrare speciale, inclusiv generarea de conținut restricționat sau manipularea comportamentului modelului.
Data Poisoning: Evaluarea riscului de injectare a datelor malițioase în procesul de instruire sau finisare pentru a influența răspunsurile modelului.
Model Inversion și Extragere informații: Testarea posibilității de a extrage informații confidențiale din datele de instruire prin corelarea răspunsurilor modelului.
Injectare prin Prompturi Indirecte/ Indirect Prompt Injection: Atacuri în care prompt-uri malițioase sunt injectate prin resurse externe (documente, pagini web) pe care modelul le procesează.
Excessive Agency și Escaladare Privilegii: Testarea dacă modelul poate executa acțiuni neautorizate prin integrările cu API-uri și funcții extinse.
Manevrarea Nesecurizata a Rezultatelor/ Insecure Output Handling: Verificarea modului în care aplicația procesează rezultatele modelului pentru vulnerabilități precum XSS, SQL injection sau command injection.
Vulnerabilitati legate de terți/ Supply Chain Vulnerabilities: Evaluarea riscurilor asociate cu modelele pre-antrenate, plugin-uri și dependențe terțe folosite în aplicația AI.
Echipa noastră combină expertiza în securitatea aplicațiilor web (OSCE, OSWE, eWPTX, GWAPT) cu cunoștințe specializate în securitatea sistemelor AI/ML.
Specialiștii noștri sunt la curent cu cele mai recente cercetări în domeniul adversarial machine learning și participă activ la comunitatea de securitate AI.