O Gartner, líder mundial em pesquisa e aconselhamento para empresas, anuncia que 34% das companhias já estão usando ou implementando ferramentas de segurança de aplicativos com Inteligência Artificial (IA) para mitigar os riscos associados à Inteligência Artificial Generativa (GenAI). A pesquisa Gartner Peer Community foi realizada de 1 a 7 de abril deste ano com 150 líderes de TI e segurança da informação de empresas nas quais a Inteligência Artificial Generativa está em uso ou implementação. Cerca de 26% dos entrevistados afirmaram, também, que estão atualmente usando ou implementando tecnologias de melhoria da privacidade (PET), ModelOps (25%) ou monitoramento de modelos (24%).
“Os líderes de TI, segurança e gerenciamento de riscos devem, além de implementar ferramentas de segurança, considerar apoiar a estratégia empresarial para gerenciamento de confiança, riscos e segurança (AI TRiSM)”, diz Avivah Litan, vice-presidente e analista do Gartner. “Esse gerenciamento trabalha com fluxos de dados e processos entre usuários e empresas que hospedam modelos generativos de base de Inteligência Artificial e deve ser um esforço contínuo, não um exercício único para proteger as empresas.”
A TI é tem responsabilidade final pela segurança da Inteligência Artificial Generativa: Embora 93% dos líderes de TI e segurança entrevistados tenham afirmado que estão pelo menos um pouco envolvidos nos esforços de segurança e gestão de riscos da Inteligência Artificial Generativa da sua empresa, apenas 24% afirmaram que possuem essa responsabilidade. Entre os entrevistados que não possuem o encargo pela segurança e/ou gerenciamento de riscos, 44% relataram que a responsabilidade final era de TI. Para 20% dos entrevistados, os departamentos de governança, risco e conformidade de suas empresas eram os responsáveis.
Riscos mais importantes: Os riscos associados à Inteligência Artificial Generativa são significativos, contínuos e evoluirão constantemente. Os entrevistados da pesquisa indicaram que resultados indesejáveis e código inseguro estão entre os riscos mais lembrados ao usar a tecnologia: 57% dos entrevistados estão preocupados com o vazamento de segredos em códigos gerados por Inteligência Artificial; e 58% dos entrevistados estão preocupados com resultados incorretos ou tendenciosos.
“As empresas que não gerenciarem os riscos da Inteligência Artificial Generativa testemunharão que os seus modelos não funcionam conforme o esperado e, na pior das hipóteses, podem causar danos humanos ou materiais”, alerta o analista do Gartner. “Isso resultará em falhas de segurança, perdas financeiras e de reputação e danos aos indivíduos decorrentes de resultados incorretos, manipulados, antiéticos ou tendenciosos. O mau desempenho da Inteligência Artificial também pode fazer com que as empresas tomem decisões de negócios erradas”, diz Litan.
Os clientes do Gartner podem ler mais no relatório “Generative AI Security and Risk Management”.