Glossário de segurança de IA

É o sistema de IA que executa uma sequência de tarefas para atingir um objetivo, usando ferramentas, APIs, memória e as permissões que recebeu (OWASP). Por agir em outros sistemas, é tratado como um usuário privilegiado: identidade própria, menor privilégio e aprovação humana no que é irreversível. No SOC, agentes podem investigar um alerta de ponta a ponta e propor ou executar a contenção.

É o regulamento da União Europeia sobre inteligência artificial, com regras por nível de risco: inaceitável (práticas proibidas), alto, de transparência e mínimo (Comissão Europeia). Está em vigor desde 1º/8/2024, e o Regulamento (UE) 2026/1744 adiou as regras do alto risco para 2/12/2027 (Anexo III) e 2/8/2028 (Anexo I). Obriga quem oferece ou usa IA na União Europeia.

São testes que simulam ataques a um modelo ou sistema de IA, como prompt injection, jailbreak, extração de dados e abuso de ferramentas, para achar falhas e pôr à prova as salvaguardas antes de um atacante (NIST AI 600-1). Pode ser feito antes e depois de o sistema entrar em uso.

É o inventário dos componentes de um sistema de IA, como modelos, adaptadores, conjuntos de dados e ferramentas, com versão, origem e licença. A OWASP recomenda estender o SBOM a modelos e dados com AI BOMs e ML-BOMs, como os do padrão OWASP CycloneDX, mantidos atualizados e assinados (OWASP). É um dos controles da supply chain de IA.

É quando um modelo de IA generativa apresenta com confiança um conteúdo errado ou falso, como um fato, uma citação ou uma justificativa inventados. O NIST chama o fenômeno de confabulação e explica que ele decorre de como os modelos geram texto, por aproximação estatística dos dados de treino (NIST AI 600-1). Quando alguém decide com base nessa resposta, a OWASP fala em desinformação (LLM07).

É o ataque que modifica a entrada de um modelo de IA para causar o efeito que o atacante quer, como uma classificação errada ou uma detecção perdida, muitas vezes sem que uma pessoa perceba a diferença (MITRE ATLAS). Serve, por exemplo, para evadir um detector de malware baseado em IA. O NIST AI RMF cita os exemplos adversariais entre as preocupações comuns de segurança de IA.

É a avaliação que o PL 2338/2023, na versão aprovada pelo Senado, exige dos sistemas de IA classificados como de alto risco, feita por profissionais com conhecimentos técnicos e com as conclusões públicas (Agência Senado). O projeto ainda tramita na Câmara.

É a etapa que enquadra cada sistema ou caso de uso de IA num nível de risco, pelo dado que usa, pela decisão que influencia e pelo que executa, para definir os controles. O AI Act usa quatro níveis (inaceitável, alto, de transparência e mínimo); o PL 2338/2023 prevê o risco excessivo, com sistemas proibidos, e o alto risco, com regras mais rígidas (Agência Senado). Na medicina, a Resolução CFM nº 2.454/2026 usa os níveis baixo, médio, alto e inaceitável.

É um assistente de IA generativa que trabalha ao lado de uma pessoa. No SOC, resume o caso, explica indicadores de comprometimento, responde a perguntas em linguagem natural sobre os dados, sugere hipóteses e consultas e ajuda a escrever regras e relatórios; o analista valida o que ele produz.

É o ataque que adultera dados de pré-treino, de ajuste fino, de embeddings ou da base de conhecimento (RAG) para inserir no modelo vulnerabilidades, backdoors ou vieses (OWASP). O modelo pode continuar parecendo normal até um gatilho mudar o comportamento. É o risco LLM05 do OWASP Top 10 para aplicações de LLM, e o controle passa pela origem e pela integridade dos dados e por quem pode escrever na base.

É a prevenção de vazamento de dados (DLP) aplicada a prompts, uploads e respostas de IA: identifica o dado sensível, pessoal ou estratégico e o mascara ou bloqueia antes que ele chegue ao provedor de IA ou volte numa resposta. É um dos controles contra o vazamento de dados por IA e o shadow AI.

É a vulnerabilidade que permite a um sistema com LLM executar ações danosas a partir de uma saída inesperada, ambígua ou manipulada do modelo, seja qual for a causa do erro (OWASP). A causa costuma ser funcionalidade, permissão ou autonomia demais. É o risco LLM03 do OWASP Top 10 para aplicações de LLM; em agentes, aparece como uso indevido de ferramentas (ASI02), abuso de identidade e privilégio (ASI03) e falhas em cascata (ASI08).

É a extração ou a dedução das instruções de sistema e do contexto oculto que a aplicação passa ao modelo, como regras, esquemas de ferramentas e trechos recuperados (OWASP). A OWASP recomenda partir do princípio de que esse contexto pode ser descoberto: nada de senhas, tokens ou chaves nas instruções, e nenhum controle de acesso que dependa só delas. É o risco LLM08 da versão 2026, que substituiu o antigo System Prompt Leakage.

É a forma como a empresa decide e controla o uso de IA: políticas, papéis, comitê, inventário, classificação de risco, fluxo de aprovação e conformidade, com evidência para auditoria. A governança diz o que proteger, e a segurança de IA faz valer. A ISO/IEC 42001 e o NIST AI RMF organizam esse trabalho.

São controles técnicos em volta do modelo que limitam o que entra, o que sai e o que a IA pode fazer: filtros de entrada contra injeção e jailbreak, DLP para IA, validação da saída e limites de ação para agentes, com aprovação humana no que é irreversível. Ficam fora do modelo, no código da aplicação, num gateway de IA ou na plataforma, e nenhum resolve sozinho, porque filtros de linguagem podem ser contornados.

É a combinação de automação, orquestração (SOAR), integrações por API e IA para automatizar processos de ponta a ponta, e não tarefas isoladas. No SOC, é o que permite que a triagem, o enriquecimento e a contenção aconteçam no tempo do ataque, com playbooks aprovados pela empresa.

É a IA que não só responde a perguntas, mas planeja e executa sequências de tarefas usando ferramentas, em vários passos e sistemas, muitas vezes em nome de usuários. Aumenta a velocidade e também o risco: por isso a OWASP mantém um Top 10 próprio para aplicações agênticas e recomenda a menor agência, ou seja, não dar autonomia onde ela não é necessária (OWASP).

É a classe de modelos de IA que imitam a estrutura e as características dos dados de entrada para gerar conteúdo sintético, como texto, imagem, áudio, vídeo e outros conteúdos digitais (NIST AI 600-1). Assistentes, chatbots e copilotos baseados em LLM são exemplos. O NIST AI 600-1 descreve 12 riscos próprios ou agravados por ela, como confabulação, privacidade de dados e segurança da informação.

É a lista dos modelos, aplicações, agentes e apps de IA em uso na empresa, inclusive os sem aprovação, com os dados que cada um acessa, o responsável e o fornecedor. É o ponto de partida da segurança e da governança de IA: só se classifica e protege o que se conhece. O AI-BOM detalha, depois, os componentes de cada sistema.

É o ataque que deduz atributos sensíveis ou reconstrói exemplos representativos dos dados de treino de um modelo de IA analisando o comportamento e as saídas dele (MITRE ATLAS). Pode revelar características de pessoas ou registros presentes nesses dados, e a OWASP trata a inversão entre as formas de divulgação de informação sensível (LLM02).

É a norma internacional com os requisitos para estabelecer, implementar, manter e melhorar continuamente um sistema de gestão de IA (AIMS), para organizações que desenvolvem, oferecem ou usam IA (ISO). Publicada em dezembro de 2023, segue o ciclo Plan-Do-Check-Act. A certificação é voluntária, e clientes e contratos podem exigi-la.

É a forma de prompt injection em que o atacante tenta fazer o modelo ignorar ou contornar as regras de segurança e os guardrails para obter o que ele deveria recusar (OWASP; MITRE ATLAS). Filtros na aplicação ajudam a conter, mas a prevenção depende também de atualizar o treino e os mecanismos de segurança do modelo.

A Lei Geral de Proteção de Dados Pessoais vale para todo uso de IA com dado pessoal, no treino, nos prompts e nas decisões (LGPD). Entre os pontos que tocam a IA estão as medidas de segurança técnicas e administrativas (art. 46), o direito do titular de pedir a revisão de decisões tomadas só com base em tratamento automatizado (art. 20) e a comunicação de incidente de segurança à ANPD e ao titular (art. 48). Dado de saúde, genético ou biométrico é dado pessoal sensível (art. 5º, II).

É o modelo de IA generativa que produz texto prevendo a próxima palavra, ou token, de uma sequência (NIST AI 600-1). É a base de assistentes, chatbots, copilotos e agentes. Como não separa instrução de dado, tem riscos próprios, catalogados no OWASP Top 10 para aplicações de LLM.

É um padrão aberto para conectar aplicações de IA a sistemas externos, como fontes de dados, ferramentas e fluxos de trabalho (MCP). Servidores MCP de terceiros podem trazer código inseguro ou instruções escondidas: a OWASP os inclui na cadeia de suprimentos agêntica (ASI04), e o que eles devolvem pode carregar prompt injection indireta (OWASP). Por isso entram no inventário de fornecedores, com versões fixadas e verificadas.

É o ataque que corrompe a memória ou o contexto que um agente de IA guarda e reutiliza, como histórico, resumos, embeddings e bases RAG, para enviesar o raciocínio, o planejamento ou o uso de ferramentas nas sessões seguintes (OWASP). É o risco ASI06 do OWASP Top 10 para aplicações agênticas. O controle é registrar e conferir o que o agente grava antes que valha nas próximas sessões.

É a base de conhecimento pública da MITRE sobre táticas e técnicas de ataque a sistemas de IA, no modelo do MITRE ATT&CK (MITRE ATLAS). Cataloga técnicas como prompt injection, jailbreak, envenenamento de dados de treino e de RAG, dados adversariais, inversão de modelo e comprometimento da cadeia de suprimentos.

É o perfil de IA generativa do NIST AI RMF, publicado em 26/7/2024 (NIST). Descreve 12 riscos próprios ou agravados pela IA generativa, como confabulação, privacidade de dados e segurança da informação, sugere ações para governar, mapear, medir e gerenciar cada um e descreve a prática do AI red teaming. Não é obrigatório.

É o framework do NIST para gestão de riscos de IA, de uso voluntário, organizado em quatro funções: governar, mapear, medir e gerenciar (NIST). A versão 1.0 saiu em 26/1/2023 e está em revisão pelo NIST. Entre as características de uma IA confiável, inclui ser segura e resiliente, com atenção a exemplos adversariais, envenenamento de dados e exfiltração de modelos e de dados de treino.

É a lista da OWASP com os dez riscos de maior impacto em agentes de IA, de ASI01 a ASI10, como o sequestro do objetivo do agente (ASI01), o uso indevido de ferramentas (ASI02) e o abuso de identidade e privilégio (ASI03), publicada em 9/12/2025 (OWASP). Complementa o Top 10 para aplicações de LLM: quando o modelo passa a agir, com ferramentas, memória e consequências em outros sistemas, a OWASP indica usar as duas listas.

É a lista da OWASP com os dez riscos mais críticos de aplicações que usam LLM, com formas de prevenção (OWASP). Na versão 2026, de agosto de 2026, a ordem começa por prompt injection (LLM01), divulgação de informação sensível (LLM02) e agência excessiva (LLM03) e termina no tratamento inadequado da saída (LLM10). Quando o modelo vira agente, ela se soma ao Top 10 para aplicações agênticas.

É o projeto de lei do marco legal da inteligência artificial no Brasil, sobre o desenvolvimento, o fomento e o uso ético e responsável da IA com base na centralidade da pessoa humana (Câmara). Aprovado pelo Senado em 10/12/2024, prevê níveis de risco, avaliação de impacto algorítmico no alto risco e um sistema nacional de regulação coordenado pela ANPD (Agência Senado). Ainda não é lei: está na Câmara desde 17/3/2025, aguardando o parecer do relator na comissão especial (situação em 08/11/2026).

É o documento da empresa que diz quais ferramentas de IA estão aprovadas e quais dados não podem ir para a IA, com um responsável nomeado. É um dos primeiros passos da governança de IA e, junto com uma opção aprovada, a resposta ao shadow AI.

É o ataque em que um texto que chega ao modelo muda o comportamento dele de um jeito que a aplicação não previa. Na direta, as instruções vêm de quem usa o sistema; na indireta, vêm escondidas num documento, e-mail, página ou resposta de ferramenta. É o risco LLM01 do OWASP Top 10 para aplicações de LLM, que ainda não tem prevenção confiável: a defesa é limitar o que uma injeção consegue fazer.

É a prompt injection em que as instruções maliciosas chegam escondidas num conteúdo externo que o modelo lê, como página da web, documento, e-mail, trecho recuperado por RAG ou resposta de ferramenta ou de servidor MCP, sem que o usuário as escreva ou veja (OWASP). Num agente, pode levar ao vazamento de dados ou ao uso indevido de ferramentas; por isso o conteúdo externo é tratado como não confiável, e a ação sensível espera aprovação humana.

É a técnica que combina um modelo de linguagem pré-treinado com fontes de conhecimento externas, como a base de documentos da empresa, para dar respostas mais precisas e ligadas ao contexto (OWASP). A base vira parte da superfície de ataque: pode ser envenenada, carregar prompt injection indireta ou devolver o que quem pergunta não poderia ver. Por isso a busca respeita as permissões de quem pergunta.

É o conjunto de controles que protege os sistemas de IA da empresa (modelos, aplicações de IA generativa, agentes e os dados que eles usam) contra ataques, vazamento e uso indevido. Combina inventário, avaliação de risco, governança, guardrails, menor privilégio para agentes e monitoramento contínuo. Não é o mesmo que a segurança feita com IA, como a de um SOC com IA, que usa a IA para defender a empresa.

É o uso de ferramentas de IA sem aprovação da empresa, fora do inventário e dos controles. O risco principal é o vazamento de dados: o que vai para um app de IA sem contrato sai do alcance das políticas da empresa. O caminho é descobrir o uso, oferecer uma opção aprovada, publicar uma política de uso aceitável, aplicar DLP para IA e levar a telemetria desse uso ao SOC.

É a estrutura com que uma organização governa a IA que desenvolve, oferece ou usa: liderança, política e objetivos de IA, gestão de risco, governança de dados, transparência, avaliação de desempenho e melhoria contínua. A ISO/IEC 42001 define os requisitos desse sistema, e a certificação é voluntária (ISO).

É o centro de operações de segurança em que a inteligência artificial trabalha nas etapas da operação: triagem e priorização de alertas, enriquecimento, correlação de eventos, análise comportamental, investigação com copilotos de IA generativa e resposta com agentes e hiperautomação. A IA absorve o volume e acelera a análise; as decisões críticas continuam com analistas. O Cyber Defense Center, o NG-SOC Convergente da Vortex Security, é um SOC com IA para ambientes IT, OT e IA.

É o desenho em que pessoas revisam o que a IA conclui, aprovam o que ela pode executar e respondem pelas decisões, sobretudo nas ações irreversíveis ou de alto impacto. Num agente, a ação sensível espera a confirmação de uma pessoa, que vê o que será executado; no SOC, a contenção automática segue playbooks aprovados pela empresa.

São os riscos que chegam por componentes de terceiros de um sistema de IA, como modelos pré-treinados, adaptadores, conjuntos de dados, bibliotecas e plataformas e, nos agentes, ferramentas, plug-ins e servidores MCP, que podem vir adulterados, comprometidos ou vulneráveis (OWASP). É o risco LLM04 do OWASP Top 10 para aplicações de LLM e, nos agentes, o ASI04 do Top 10 agêntico. Os controles são o AI-BOM, versões fixadas e verificadas e uma lista de modelos e ferramentas permitidos.

É a falta de validação e sanitização do que o LLM gera antes de a resposta virar consulta, comando, código ou página em outro sistema (OWASP). Como a saída pode ser controlada pelo prompt, o efeito se parece com dar ao usuário acesso indireto a outras funções, com risco de XSS, SSRF, escalada de privilégio ou execução remota de código. O controle é validar a saída em código, fora do modelo.

É a exposição de dado pessoal, regulado ou estratégico por meio da IA: o dado vai num prompt ou upload para um app sem contrato, ou o sistema o devolve numa resposta, num log ou numa chamada de ferramenta a quem não deveria vê-lo (OWASP). A divulgação de informação sensível é o risco LLM02 do OWASP Top 10 para aplicações de LLM. Os controles incluem classificação de dados, DLP para IA na entrada e na saída e busca com as permissões de quem pergunta.