Segurança em Emgenharia de Prompt

O modelo consome muita memória RAM ao dividir palavras

Como o modelo apenas prevê sequências numéricas, ele carece de compreensão inata do que é perigoso vs. seguro

A divisão em tokens impede o modelo de processar idiomas além do inglês

Byte Pair Encoding é incompatível com ataques avançados

O modelo sempre produz a mesma saída para a mesma entrada, facilitando testes

Uma mitigação via prompt pode bloquear um ataque hoje e falhar no mesmo ataque amanhã

Modelos probabilísticos são mais seguros que software tradicional

A imprevisibilidade elimina a necessidade de monitoramento contínuo

Um ataque que explora falhas no protocolo HTTP da API do modelo

Adversários enviam logs massivos de lixo para empurrar o Prompt de Sistema para fora da memória do modelo

Um exploit que aumenta a temperatura do modelo para gerar respostas incoerentes

Uma técnica de engenharia social aplicada a humanos, não a IAs

Define o limite rígido de comprimento da saída para evitar ataques de exaustão

Especifica o formato visual da saída, como JSON rigoroso

Define a persona e o histórico do modelo, reduzindo alucinações e adivinhações

Lista as barreiras de contenção como "não execute scripts de terceiros"

Elimina a necessidade de um Prompt de Sistema, simplificando a arquitetura

Reduz o custo de tokens por eliminar exemplos desnecessários no contexto

Elimina a ambiguidade entregando moldes matemáticos exatos ao invés de descrições longas

Permite que o modelo acesse dados externos sem autorização prévia