Tag: IA

Desde que a OpenAI lançou o ChatGPT no final de 2022, hackers e pesquisadores de segurança tentam encontrar buracos em grandes modelos de linguagem (LLMs) para contornar suas proteções e enganá-los para vomitar discurso de ódio, instruções para fazer bombas, propaganda e outros conteúdos prejudiciais.

Em resposta, a OpenAI e outros desenvolvedores de IA generativa refinaram suas defesas de sistema para tornar mais difícil realizar esses ataques.

Mas, à medida que a plataforma chinesa de IA DeepSeek dispara para a proeminência com seu novo e mais barato modelo de raciocínio R1 , suas proteções de segurança parecem estar muito atrás das de seus concorrentes estabelecidos, deixando milhões de novos usuários comprometidos.

Hoje, pesquisadores de segurança da Cisco e da Universidade da Pensilvânia estão publicando descobertas mostrando que, quando testado com 50 prompts maliciosos (Jailbreaks) projetados para obter conteúdo tóxico, o modelo do DeepSeek não detectou ou bloqueou nenhum. Em outras palavras, os pesquisadores dizem que ficaram chocados ao atingir uma “taxa de sucesso de ataque de 100 por cento”.

O que seria as ações de Jailbreak? É o processo de exploração de falhas de um dispositivo eletrônico bloqueado para instalar outro software que não o disponibilizado pelo fabricante do software.

As descobertas são parte de um crescente corpo de evidências de que as medidas de segurança e proteção da DeepSeek podem não corresponder às de outras empresas de tecnologia que desenvolvem LLMs. A censura da DeepSeek de assuntos considerados sensíveis pelo governo da China também foi facilmente contornada .

A Wiz, uma empresa de segurança em nuvem, diz ter descoberto uma grande exposição de dados envolvendo a empresa chinesa de IA DeepSeek.

De acordo com a Wiz, a DeepSeek não protegeu a infraestrutura do banco de dados de seus serviços, deixando alguns dados e históricos de bate-papo acessíveis da internet pública sem a necessidade de senha.

Os pesquisadores disseram que descobriram o banco de dados do ClickHouse acessível publicamente vinculado à empresa chinesa “minutos” após o início da investigação.

“Este banco de dados continha um volume significativo de histórico de bate-papo, dados de backend e informações confidenciais, incluindo fluxos de log, segredos de API e detalhes operacionais”, disse a empresa em uma postagem de blog na quarta-feira detalhando a exposição de dados.

Wiz disse que havia contatado a DeepSeek para alertar a empresa de IA sobre o erro e que, posteriormente, havia garantido a exposição dos dados. Na postagem do blog, Wiz alertou que a “rápida adoção de serviços de IA sem a segurança correspondente é inerentemente arriscada”.

Como se proteger?

Ainda não se sabe ao certo quais os níveis de segurança expostos, ou seja, todos os usuários ou alguns seletos foram expostos. No entanto, a prevenção é o melhor remédio e, neste caso, a solução para evitar problemas futuros.

Para isso, quem se cadastrou ou fez login utilizando plataformas de terceiros como Google, Apple etc. devem se precaver alterando as senhas padrões e senhas de backups, bem como desautorizar o uso do aplicativo nas plataformas.