ANTHROPIC

Memorando de Dario Amodei, CEO da Anthropic

Quero ser muito claro sobre a mensagem que está vindo da OpenAI e a natureza mendaz disso. Este é um exemplo de quem eles realmente são, e quero garantir que tudo [sic] veja isso pelo que é. Embora haja muito que não sabemos sobre o contrato que eles assinaram com o DoW [abreviação de Department of Defense — Departamento de Defesa] (e que talvez eles nem saibam também — pode ser altamente incerto), sabemos o seguinte:

A descrição de Sam [Altman] e a descrição do DoW dão a forte impressão (embora precisaríamos ver o contrato real para ter certeza) de que a forma como o contrato deles funciona é que o modelo é disponibilizado sem quaisquer restrições legais (“todo uso lícito”), mas que existe uma “camada de segurança”, que acho que equivale a recusas do modelo, que impede o modelo de concluir certas tarefas ou de se envolver em determinadas aplicações.

“Camada de segurança” também poderia significar algo que parceiros como a Palantir [parceira de negócios da Anthropic para atender clientes de agências dos EUA] tentaram nos oferecer durante essas negociações, que é que eles, do lado deles, nos ofereceram algum tipo de classificador ou sistema de aprendizado de máquina, ou camada de software, que afirma permitir algumas aplicações e não outras. Também há alguma sugestão de funcionários da OpenAI (“FDEs” [abreviação para engenheiros destacados em campo]) supervisionando o uso do modelo para impedir aplicações inadequadas.

Nossa percepção geral é que esses tipos de abordagens, embora não tenham eficácia zero, são, no contexto de aplicações militares, talvez 20% reais e 80% teatro de segurança. A questão básica é que se um modelo está realizando aplicações como vigilância em massa ou armas totalmente autônomas depende substancialmente de um contexto mais amplo: um modelo não “sabe” se há um humano no circuito na situação geral em que se encontra (para armas autônomas) e não sabe a procedência dos dados que está analisando (portanto não sabe se são dados domésticos dos EUA vs. estrangeiros, não sabe se são dados empresariais fornecidos por clientes com consentimento ou dados comprados de maneiras mais suspeitas, etc).

Também sabemos — aqueles que trabalham com salvaguardas sabem dolorosamente bem — que recusas não são confiáveis e jailbreaks são comuns, muitas vezes tão fáceis quanto simplesmente desinformar o modelo sobre os dados que ele está analisando. Uma distinção importante aqui, que torna isso muito mais difícil do que o problema das salvaguardas, é que, embora seja relativamente fácil, por exemplo, determinar se um modelo está sendo usado para conduzir ataques cibernéticos a partir de entradas e saídas, é muito difícil determinar a natureza e o contexto dos ataques cibernéticos, que é o tipo de distinção necessário aqui. Dependendo dos detalhes, essa tarefa pode ser difícil ou impossível.

O tipo de coisa de “camada de segurança” que a Palantir nos ofereceu (e presumivelmente ofereceu à OpenAI) é ainda pior: nossa impressão foi que era quase inteiramente teatro de segurança, e que a Palantir presumiu que o nosso problema era “vocês têm alguns funcionários insatisfeitos, precisam oferecer a eles algo que os apazigue ou torne invisível para eles o que está acontecendo, e esse é o serviço que fornecemos”.

Por fim, a ideia de ter funcionários da Anthropic/OpenAI monitorando as implantações é algo que surgiu em discussão dentro da Anthropic há alguns meses, quando estávamos expandindo nossa própria AUP [política de uso aceitável] classificada por iniciativa própria. Fomos muito claros de que isso só é possível em uma pequena fração dos casos, que faremos isso tanto quanto pudermos, mas que não é uma salvaguarda na qual as pessoas devam confiar e não é fácil de fazer no mundo classificado. Nós, aliás, tentamos fazer isso o máximo possível; não há diferença entre a nossa abordagem e a abordagem da OpenAI nesse ponto.

Então, no geral, o que estou dizendo aqui é que as abordagens que a OAI [abreviação de OpenAI] está adotando em sua maioria não funcionam: o principal motivo pelo qual a OAI as aceitou e nós não é que eles se preocuparam em apaziguar os funcionários, enquanto nós realmente nos preocupamos em prevenir abusos. Elas não têm eficácia zero, e nós também estamos fazendo muitas delas, mas estão longe de ser suficientes para o propósito. Ao mesmo tempo, também é verdade que o DoW não tratou a OpenAI e a nós da mesma forma aqui.

Nós realmente tentamos incluir algumas das mesmas salvaguardas que a OAI em nosso contrato, além da AUP, que considerávamos a coisa mais importante, e o DoW as rejeitou conosco. Temos evidências disso na cadeia de e-mails das negociações do contrato (estou escrevendo isto com muita coisa para fazer, mas talvez eu peça para alguém fazer um acompanhamento com a linguagem exata). Portanto, é falso que “os termos da OpenAI foram oferecidos a nós e nós os rejeitamos”, ao mesmo tempo em que também é falso que os termos da OpenAI os protejam de forma significativa contra vigilância doméstica em massa e armas totalmente autônomas.

Finalmente, há alguma sugestão na linguagem de Sam/OpenAI de que as linhas vermelhas de que estamos falando — armas totalmente autônomas e vigilância em massa doméstica — já são ilegais e, portanto, uma AUP sobre isso é desnecessária. Isso espelha e parece coordenado com a mensagem do DoW. No entanto, isso é completamente falso. Como explicamos em nossa declaração ontem, o DoW possui autoridades de vigilância doméstica que não são motivo de grande preocupação em um mundo pré-IA, mas assumem um significado diferente em um mundo pós-IA.

Por exemplo, é legal para o DoW comprar um grande volume de dados privados sobre cidadãos dos EUA de fornecedores que obtiveram esses dados de alguma forma legal (muitas vezes envolvendo consentimentos ocultos para vender a terceiros) e então analisá-los em escala com IA para construir perfis de cidadãos, suas lealdades, padrões de movimento no espaço físico (os dados que eles podem obter incluem dados de GPS, etc.) e muito mais.

Notavelmente, perto do fim da negociação o DoW ofereceu aceitar nossos termos atuais se excluíssemos uma frase específica sobre “análise de dados obtidos em massa”, que era a única linha no contrato que correspondia exatamente a esse cenário com o qual estávamos mais preocupados. Achamos isso muito suspeito. Sobre armas autônomas, o DoW afirma que “humano no circuito é a lei”, mas eles estão incorretos. Atualmente é política do Pentágono (definida durante a administração Biden) que um humano tem que estar no circuito do disparo de uma arma. Mas essa política pode ser alterada unilateralmente por Pete Hegseth, que é exatamente com o que estamos preocupados. Portanto, para todos os efeitos práticos, não é uma restrição real.

Muitas das mensagens da OpenAI e do DoW simplesmente mentem sobre essas questões ou tentam confundi-las.

Acho que esses fatos sugerem um padrão de comportamento que já vi muitas vezes em Sam Altman, e que quero garantir que as pessoas estejam preparadas para reconhecer:

Ele começou esta manhã dizendo que compartilha as linhas vermelhas da Anthropic, para parecer que nos apoia, receber parte do crédito e não ser atacado quando assumirem o contrato. Ele também se apresentou como alguém que quer “definir o mesmo contrato para todos na indústria” — ou seja, está se apresentando como um pacificador e negociador.

Nos bastidores, ele está trabalhando com o DoW para assinar um contrato com eles, para nos substituir no instante em que formos designados como um risco para a cadeia de suprimentos. Mas ele precisa fazer isso de uma forma que não faça parecer que ele abandonou as linhas vermelhas e se vendeu quando nós não o fizemos. Ele consegue parecer superficialmente que está fazendo isso porque (1) pode aceitar todo o teatro de segurança que a Anthropic rejeitou e que o DoW e parceiros estão dispostos a conluiar para apresentar como convincente para seus funcionários, e (2) o DoW também está disposto a aceitar alguns termos dele que não estava disposto a aceitar de nós. Ambas as coisas tornam possível que a OAI consiga um acordo quando nós não conseguimos.

As verdadeiras razões pelas quais o DoW e a administração Trump não gostam de nós são que não doamos para Trump (enquanto OpenAI/Greg [Brockman, presidente da OpenAI] doaram muito), não fizemos elogios em estilo ditador a Trump (enquanto Sam fez), apoiamos a regulação de IA, que vai contra a agenda deles, dissemos a verdade sobre várias questões de política de IA (como deslocamento de empregos), e realmente mantivemos nossas linhas vermelhas com integridade em vez de conluiar com eles para produzir “teatro de segurança” para benefício dos funcionários (o que, eu absolutamente juro para vocês, é o que literalmente todo mundo no DoW, Palantir, nossos consultores políticos etc. presumiu que era o problema que estávamos tentando resolver).

Sam agora (com a ajuda do DoW) está tentando distorcer a narrativa dizendo que fomos irracionais, que não nos engajamos de uma boa forma, que fomos menos flexíveis etc. Quero que as pessoas reconheçam isso como o gaslighting que é.

Justificativas vagas como “a pessoa X era difícil de trabalhar” frequentemente são usadas para esconder razões reais que parecem muito ruins, como as razões que dei acima sobre doações políticas, lealdade política e teatro de segurança. É importante que todos entendam isso e contestem essa narrativa pelo menos em privado, ao conversar com funcionários da OpenAI.

Assim, Sam está tentando minar nossa posição enquanto aparenta apoiá-la. Quero que as pessoas sejam muito claras sobre isto: ele está tentando tornar mais possível para a administração nos punir ao enfraquecer nosso apoio público. Por fim, suspeito até que ele esteja incentivando isso, embora eu não tenha evidência direta desta última coisa.

Acho que essa tentativa de distorção/gaslighting não está funcionando muito bem com o público em geral ou com a mídia, onde as pessoas em sua maioria veem o acordo da OpenAI com o DoW como suspeito ou duvidoso, e nos veem como os heróis (agora estamos em nº 2 na App Store!). [O chatbot Claude da Anthropic depois subiu para o nº 1 em um dos rankings de downloads da App Store da Apple.] Está funcionando com alguns idiotas do Twitter, o que não importa, mas minha principal preocupação é garantir que isso não funcione com os funcionários da OpenAI.

Devido a efeitos de seleção, eles são meio ingênuos como grupo, mas parece importante contestar essas narrativas que Sam está vendendo para seus funcionários.

DROPS

Elevando o QI da internet no Brasil, uma newsletter por vez. Nós filtramos tudo de mais importante e relevante que aconteceu no mercado para te entregar uma dieta de informação saudável, rápida e inteligente, diretamente no seu inbox. Dê tchau às assinaturas pagas, banners indesejados, pop-ups intrometidos. É free e forever will be.

0 comments

Avatar

or to participate

Veja as edições anteriores