#402 – Nepal, OpenIA entrega usuários, recomendações no Youtube e demissões no Itaú

(00:01) [Música] Bem-vindos e bem-vindas ao Café Segurança Legal, episódio 402, gravado em 17 de setembro de 2025. Eu sou o Guilherme Goulart, junto com Vinícius Serafim. Vamos trazer para vocês algumas notícias das últimas semanas. E aí, Vinícius, tudo bem? Olá, Guilherme, tudo bem? Olá aos nossos ouvintes.

(00:26) Este é o nosso momento de conversarmos sobre algumas notícias e acontecimentos que nos chamaram a atenção. Então, pegue o seu café ou a sua bebida preferida e venha conosco. Para entrar em contato conosco, envie uma mensagem para podcast@segurançalegal.com ou também no Mastodon, Instagram, Bluesky e YouTube, onde você consegue ver, se já não está vendo, este episódio. Se quiser, também consegue acessá-lo por lá.

(00:49) Inclusive, vamos falar sobre o sistema de recomendação do YouTube aqui, Vinícius. Hoje, também temos a nossa campanha de financiamento coletivo, você já sabe, lá no Apoia-se: apoia.se/segurançalegal, onde você consegue selecionar uma das modalidades de apoio e nos apoiar.

(01:08) Nós sabemos, Vinícius, que hoje tem muita gente pedindo apoio, muitos canais e muitas iniciativas que merecem. É muito diferente do que era quando começamos, há 12, 13 anos. Mas, ainda assim, pedimos a sua atenção e o seu carinho para apoiar um projeto independente. Conte com a nossa independência.

(01:33) É um projeto independente de produção de conhecimento. Então, pedimos que, se você puder, considere apoiar o nosso podcast. Vamos para a primeira, Guilherme. Vamos para a primeira. O que está acontecendo no Nepal, aquele país absurdamente longe do Brasil, do outro lado do mundo?

(01:59) Eu estava olhando aqui, Vinícius, no Google Maps, inclusive estou abrindo agora. O pessoal do Xadrez Verbal comentou sobre essa crise lá no Nepal. Uma das curiosidades do Nepal é ser o único país que tem uma bandeira que não é retangular, não é quadrangular; são dois triângulos, dois triângulos retângulos, parece. É quase como uma flâmula.

(02:21) O que está acontecendo lá no Nepal? Na verdade, vou me limitar aqui às questões tecnológicas, darei um contexto geral. Porque as questões políticas e tudo mais, pelo amor de Deus, vão lá escutar no Xadrez Verbal, um ótimo podcast.

(02:41) E eles mesmos disseram que também não são especialistas em Nepal. Então, se eles не são, nós menos ainda. Longe de querermos fazer uma análise política da coisa, ou mesmo de toda a situação que está acontecendo lá.

(03:04) Mas o que chamou a nossa atenção do ponto de vista da tecnologia? Foram essas notícias de que primeiro houve o bloqueio das redes sociais, aí a Geração Z protestou, ateou fogo em vários lugares. Parece que a primeira-dama de lá acabou morrendo queimada num incêndio.

(03:35) Manifestantes morreram, também foram mortos no conflito com a polícia. E que isso teria acontecido, o estopim teria sido o bloqueio das redes sociais no Nepal. A partir daí, começa todo um processo que acabou com a escolha de um substituto, ou seja, o governo foi deposto e foi escolhida uma substituta por meio do Discord. Então, quando olhamos a coisa do ponto de vista da tecnologia, é isso.

(04:04) Bloquearam as redes sociais, a Geração Z protestou, saiu botando fogo em tudo, gente morreu, teve protesto, derrubaram o governo no Discord, estabeleceram um governo de transição e a coisa está seguindo. Vamos ver o que acontece daqui a seis meses.

(04:22) Só um detalhe, Vinícius, mas explique por que bloquearam. É a isso que eu vou chegar. Mas essa é a visão, a coisa muito simplista e limitada. Vou expandi-la um pouquinho, mas ela vai continuar simplista e limitada. O Xadrez Verbal tem mais informações profundas sobre isso.

(04:44) O governo nepalês já vinha em um cabo de força com as redes sociais para que essas empresas instalassem escritórios no Nepal, coisa que o governo brasileiro já fez há mais tempo. Ou seja, se você tem que operar aqui, vai ter que ter um escritório aqui, até para podermos te demandar judicialmente, etc.

(05:07) Quais eram as intenções do governo nepalês com relação a esses escritórios? Eu não sei. Então, é algo a ser investigado por outros podcasts e jornalistas. Mas existia esse cabo de força entre o governo nepalês e as redes sociais.

(05:29) Pelo que ouvi no próprio Xadrez Verbal, que acompanhamos, existe uma situação bastante grave de corrupção lá, bem intensa, pelo que parece. E aí, o governo nepalês teria bloqueado as redes sociais em razão do descumprimento, por parte dessas redes, da determinação de terem um escritório no Nepal. Mas daí, aquilo que comentávamos antes, Guilherme: é legítimo que o governo exija que se tenha um escritório no país. Só não sabemos as intenções do governo nepalês com relação a isso, se tinha alguma coisa envolvendo…

(06:08) …tentar suprimir dissidência política ou coisa parecida. Não sabemos. E vamos lá: “Ah, mas essas redes não fariam isso porque são pela liberdade de expressão”. Já comentamos isso. O X e outras já ficaram muito felizes em cumprir ordens que bloqueiam e limitam a liberdade de expressão em vários países com ditaduras. Eles не têm nenhum problema, nenhum pudor com isso. E aqui no Brasil tem outras questões, mas enfim.

(06:43) E aí é uma dúvida minha mesmo, Guilherme. Não sei se o governo nepalês simplesmente bloqueou as redes sociais por causa desse descumprimento ou se, já prevendo uma movimentação muito forte contra o governo por meio dessas redes, ele juntou a fome com a vontade de comer. Já tinha aquela determinação para as empresas terem escritório no Nepal, e elas не tinham. Aí, de repente, sentindo uma ameaça vindo pelas redes sociais: “Então, vou bloquear…”

(07:23) “…as redes sociais com a desculpa de elas não terem posto o escritório no Nepal”. Isso aqui é uma suposição minha completamente. No Nepal, não no Brasil. Eu falei no Brasil?

(07:41) Longe disso. No Brasil, obviamente, as coisas são bem diferentes do Nepal nesse sentido. Então, o que temos ali é esse bloqueio das redes e a tal Geração Z sai às ruas protestando não apenas contra o bloqueio das redes, mas contra a corrupção. E aí a coisa se desenrola com violência, com casa sendo queimada, gente morrendo, esse tipo de coisa. E essas redes são bloqueadas de fato. E aí acontecem duas coisas que nos chamaram a atenção.

(08:21) Uma é que eles passaram a utilizar o Bitchat, que até instalamos para dar uma olhada, pois não conhecíamos o aplicativo. É um aplicativo interessante para comunicação em rede, tanto via Bluetooth quanto via internet, de forma anônima. Não tem conta, você simplesmente abre o aplicativo peer-to-peer e sai conversando.

(08:46) O que eu achei interessante é que, com esse aplicativo, você pode conversar com pessoas que estão na mesma região geográfica que você, ou pode se “teletransportar” para uma região e conversar com o pessoal de lá. Literalmente, aparece o mapa do globo e você escolhe onde quer estar.

(09:06) Mas o mais interessante é que esse aplicativo faz a comunicação via Bluetooth com distância de até 30 metros. “Poxa, mas para que eu vou usar isso? Para conversar com o Guilherme que está em Porto Alegre, eu não consigo usar via Bluetooth, por óbvio”. Perfeito. Mas numa situação em que você tem um grupo, uma grande massa de pessoas protestando ou querendo se coordenar, mesmo que esse grupo abranja uma área bem maior do que 30 metros, até mesmo quilômetros…

(09:43) …usando o aplicativo BitChat, ele monta uma rede, independente da internet, via Bluetooth entre esses dispositivos para a comunicação entre as pessoas que estão nesse local. Então, de repente, você tem 1.000, 5.000, 10.000 pessoas num determinado local usando esse aplicativo.

(10:07) Ainda que a rede caia, que não tenha rede social, WhatsApp, Signal, seja o que for, é possível a comunicação entre os aparelhos que estão nesse grupo. E uma coisa interessante é justamente essa característica da rede mesh: você tem um aparelho roteando, ou seja, encaminhando mensagens cifradas de um para outro até chegar nos destinatários que estão naquele local.

(10:30) Então, de repente, o Guilherme está lá na frente do grupo. Eu estou a 1 km de distância dele. Claro que o meu Bluetooth não vai chegar lá, mas as mensagens serão roteadas através dos telefones de outros participantes que estão entre nós usando o mesmo aplicativo até chegar a mim, e conseguimos nos comunicar.

(10:54) Conseguimos nos comunicar individualmente, de forma privada, ou com o grupo todo que se encontra naquela área. Então, é um aplicativo bem interessante, eu realmente não o conhecia. Parece que esse aplicativo foi utilizado no Nepal durante os protestos, não sei se continua sendo. A outra questão que comentei antes, que também envolve tecnologia, é que houve uma grande discussão no Discord, num servidor com em torno de 150.000 pessoas.

(11:24) Me chamou a atenção que não foi algo simples, do pessoal se juntar para eleger um substituto, o que acabou meio que acontecendo. Mas funcionou como um grande fórum em que as pessoas entravam para discutir o que seria feito do governo, como haveria a dissolução das entidades deles, quem seria deposto e quais seriam as consequências.

(11:54) Começou uma discussão política mesmo, que acabou ficando travada por algum limite de entrada de pessoas; com 150.000, havia gente querendo entrar e não conseguia. E o que os organizadores desse fórum fizeram? E é inclusive uma entidade que organiza esses protestos, não é uma pessoa que saiu criando o servidor.

(12:18) Eles começaram a transmitir as discussões do Discord no YouTube. E a TV estatal nepalesa começou a transmitir ao vivo essas discussões. Isso acabou validando e dando legitimidade, de alguma forma, àquelas discussões que estavam acontecendo no servidor do Discord.

(12:46) Então, no final das contas, depois de discussões acaloradas, problemas de pessoas entrando e “trollando” o servidor, aconteceram várias situações desse gênero. Quando conseguiram afunilar para dois possíveis substitutos para o governo, ainda que interinos, acabou sendo uma mulher a escolhida para assumir por seis meses.

(13:15) E essa escolha, feita no Discord e transmitida no YouTube e pela TV estatal nepalesa ao vivo, acabou sendo acatada pelo exército nepalês, que estava no comando da situação. E ela de fato assumiu, com o apoio de todos, como um acordo.

(13:42) Assumiu para atuar por seis meses até haver novas eleições no Nepal. Me chamou atenção, Guilherme, e já vou encerrando para não estender demais o assunto, o fato de que todo mundo está falando, com manchetes como: “As redes sociais escolheram o novo governo do Nepal” ou “O novo governo do Nepal foi escolhido pelo Discord”.

(14:08) Não, gente. Essas coisas são meios de comunicação. Muito embora, como conversamos antes, elas tenham seus filtros, suas tendências, seus algoritmos de recomendação que podem tentar manipular as coisas, como já aconteceu no passado. Mas, em essência, foram pessoas se comunicando e se coordenando que acabaram fazendo isso.

(14:32) Mas é isso. O foco que eu queria dar aqui é na questão do Bitchat e no uso do Discord, como essas coisas se deram. E recomendo mais uma vez que vocês procurem o Xadrez Verbal, que é um podcast muito bom. Eles comentam também sobre isso. É um podcast que todo final de semana eu escuto.

(14:58) Sai na sexta, eu acho. Eles gravam na quinta. Sábado, sexta. Por ali. E no final de semana eu sempre escuto. É isso aí.

(15:10) Bom, enquanto você falava, eu estava pesquisando um pouco também. A coisa lá se deu com alguns argumentos parecidos com os que temos aqui no Brasil. O objetivo do governo teria sido, sim, combater desinformação e conteúdos ilegais nas plataformas.

(15:29) Uma ordem de 2023, ou seja, houve um tempo para que as redes pudessem se organizar. Das 26 plataformas afetadas, somente cinco cumpriram, entre elas o TikTok, a rede chinesa. É interessante, enquanto você falava, eu estava com o mapa do Nepal aberto aqui para ver suas fronteiras. Do lado do Butão ali, fronteira com o Tibete, a China está do lado. Fica naquela área. Os críticos disseram que, na verdade, seria uma…

(16:07) …tentativa de silenciar movimentos anticorrupção online. Então, os argumentos são um tanto quanto parecidos. E, como comentávamos antes, uma coisa que me incomoda um pouco é: “elegeu-se uma pessoa” sem precedentes de eleição. Não foi bem uma eleição, porque certamente você não tem nem amostra. Imagina uma eleição por rede social? Quem participa daquela rede? Quem são as pessoas que votaram? É algo muito…

(16:46) …diferente de uma eleição. E ainda usando o nome do Discord, isso tudo me parece um pouco como um lobby. “Olha, agora…”. E de fato as redes sociais e a internet são importantes, desde as manifestações de 2013 e tantas outras organizações no passado, e agora no Brasil, com o papel das redes nessas questões políticas que temos visto nos últimos tempos. Mas me parece uma tentativa de colocar uma imprescindibilidade…

(17:20) …da rede como um espaço e um fórum que eventualmente viria a substituir até mesmo uma eleição de um Estado, como se uma rede social, com todas as suas contradições e interesses, pudesse substituir um processo legítimo e democrático de uma eleição.

(17:43) Isso é um absurdo sem tamanho. Tem duas coisas aí. Primeiro que a população do Nepal, estava olhando aqui, é de 29 milhões de habitantes. E naquele canal do Discord tinha pouco menos de 150.000 pessoas. E segundo, que o pessoal fica criticando, por exemplo, o processo brasileiro de votação…

(18:14) …e ao mesmo tempo festeja usar um canal do Discord. “É isso aí, vamos todo mundo pro Discord fazer votação, que ali vai ser legítimo, ali não vai dar confusão nenhuma”. Exatamente. São as diversas contradições que a gente tem visto recentemente e que не se encontram. Não adianta.

(18:32) Enfim, muito bom. Adelante, vamos com a sua. Vamos. Agora um pouco de YouTube. Foi lançado recentemente, há dois dias, pelo NetLab da UFRJ, um estudo sobre os sistemas de recomendação de notícias no YouTube. Já falamos aqui outras vezes, é um assunto bem conhecido. Os algoritmos de recomendação, animados por inteligência artificial, têm se tornado um motor das redes já há bastante tempo. Aquela ideia do feed infinito que fica te mostrando coisas com base…

(19:13) …no seu perfil e tudo mais, exerce um papel muito grande não no controle de conteúdo, mas em como o conteúdo trafega ou se expande pelas redes. Então, aquela ideia de redes mais antigas, de que o melhor conteúdo seria privilegiado e que as pessoas veriam sempre os melhores conteúdos, isso não acontece mais. Até porque são os algoritmos que controlam basicamente o que vemos na grande maioria das redes. Não são todas, existem muitas redes diferentes, mas no YouTube isso é…

(19:53) …bem verdadeiro. Quem já usou o YouTube sabe que, ao rolar a página, ele vai recomendando coisas que estão fora dos canais que você segue, se é que segue. Por sinal, siga o canal do Segurança Legal, é muito importante.

(20:11) Habilite o sininho e aquela coisa toda. Porque o canal do Segurança Legal não vai ser recomendado lá na página de notícias do YouTube. Então, o que eles fizeram? Começaram a analisar esse sistema de recomendações, que pode ser muito espúrio. Já falamos sobre aquele teste que eu fiz: você abre um YouTube vazio, começa a navegar e, em determinado momento, ele começa a te mostrar armas e algumas coisas bem estranhas.

(20:36) Eles fizeram, então, um mapeamento do sistema de recomendação. E levantaram, em primeiro lugar, algo que é bem óbvio, mas o óbvio precisa ser dito: que os critérios de priorização e de recomendação são absolutamente opacos. A gente não sabe como esses algoritmos são configurados.

(20:56) E eles repetem as recomendações de notícias. Apenas de canais de notícias que eles avaliaram, dos canais que fazem parte do Google News Initiative. Em primeiro lugar, a rede mais recomendada foi a CNN Brasil. Em todos os casos, a CNN Brasil foi recomendada.

(21:21) Como eles fizeram? Entraram em “principais notícias”, ficaram lá por 38 dias monitorando, realizaram 3.551 aquisições de dados e 597.000 recomendações. Eles pegavam um navegador limpo, sem histórico, entravam lá e recuperavam os dados. 153 canais foram recomendados, e a CNN Brasil foi a mais recomendada em 100% dos casos. Em 54% dos casos, as recomendações se concentraram em apenas 10 canais.

(21:52) E aí foram Jovem Pan, UOL, Band Jornalismo e Metrópoles. Eles levantaram um dado também, não foram eles que chegaram a essa conclusão, pegaram de outros estudos, que mais de 70% do conteúdo acessado no YouTube provém das recomendações. Ou seja, o YouTube decide. O algoritmo do YouTube é um direcionador de audiência, ele tem um poder sobre o que as pessoas vão assistir e exerce um papel fundamental na visibilidade do canal de notícias. Depois, eles ainda analisaram os canais que estariam em primeiro lugar na…

(22:30) …recomendação. CNN sempre na frente, mas em alguns casos G1, depois Jornal da Record, Band, UOL, Jovem Pan e SBT News. Conclusões, que são meio básicas: o YouTube não garante oportunidades iguais para diferentes veículos. As recomendações afetam a audiência, influenciam na monetização dos canais e, principalmente, têm função editorial.

(22:58) Ou seja, mais uma vez, o YouTube tem o poder de decidir o que vai ser visto, pelo menos em 70% dos casos. Temos um espaço em que os algoritmos não são auditáveis.

(23:24) No que diz respeito a notícias, eles têm, sim, o poder de direcionar, para o bem e para o mal. Poucos canais entram nessa recomendação que eles verificaram, com a CNN na frente. E, no final das contas, isso está um pouco ligado com a questão anterior. Porque se cada vez mais as pessoas estão se movendo para o YouTube para acessar notícias – e é o meu caso, eu vejo notícias pelo YouTube, tenho meus canais preferidos que, sei lá, vou para a academia, coloco a notícia e fico ouvindo… e esse é o meu perfil.

(24:01) Mas sabemos que as pessoas são afetadas pelas recomendações de formas muito diferentes. Então, isso está ligado um pouco com o caso do Nepal. Imagina, voltando lá um pouco, qual seria o poder dessas redes em direcionar certos discursos, em apresentar certas notícias ou posicionamentos que se coadunam com os próprios interesses das redes?

(24:34) Essa é uma discussão democrática que eu acho que precisa ser feita e que passa meio longe do “ah, o Estado quer controlar a liberdade de expressão”. Na verdade, a liberdade de expressão já está sendo modulada pelas redes há muito tempo. A partir do momento em que eles decidem o que vai ser apresentado em primeiro lugar, isso afeta a liberdade de expressão, porque nem todos terão as mesmas oportunidades.

(25:00) E quando os critérios que direcionam essas recomendações não são claros, você tem uma influência na liberdade de expressão que me parece muito flagrante. Porque ficamos na mão dos interesses de uma rede social.

(25:14) Guilherme, e aí tem duas coisas, duas experiências que eu tive. Uma está acontecendo agora, na última semana, no YouTube mesmo. O esquema de recomendação mudou de alguma forma para mim. O que estava muito bem alinhado com os meus interesses deu uma desalinhada. Mas não tem a ver com celular diferente? Não, estou usando no computador.

(25:48) Eu assisto muita coisa no computador, notícias, história, e outras coisas que gosto de ver. E, cara, não sei o que houve. Na última semana, a coisa deu uma virada, ficou meio ruim para mim. Mas essa é uma experiência que estou percebendo.

(26:14) E assim como existem esses vieses ou esse controle editorial nas redes sociais, eu comentava contigo que acontece a mesma coisa no ChatGPT, e eu percebi. Acho que cheguei a comentar aqui. Não sei se lembra, o South Park fez uma ironia com uma representante do governo Trump em que citam a situação em que ela, em um livro, colocou que matou o próprio cachorro. E eu quis ver se aquilo era real.

(26:49) Porque ouvi isso num podcast e fui no ChatGPT perguntar: “É verdade que fulana matou o cachorro dela?”. Ele disse que não podia afirmar, que não tinha como dizer. Eu pensei: “Ué, o podcast que eu escuto não mente”.

(27:11) Dei uma olhada, fui no Perplexity fazer a mesma consulta. O Perplexity me trouxe: “Sim, ela afirmou isso no livro tal, o contexto é este aqui”. Eu pensei: “Não é possível, cara”. Voltei no ChatGPT e fiz uma pesquisa ainda mais explícita: “Olha, foi no livro tal, ela afirmou tal coisa, você consegue verificar para mim?”. E ele dando respostas evasivas, dizendo que não, que na verdade não se sabe, e não sei o quê.

(27:42) E ele tem feito isso com outras situações. O ChatGPT, vocês podem testar. Peguem figuras ligadas ao governo Trump e tentem fazer perguntas sobre coisas negativas a respeito dessas pessoas, coisas que disseram, e vejam a reação do chat. Façam a mesma pesquisa no Perplexity para vocês verem.

(28:04) Então, existe uma decisão editorial ali até mesmo na IA. Inclusive. E que é mais difícil de se apurar. Cara, eu fiquei desconfiado porque a fonte inicial onde eu tinha ouvido esse tema específico, dessa representante do governo Trump, era confiável.

(28:35) É um podcast da NPR, a rede pública de broadcast de lá. Por outro lado, ela também tem sido afetada pelo governo americano, porque estão a retirar… eles também teriam um eventual interesse em falar mal do governo. Exato. Mas eu achei a coisa tão absurda.

(28:58) É, mas eu achei que uma coisa assim: matar o cachorro é absurdo, mas é tão absurdo colocar isso num livro autobiográfico. E aí eu quis ver se ela realmente fez isso. Por curiosidade, eu fui investigar. Desconfiei do ChatGPT, pensei: “não é possível que tenham mentido nesse nível”. Fui no Perplexity e ele me deu a informação direitinho. E cara, eu não consegui fazer o GPT me dizer que ela tinha escrito no livro que tinha matado o cachorro e o contexto em que isso aconteceu. O GPT não me trouxe isso.

(29:27) Enfim. Certo. O que temos depois aí, Vinícius? Cara, eu tinha três notícias, mas uma eu guardei para talvez fazermos um episódio só sobre ela, que pode ser bem interessante.

(29:47) Vamos ver se conseguimos contato com as pessoas que precisamos. Mas vou citar que na Suíça foi lançado o Apertus. O nome é Apertus. Tinha um software da Apple chamado Aperture, que eu usava inclusive, sou um viúvo do Aperture. Mas eles criaram um modelo, Apertus, que é código aberto, open source. Não fui ver se são só os pesos que são open source ou se tem todo o material de treinamento. Possivelmente sim, porque a diferença dele…

(30:36) …a alternativa dele em relação ao ChatGPT, ao Claude da Anthropic, etc., é que ele é um modelo treinado exclusivamente em dados públicos, dados abertos, não em dados com direitos autorais ou livros pirateados, que sabemos que foram parar em vários modelos de IA.

(31:09) Eles lançaram o modelo, que foi treinado para 1800 linguagens. Ele vem em dois tamanhos: 8 bilhões e 70 bilhões de parâmetros. Eu ainda não baixei na minha máquina. O de 8 bilhões eu consigo rodar, o de 70, dependendo da situação, também.

(31:27) Então, não consegui brincar com ele ainda, mas pretendo. Dizem que ele é comparável ao Llama 3 da Meta. Mas, enfim, o interessante é ser um modelo suíço, open source e baseado exclusivamente em dados públicos, o que é bem interessante. A minha outra aqui, Guilherme…

(31:51) O nome “Llama” tem a ver com Dalai Lama, você sabe? Ah, não. O da Meta, não sei de onde tiraram esse nome, nunca fui atrás. Posso agora, já que você perguntou. Fala a outra que eu vou pesquisar aqui. Só lembrando que o Dalai Lama não é do Nepal, é do Tibete.

(32:10) A gente estava falando do Nepal. Mas beleza. São os pulos que a mente dá. Mas outra coisa interessante, não a notícia por si só, mas eu estava ouvindo um podcast, deixa eu recomendá-lo direitinho para não ficar falando “um podcast” sem dar o contexto.

(32:42) Pera aí. Acho que foi no The Daily. Tem um podcast chamado The Daily, do The New York Times, e é o episódio que saiu ontem, “Trapped in a ChatGPT Spiral”, em que falam sobre as pessoas que começam a estabelecer relações bem perigosas com IA, mais especificamente com o ChatGPT. Eles contam duas histórias: a de um cara que começa a conversar com o ChatGPT e começa a achar que é superinteligente…

(33:17) …e que tem uma coisa fantástica nas mãos que ele descobriu, e ele cai na onda do ChatGPT. Inclusive, ele é entrevistado. E uma outra situação, um pouco mais grave, envolvendo até a questão do suicídio. A repórter toma bastante cuidado ao tratar do assunto. A pessoa começa a entrar numa vibe de conversa com o ChatGPT, às vezes conversas de caráter suicida.

(33:53) E o ChatGPT faz o seu papel de dizer: “Procure ajuda, etc.”. Nesse caso que eles comentaram, a pessoa fez um “jailbreak”, ou seja, conseguiu convencer o chat a ajudá-la a cometer suicídio, apesar de o ChatGPT ter certas proteções para dizer: “Olha, não posso te dar essas instruções”. Eu não vou dizer o que a pessoa fez, para não ficar divulgando formas de fazer isso. Espero que eles resolvam isso.

(34:22) Mas o fato é que um adolescente conseguiu. Ele ficou por muito tempo conversando com o ChatGPT, a família não sabia de nada. Um belo dia, ele cometeu suicídio. A coisa foi tão inesperada que os familiares acharam que tinha sido um acidente bobo, porque não encontravam nada relacionado a essa tendência dele. Só quando desbloquearam o celular dele é que encontraram o chat e viram que era muito mais do que só uma IA para ele.

(34:57) E o ChatGPT deu recomendações de como cometer suicídio. Ele falhou algumas vezes, ficou com marcas no corpo por causa das tentativas. Ele pediu ajuda ao chat para saber como poderia esconder essas marcas. E o ChatGPT deu dicas.

(35:27) Ele depois tentou fazer com que a mãe dele visse as marcas, deixou meio exposto, mas a mãe teria visto e não disse nada. Como eles sabem disso? Porque ele disse isso para o chat depois: “Ah, eu mostrei, mas ela viu и não disse nada”. E o chat teria dito algo como: “É, às vezes as pessoas realmente não nos veem, mas eu vejo você”. Um negócio horroroso.

(35:56) A própria repórter ficou muito impactada com as histórias, é emocionante, um negócio bem impactante. Mas essa não é a notícia, esse é o podcast que eu escutei ontem. Vocês podem procurar no The Daily, quem tiver interesse. “Ah, mas eu não consigo escutar em inglês”. Gente, está cheio de ferramenta de IA.

(36:19) Esse é um uso útil da IA. Tem a transcrição do episódio, dá para pegar a transcrição, jogar na IA para traduzir, montar um podcast rápido para ouvir. Tem várias maneiras de chegar nesse conteúdo. Mas tem uma notícia, Guilherme, que inclusive foi você que me mostrou, do site Futurism, em que o título é: “A OpenAI diz que está escaneando as conversas no ChatGPT dos usuários e reportando o conteúdo para a polícia”.

(36:56) E eu achei muito interessante, porque é justamente nessa linha do que a mãe do adolescente que cometeu suicídio disse no podcast: “Como eles não chamam alguém, como não geram um alerta de que a pessoa pode estar se preparando para se machucar?”.

(37:25) E aqui vemos uma situação, nesse artigo, em que eles comentam justamente isso. Primeiro, eles não dizem exatamente como fazem essa varredura, em que situações isso vai ser comunicado à polícia ou como é feito. Claro, me parece que coisas meio óbvias, como “como faço para matar meu vizinho sem ser pego?”, talvez gerem um alerta, e aí eles mandam para revisores humanos.

(38:01) Agora, com que critério exatamente isso é feito, não está definido. E, ao mesmo tempo, eles chamam a atenção na própria matéria para o fato de que a OpenAI está fazendo isso para denunciar pessoas para a polícia, mas não faz o mesmo ou não tem medidas adequadas ou eficazes…

(38:32) …para justamente evitar esses comportamentos, que não são isolados, de automutilação ou suicídio apoiados pela IA, que acabam sendo incentivados pela IA. Então, a OpenAI está meio perdida nesse negócio. Por um lado, está atendendo demandas, claramente, como eu falei antes, do governo norte-americano, no sentido de não dar certas informações, ser evasiva com certas coisas.

(39:09) Ela não está tomando os cuidados necessários para evitar essas conversas em que a pessoa recebe instruções de como cometer suicídio. E foi relativamente simples o que o adolescente fez para conseguir esse “jailbreak”.

(39:35) E foi algo relativamente simples e também claramente identificável como um comportamento que mereceria alguma análise. É que a maneira como ele fez, Guilherme… Eu não quero divulgar aqui, quem quiser pode ir lá olhar no podcast. Mas a maneira como ele fez é uma situação legítima de se ter esse tipo de informação.

(39:57) É semelhante a uma coisa que eu conversava anos atrás numa universidade: “Temos que bloquear pornografia aqui dentro”. Beleza, óbvio que é inapropriado alguém ver pornografia numa biblioteca.

(40:16) Mas, de repente, tem alguém fazendo um estudo justamente sobre o consumo de material pornográfico e o impacto na vida das pessoas. E esses pesquisadores vão ter que acessar material pornográfico dentro da instituição.

(40:32) Então, existem exceções, situações em que essas coisas são legítimas, dados certos cenários ou contextos. E o detalhe é que o GPT é sensível a essas mudanças de contexto e acaba atendendo. Só que, ao mesmo tempo, Guilherme, quando o adolescente… aí sim, tinha coisas evidentes. Quando ele tira foto de marcas do corpo dele dizendo que falhou e quer saber como esconder a marca, cara, aí o ChatGPT tinha que ter alertado…

(41:13) …alguém. No sentido: “o cara tentou suicídio e está aqui pedindo ajuda para esconder a marca da tentativa. Ele precisa de ajuda”. Como fazer isso? Isso é delicado também. Quem acionar, como acionar… Mas sabe que tem um ponto aí? O mesmo grupo de empresas que dominou a internet nos últimos anos, as chamadas big techs…

(41:41) …esse pool de empresas, com algumas novidades como a OpenAI, que já entra no clube das big techs, são as mesmas que têm criado produtos e serviços que nem sempre são benéficos para a sociedade. Com todos os problemas… mas, poxa, o caminho já conhecido, por exemplo, do Instagram, e o papel dele na autoestima de meninas, o problema no conceito de beleza…

(42:23) …e sobre como meninas têm feito intervenções cirúrgicas cada vez mais cedo. Essas coisas estão muito relacionadas, e as empresas sabem desse papel, às vezes nocivo, que essas tecnologias têm. E a gente fica achando que não, que agora a IA vai ter uma bússola moral ampliada. A IA serve aos propósitos de seus donos.

(42:58) Simples assim. Ela pode parecer muito bonitinha e inteligente, mas é um algoritmo que é configurado, para dizer de uma maneira bem simples, para funcionar da forma como eles querem. Claro, com algumas imprevisibilidades, evidente. É uma tecnologia que tende à imprevisibilidade, mas também permite controles, “guard rails”, e pode ser guiada para fazer coisas muito específicas, como o exemplo do estúdio japonês, que gerava desenhos no estilo deles. Aquilo não é um acaso.

(43:36) Aquilo é algo pensado. Então, quando vemos esses depoimentos que você coloca, “ah, de repente sobre certos assuntos ela está dando respostas evasivas”, eu acho que isso vai acontecer cada vez mais. E, ligado com o problema do YouTube, teremos essas interferências no discurso de maneira geral. É um problema que precisamos resolver, mas, ao mesmo tempo, por trás de tudo isso, há alguns fantasmas sobre a liberdade de expressão. É um…

(44:12) …assunto supercomplexo. Obviamente, aqueles que defendem a liberdade de expressão em todos os espectros políticos têm razão. Mas, ao mesmo tempo, não é um valor absoluto, que permitiria que, em nome da liberdade de expressão, big techs pudessem fazer qualquer coisa, porque os interesses delas também são enviesados. Essas coisas estão todas muito conectadas.

(44:48) Vamos para o Itaú e já vamos terminando. É uma propaganda? A gente está sendo patrocinado pelo Itaú? Não me diga. Não, não estamos. Então, tá bom. O que aconteceu? Uma coisa bem chata com os funcionários de TI do Itaú. Na última semana, mais de 1.000 bancários foram demitidos. Até aí, eventualmente, um movimento de mercado, corte de custos. Mas…

(45:27) …o que chamou a atenção foi como e por que foram demitidos. Porque se utilizou como critério informações de ferramentas de monitoramento nos computadores desses funcionários, que mediam, entre outras coisas, o seu tempo de tela. Esses funcionários trabalhavam remotamente ou em regime híbrido.

(45:52) Os computadores que eles utilizavam, de propriedade do Itaú, possuíam softwares de monitoramento. E se alegou – o Itaú não deu muitas informações – que se mediam questões como cliques, tempo de tela, tempo de reuniões, uso de certos aplicativos. Em alguns casos, disse o banco, foi levantado que haveria períodos de inatividade nas máquinas corporativas, em alguns casos, de mais de 4 horas.

(46:29) Por que isso é importante? Aí você tem vários problemas. Isso é o que no direito do trabalho se poderia chamar de um novo tipo de subordinação. Uma das características de uma relação de emprego é a subordinação jurídica do empregado ao empregador, que, entre outras coisas, dá ao empregador o poder diretivo de dizer o que o empregado vai fazer. E também…

(47:03) …dentro do poder diretivo está o poder de monitoramento do trabalho, plenamente normal, previsto em lei. É um comportamento que deve ser realizado, o empregador tem que monitorar o trabalho do empregado. A questão ocorre quando essa subordinação ou monitoramento se dá por meio de algoritmos, e temos visto isso acontecer.

(47:31) E é muito engraçado, porque enquanto não está chegando na gente, na sociedade em geral, tudo bem. Você sabe que está acontecendo, mas aí vai chegando mais perto. Por exemplo, temos grupos muito grandes de trabalhadores, sobretudo nessas economias de plataforma como Uber, 99, iFood. Essas pessoas têm um tipo de trabalho muito precarizado, trabalham demais, quando se…

(48:01) …machucam, não têm recurso a uma previdência, muitas vezes não têm seguro. Se não trabalha, não ganha. Não tem nem folga. Tudo aquilo que já conhecemos. Já há uma subordinação algorítmica nesses espaços. Tanto que, quando pesquisamos jurisprudência, há muitas ações de pessoas que são desligadas das plataformas sem muitas explicações.

(48:31) Algumas são desligadas com explicação, porque descumpriram as regras. Mas há uma intensificação da despersonalização nesses ambientes. Fica cada vez mais difícil você eventualmente se justificar, explicar por que aquilo aconteceu. E isso se liga com a LGPD, porque nos ambientes de uma relação de emprego, voltando ao Itaú, temos o que chamamos de decisões automatizadas. Estão se utilizando dados para a tomada de…

(49:11) …decisões automatizadas que têm uma intensa influência na vida da pessoa. Ou seja, essa decisão automatizada sobre o monitoramento das suas práticas de trabalho teve como efeito, na vida dessas 1.000 pessoas, a sua despedida.

(49:32) Você foi demitido por conta do uso de dados pessoais. E isso é importante. Aí nasce o direito à revisão das decisões automatizadas, garantido pela LGPD. E aí vem a ideia de uma possível investigação sobre o direito da empresa de monitorar – e eu vou mais longe, é o dever de monitorar.

(49:57) A empresa tem o dever de monitorar o empregado. A depender do tipo de trabalho, por exemplo, em instituições financeiras, isso é um dever. Ele é obrigado a monitorar o funcionário para questões de lavagem de dinheiro ou para evitar, agora com as novas regras do Banco Central, mais ainda, o monitoramento sobre terceiros.

(50:15) Então, a grande questão aqui é investigar esse poder-dever de monitorar versus o eventual abuso do empregador. Temos critérios mínimos: o empregado deve saber como isso é feito, a empresa deve ser transparente quanto aos critérios utilizados, as políticas internas devem prever quando, como e quais serão os efeitos, e como ele pode se opor, se explicar ou alegar falhas. O algoritmo pode falhar. Eventualmente, o sujeito está fazendo outras coisas longe do…

(50:54) …computador. Às vezes, certos aplicativos, como o Teams, entram automaticamente em modo de inatividade quando você não está no aplicativo, mas pode estar fazendo outras coisas.

(51:18) São muitos detalhes. E aí veio o sindicato, a imprensa ouviu alguns empregados. Um deles disse: “Não, mas pera aí, teve uma semana que eu trabalhei sete dias seguidos, inclusive de madrugada”. Um cara que estava há 10 anos no banco, tendo sido promovido e premiado por desempenho.

(51:40) E quando foi demitido, não foram apresentados a ele os dados que motivaram a despedida. Além de ele não ter obtido um feedback anterior, que eventualmente poderia alertá-lo. A chefia poderia dizer: “Olha, estamos detectando um padrão…”. E nada foi feito.

(51:58) O problema é esse: a ideia de uma despersonalização e uma desumanização do controle. Lidamos com pessoas, Vinícius, o tempo todo. Na nossa empresa, temos pessoas trabalhando conosco e sabemos como as situações são muito específicas. E tendemos sempre a tratar… faz parte dos valores da Brown Pipe, inclusive, a humanização das relações.

(52:31) Só que esse tipo de prática vai no sentido contrário e, no fim das contas, acaba trazendo ambientes de trabalho mais complicados psicologicamente. É mais difícil para as pessoas trabalharem num contexto em que sabem que, se não estiverem olhando para a tela e clicando o tempo inteiro, podem ser demitidas. Isso é muito delicado para a saúde mental das pessoas.

(52:57) Mas eu consigo ver muito isso acontecendo, Guilherme, e cada vez mais, num futuro próximo. Eu estava vendo uma pesquisa que a Anthropic fez sobre os usos de seus próprios modelos, e há muito uso de automação empresarial.

(53:25) E a tendência é essa: acelerar. Principalmente as empresas que têm condições de investir mais do que pessoas físicas. A tendência delas é automatizar vários processos, e uma das coisas que se fala é até mesmo o “CEO de IA”, contratar a IA como CEO ou como suporte para um CEO. Então, eu creio que, não estou dizendo que isso é bom ou que eu gosto, mas o que eu creio que vai acontecer é que teremos cada vez mais decisões desse gênero – de desligar pessoas, remanejar…

(54:06) …sendo não só influenciadas ou feitas com base em recomendação da IA, mas feitas pela IA. Então, temos um cenário bem promissor para confusões. Porque vai chegar a um ponto: “Ah, mas foi demitido, não sei por quê”. “Beleza, então vou fazer a IA, ao te demitir, fazer um texto bonitinho dizendo quais foram as situações ou os índices que levaram à sua demissão”. A própria IA vai fazer isso. É uma maquinação do seu…

(54:50) …trabalho. Você é tratado definitivamente como uma máquina que, se não atende a critérios muitas vezes incontroláveis por você, vai sair do mercado.

(54:58) Eu acho que teremos muita confusão relacionada a esses processos automatizados com IA, impactando diretamente as pessoas. Já temos, mas teremos mais.

(55:20) Lá nos Estados Unidos, só para terminar, são conhecidas as más práticas que a Amazon tem com seus entregadores. Tem aquelas histórias de o sujeito ter que fazer xixi em garrafinha porque não tem tempo nem para parar para ir ao banheiro. E aí, a Amazon testou e utilizou…

(55:53) …câmeras com monitoramento feito por IA nas vans de entrega. Instalaram essas câmeras que faziam telemetria de 15 ações do motorista. E aí, sim, apertando cada vez mais essa despersonalização, essa desumanização do controle. E o pior: isso já é um problema para as relações humanas, para a consideração da humanidade da pessoa no trabalho.

(56:26) A gente trabalha mais, Vinícius, do que faz outras coisas. A grande maioria das pessoas passa mais tempo no trabalho do que com a própria família. Logo, o tempo e a qualidade do trabalho são uma questão legítima para discutirmos, pelo bem-estar da humanidade. Não é algo como: “Ah, vou colocar uma IA para monitorar todo mundo”.

(56:53) É uma mudança radical no bem-estar das pessoas, com impactos que não temos noção. Estamos vendo o que está acontecendo, é novo, estamos explorando, não sabemos exatamente os impactos que isso vai ter. É tudo muito novo e, ao mesmo tempo, estamos tendo pouco tempo para nos acostumar. Porque quando começamos a entender um efeito, vem uma novidade, uma alteração e começa a produzir outros, a agravar os que eram conhecidos. A própria questão do raciocínio…

(57:23) …crítico, já comentamos aqui, estudos mostram que reduzimos o emprego de raciocínio crítico, o que atrapalha até o processo cognitivo de aprendizado. Isso está em outro artigo.

(57:46) E isso nos parâmetros de hoje ou, na verdade, de quando os estudos foram feitos. Daqui a pouco, no final do ano, início do ano que vem, vamos precisar de outro estudo, porque haverá outros recursos, outras formas de funcionar que vão impactar. É interessante e, ao mesmo tempo, preocupante.

(58:08) Vamos, Vinícius, só para uma última linha, um minutinho. Sobre essas últimas fraudes no sistema financeiro brasileiro, que já falamos no episódio… se você puder ver, qual o episódio? Ah, ficou aqui a aba do “Llama” que eu perguntei antes, o que demonstrou minha absurda ignorância. O nome Llama, na verdade, é “Large Language Model” e alguma coisa. Ou seja, não tem nada a ver com Dalai Lama. Só mostra a minha ignorância. Óbvio, não teria como esperar isso do Zuckerberg.

(58:54) Então, o grupo que esteve envolvido nesses últimos dois grandes ataques foi preso. Suspeitos, na verdade. A PF prendeu um grupo de pessoas, não tenho o nome delas aqui, não vou ler, quem quiser entra na notícia. Mas o interessante foi que eles foram…

(59:21) …presos enquanto tentavam acessar o sistema da Caixa Econômica Federal por meio de um computador roubado de uma agência. Ou seja, estavam tentando praticar o mesmo ataque contra a Caixa.

(59:40) E olha que interessante: toda aquela questão da segurança da informação na cadeia de suprimentos, o controle de equipamentos roubados e as políticas de controle de acesso com revogação de contas. Os caras roubaram um notebook e estavam usando-o, teriam inclusive conseguido acessar a VPN e entrar nos sistemas da Caixa, mas, ao que tudo indica, não conseguiram fazer a fraude. Tem poucas informações sobre isso, mas esses suspeitos foram presos. Então, só essa notinha sobre um dos maiores ataques…

(1:00:09) …ocorridos no Brasil. Temos o episódio 401, Guilherme, em que falamos das novas regras de segurança do Banco Central e comentamos as situações, e o 396, em que falamos sobre o ataque bancário bilionário. Sim, é isso aí. O 396 e o 401 tratam das consequências desses ataques. Inclusive, gravei um material na terça-feira com a Camila, que ela deve colocar no YouTube e Instagram, justamente comentando sobre essas novas regulações do Banco Central.

(1:00:46) Legal. Vamos lá, então. Agradecemos a todos que nos acompanharam até aqui e nos encontraremos no próximo episódio do podcast Segurança Legal. Até a próxima. Até a próxima.