Qual é a melhor ferramenta para detecção de IA?

Com o lançamento do ChatGPT e de outras ferramentas de Inteligência Artificial, ficou praticamente impossível detectar o que realmente está sendo produzido por um humano e o que está sendo feito pela IA. Ainda bem que é “quase” impossível — ainda assim, conseguimos detectar.

Estivemos, nos meses anteriores, debruçados em encontrar uma solução para a detecção de conteúdos feitos por IA e testamos várias ferramentas no mercado. Algumas não atendem ao idioma português, outras atendem parcialmente, e outras conseguem entregar algum resultado satisfatório.

Objetivo do estudo

Afinal, por que é importante para a Gear SEO diferenciar conteúdos que foram produzidos por Inteligência Artificial de textos que foram feitos por humanos?

Para essa pergunta, existem algumas respostas que acreditamos serem compatíveis com o nosso posicionamento de utilização da Inteligência Artificial como meio para produção de conteúdo, e não como fim. Inclusive, já explicamos, em um artigo anterior, a nossa visão sobre esse assunto.

Conteúdos produzidos pela Gear SEO

Uma vez que assumimos que somos 100% orientados em utilizar a Inteligência Artificial para pesquisas, auxílios na estruturação dos textos e demais tarefas que compõem a dinâmica de criação de briefings, temos de ter uma ferramenta que comprove que nossos conteúdos são, de fato, elaborados por profissionais humanos.

Temos de garantir isso na produção de conteúdo tanto para o projeto de SEO quanto para o projeto de Link Building. Ressaltamos que, no nosso processo, utilizamos a IA apenas como meio.

Organizações que desconhecem como o conteúdo é produzido

Percebemos que, após o surgimento da tecnologia de Inteligência Artificial, dois tipos de demandas de produção de conteúdos surgiram:

• Agências que produzem conteúdo e utilizam o ChatGPT ou ferramentas similares como auxílio para a criação, mas entregam os textos validados e criados por um humano;
• Agências que produzem e entregam 100% dos conteúdos feitos por Inteligência Artificial, sem interferência alguma de humanos.

A questão principal não é o modo como as agências trabalham, mas a clareza sobre essas práticas para as organizações. Em várias ocasiões, temos visto que empresas contratam agências que afirmam entregar conteúdo produzido por humanos, porém, no final, ele é 100% feito por Inteligência Artificial.

Como ter certeza dessa prática e garantir que todos estão cientes disso? Acreditamos que é necessário ter essas informações claras entre todas as partes envolvidas.

Qualificação do conteúdo

A qualidade de um conteúdo está relacionada a elementos como a persona, o público-alvo e o tom de voz da empresa. Provavelmente, uma ferramenta de Inteligência Artificial não deve considerar esses aspectos na hora de gerar um texto, por mais específico que seja o prompt.

Com base nisso, criamos uma espécie de selo de garantia para assegurar não apenas que os nossos conteúdos são produzidos por humanos, mas também que consideram esses fatores. Eles são especialmente importantes na elaboração de uma estratégia de SEO bem-sucedida.

Metodologia

Para avaliar a melhor ferramenta para detecção de IA, criamos dois grupos de conteúdos. O primeiro grupo contém algumas dezenas de links de textos que foram produzidos 100% por Inteligência artificial. Todos estão publicados e indexados nas buscas orgânicas. Confira alguns exemplos que listamos abaixo:

https://www.bolsasja.com.br/bolsa-casual-em-couro-preta
https://www.bolsasja.com.br/bolsa-clutch-colorida-com-aplicacao-de-pedraria
https://www.bolsasja.com.br/bolsa-clutch-dourada-com-aplicacao-de-pedraria
https://www.bolsasja.com.br/bolsa-clutch-prata

O segundo grupo envolve algumas dezenas de conteúdos produzidos 100% por humanos: nossos redatores. Utilizamos a Inteligência Artificial apenas para auxiliar na elaboração do briefing. Esses textos foram produzidos para os nossos clientes — todos estão indexados e competindo por palavras-chave relevantes para o projeto de SEO.

Ambos os grupos de conteúdos foram testados nas diversas ferramentas de detecção de IA que selecionamos. Os testes foram conduzidos buscando avaliar a precisão de cada um dos recursos na identificação do uso da Inteligência Artificial nas produções. Vale ressaltar que não temos acordo comercial algum com os instrumentos listados abaixo.

A explicação dos nossos testes está dividida em duas partes: a primeira é a apresentação de cada uma das ferramentas, com os prós e contras seguidos da opinião do Head de Conteúdo da Gear SEO, Fabio Cosman. A segunda compara os principais pontos relacionados com a pesquisa e os resultados dos comparativos.
Ferramentas utilizadas

GPTZero
Smodin
Copyleaks
Writer AI
Content at Scale AI
Sapling
ZeroGPT

Vantagens e desvantagens das ferramentas para detecção de conteúdos gerados por Inteligência Artificial

GPTZero

O GPTZero foi uma das primeiras ferramentas lançadas especificamente para esse tipo de trabalho de detecção. Com ele, é possível identificar todos os tipos de conteúdos e também a origem de cada um deles em um conteúdo.

Pontos positivos

O GPTZero possibilita detectar, em um conteúdo, o que foi produzido por Inteligência Artificial, o que foi feito por humano, e a proporção de cada produção. A ferramenta pode ser usada tanto para o trabalho de SEO quanto para outras finalidades, como ensino, recrutamento etc.

Com o recurso, também é possível dividir os planejamentos. Dado que, geralmente, criamos um projeto para cada cliente, conseguimos ter um controle de nível de qualidade do conteúdo produzido para cada um.

Pontos negativos

Infelizmente, a ferramenta ainda não tem 100% de eficácia para os conteúdos escritos em português. A impressão que temos é de que ela funciona muito bem para conteúdos em inglês, apenas. Não há uma versão em português do site,muito menos suporte para esse idioma.

Além disso, o valor de US$ 15 mensais funciona muito bem para pequenas quantidades de conteúdo, mas, à medida que o número de textos aumenta, o preço mensal também deve acompanhar esse crescimento. Isso impacta o orçamento do projeto.

Considerações do Fabio Cosman

Com certeza, se essa ferramenta fosse mais eficaz para o idioma português, poderíamos ter um melhor aproveitamento. Além disso, se ela fosse mais precisa, poderia ser uma forte candidata para utilização em nosso dia-a-dia. Um ponto super importante é que o recurso, além de detectar conteúdos elaborados por Inteligência Artificial, mostra exatamente os trechos suspeitos e a IA utilizada para gerá-los.

Smodin

Segundo a própria ferramenta, ela apresenta 91% de precisão ao classificar conteúdos feitos com IA como, de fato, de IA. A assertividade aumenta em textos feitos por pessoas: 99% dos documentos humanos são considerados humanos.

Pontos positivos

A ferramenta tem uso fácil e intuitivo: basta colar o texto no campo disponível. Ao mostrar o resultado, ela destaca em amarelo, no conteúdo, palavras e trechos que apresentam maior probabilidade de uso de IA.

Pontos negativos

O limite de 5.000 caracteres dificulta a consulta de vários conteúdos. Alguns ultrapassam essa quantidade, sendo necessário dividir ao meio para verificar. Além disso, a ferramenta aceita apenas cinco textos gratuitos por dia, dificultando a análise de artigos em larga escala.

Considerações do Fabio Cosman

É uma ferramenta promissora. Uma possível integração dela em um processo automatizado, que elimine essas limitações, pode ser uma ótima opção para uso diário em projetos. Ela também oferece diversos outros recursos, como antiplágio e reescrita de sentenças, via IA, para melhorar os conteúdos. Porém, não se demonstrou tão eficaz como promete. Atualmente, está mais para um recurso de suporte do que para um detector de IA confiável.

Copyleaks

Esta ferramenta promete utilizar IA para analisar e dizer se um conteúdo é ou não plagiado. Oferece também auxílio para análise de textos humanos ou de IA via Inteligência Artificial, checagem para plágio de códigos, assistente de redação, entre outros recursos.

Pontos positivos

O recurso destaca trechos do texto que podem ter sido produzidos com Inteligência Artificial. Além disso, não indica um limite de caracteres, o que facilita a consulta de textos mais compridos.

Pontos negativos

A ferramenta afirma ser compatível com a língua portuguesa, porém, não apresenta precisão suficiente nas análises. Em todos os conteúdos humanos que testamos, ela indicou 100% de uso de IA. Portanto, não se demonstra confiável.

Considerações do Fabio Cosman

É mais uma ferramenta que originalmente tinha um propósito, mas, ao longo das consultas, apresentou um leque de possibilidades que não nos satisfez. Para a detecção de IA, não se demonstrou confiável. Quando o recurso promete que uma poderosa IA vai analisar um texto e apresentar uma probabilidade, mas erra em 100% das vezes, isso nos diz que ainda não é hora de usar nos nossos projetos.

Writer AI

A Writer AI é mais uma ferramenta que oferece múltiplas opções de utilização baseando-se em IA generativa. Ela é uma plataforma que pode ou não ser integrada a diversas outras aplicações para, por exemplo, atuar como auxiliar na administração de chats, organizar demandas de geração de tickets de atendimento, auxiliar na criação de redações e e-mails, entre muitas outras ações. A detecção de IA é apenas mais um recurso dela.

Pontos positivos

A interface da ferramenta é agradável. Além disso, ela apresenta um limite de até 5.000 palavras para a consulta. Esse valor alto possibilita analisar textos mais longos tranquilamente.

Pontos negativos

A ferramenta não apresenta boa sensibilidade para detectar conteúdos feitos com IA. Em nossos testes, os textos escritos por pessoas foram classificados corretamente como humanos. Contudo, artigos produzidos com Inteligência Artificial também foram avaliados como humanos. Portanto, o recurso não foi capaz de detectar o uso de IA em nenhuma produção testada.

Considerações do Fabio Cosman

Sem dúvida, o Writer AI é uma plataforma que pode agradar muitas companhias que precisam ter processos automatizados e auxiliados por IA para administrar grandes fluxos de demanda. Entretanto, quando o assunto é detecção de IA, ela apresenta falhas consideráveis. Como errou em todos os testes que fizemos com textos feitos por IA, não a consideramos uma boa opção.

Content at Scale AI

É uma ferramenta ideal para quem deseja produzir conteúdos gerados por IA em larga escala, como descrições de produtos para e-commerce, títulos e descrições para páginas, descrições de vídeos, além de textos para blogs e muitas outras aplicações. A Content at Scale também oferece um detector de IA por meio de checagem manual (copiando e colando o texto) ou upload de arquivos.

Pontos positivos

A experiência do usuário é tranquila com a ferramenta: a interface intuitiva possibilita consultar textos facilmente. O recurso destaca os trechos com probabilidade de produção humana no texto.

Pontos negativos

A taxa de precisão é baixa. Em todos os testes que realizamos, a ferramenta apontou como “humanos” os textos produzidos 100% com Inteligência Artificial. Além disso, ela tem um limite de 2.500 caracteres. Esse valor tão baixo impossibilita a consulta de artigos completos.

Considerações do Fabio Cosman

O grande problema desta ferramenta é a baixa precisão. Ela foi muito mal em nossos testes com textos totalmente feitos por IA, o que impossibilita usá-la como apoio em uma redação com dezenas ou centenas de textos diários. Pode ser uma questão de incompatibilidade com nossa língua, mas não temos, por ora, como saber.

6 – Sapling

A Sapling é uma ferramenta de IA generativa que funciona com um copiloto, auxiliando nas produções de textos grandes e complexos ou e-mails, respostas para chats em tempo real, pesquisas etc. Ela oferece suporte para integração via API e disponibiliza o serviço para detecção de IA.

Pontos positivos

A possibilidade de testar textos em arquivos tanto com extensões .docx quanto em .pdf é muito vantajosa. A ferramenta também mostra uma visão geral do conteúdo e uma divisão em sentenças para facilitar a visualização.

Pontos negativos

A usabilidade do recurso é comprometida. Apesar de ele ser fácil de mexer, não demonstra os resultados de maneira clara. O usuário precisa rolar a página ou buscar as informações analisadas em meio a outros campos de texto. Além disso, a ferramenta tem um uso gratuito bastante limitado. Por fim, demonstrou-se muito imprecisa na detecção de IA: em textos feitos com Inteligência Artificial, ela indicou, muitas vezes, que havia 0% de uso de IA.

Considerações do Fabio Cosman

Apesar da proposta bastante direta, os resultados foram muito decepcionantes. A possibilidade de subir arquivos para checagem, mesmo na versão gratuita, é ótima, mas há uma limitação muito grande de uso que impede qualquer análise mais séria. Além disso, ela foi muito imprecisa na detecção de conteúdos gerados por IA, sendo assim, desaconselhamos o uso, por enquanto.

7 – ZeroGPT

ZeroGPT é uma ferramenta com diversos recursos: ela auxilia a detecção de conteúdos feitos por IA, tem parafraseador de IA, tem verificação de ortografia e muito mais. Oferece suporte para integração via API, possibilitando automatizar o processo e fazer a checagem em larga escala, sem a necessidade de aplicação manual. Além disso, com planos pagos (que variam de U$ 7 a U$ 15 mensais), é possível realizar a checagem de múltiplos documentos e armazenar um histórico de consultas, entre outros recursos.

Pontos positivos

Entre as diversas ferramentas que testamos, esta apresentou a maior precisão: média de 76,2%. Ela foi muito assertiva para detectar tanto conteúdos humanos quanto textos feitos 100% com Inteligência Artificial. Além disso, ela não apresenta restrições de uso: a quantidade de consultas diárias é irrestrita, e o limite de 15.000 caracteres permite consultar conteúdos completos com folga. Por fim, o recurso destaca em amarelo os trechos suspeitos, que podem ter sido feitos com IA, facilitando a localização e a refação.

Pontos negativos

A interface da ferramenta não é das mais agradáveis. Ela apresenta várias propagandas, ou seja, tem muita poluição visual. Ainda assim, isso não atrapalha diretamente o uso, pois é fácil inserir o texto no campo disponível para a detecção de IA.

Considerações do Fabio Cosman

Sem dúvidas, esta foi a ferramenta que demonstrou maior confiabilidade. Ela não teve 100% de assertividade em todos os testes, mas apresentou a maior porcentagem de acertos em textos humanos ou de IA em comparação com todas as outras. Na maioria dos conteúdos feitos 100% com Inteligência Artificial, ela indica haver no mínimo 50% de IA, o que demonstra uma alta sensibilidade para a identificação de uma produção artificial. Além disso, mesmo quando os testes apresentam inconsistências, ela não errou ao decretar a origem humana ou de IA dos textos. Por isso, adotamos o ZeroGPT em nosso processo na Gear SEO.

Comparativo entre as ferramentas de detecção de conteúdos gerados por Inteligência Artificial

Ordem da mais adequada para as menos adequadas.

Na avaliação desses resultados, vale destacar um ponto importante: como essas ferramentas indicam a porcentagem de produção humana e de IA em cada conteúdo, utilizamos como parâmetro o valor de 75% para avaliar acerto ou erro na detecção. Por exemplo: quando testamos um texto feito 100% com Inteligência Artificial, e a ferramenta apontou que ele continha 75% ou mais de IA, isso era considerado um acerto. Se ela apontasse que ele continha 75% ou menos de IA, consideramos erro.

Esse critério foi usado apenas para determinar a taxa de assertividade de cada uma. Agora, como já estamos utilizando a ferramenta ZeroGPT em nossos projetos, reavaliamos a porcentagem que ela indica para conseguirmos entregar um conteúdo de maior qualidade, com o selo “humano” de garantia, para os clientes.

Nossa tabela não aponta a taxa de precisão de cada ferramenta, mas a média das porcentagens apontadas por cada uma na detecção de cada tipo de texto. Portanto, reunimos todos os acertos de cada recurso (textos humanos detectados com mais de 75% de produção humana e textos de IA detectados com mais de 75% de produção de IA) e fizemos a média desses valores. Assim, em textos em que o ZeroGPT acerta a origem humana, por exemplo, ele aponta essa produção em 94% do conteúdo, em média. Em textos feitos com Inteligência Artificial, ele é capaz de indicar que ela está presente em 89% do conteúdo, em média. Esses valores são muito satisfatórios, demonstrando que ele identifica adequadamente a origem de cada tipo de texto.

Por fim, é interessante notar que as ferramentas que apresentam 100% de acertos na detecção de um tipo de texto (humano ou de IA) e 0% no outro — como as três últimas da tabela — podem estar bastante desreguladas. Se elas são capazes de identificar apenas um tipo de fonte, na realidade, não se demonstram confiáveis para detecção alguma. A assertividade do recurso de detecção fica evidente quando ele avalia corretamente conteúdos de origem tanto humana quanto de Inteligência Artificial.

Conclusão

Como comentamos no início do artigo, este estudo busca reafirmar nosso posicionamento, colaborando para a comprovação da qualidade de criação dos conteúdos da Gear SEO. Com ele, buscamos avaliar diversas ferramentas disponíveis no mercado para escolher a mais confiável, que comprove que todos os nossos conteúdos são produzidos por humanos.

Este conteúdo, além de apresentar o processo da Gear SEO, também destaca a importância de conhecermos uma ferramenta confiável para uma detecção apurada, que diferencie corretamente produções humanas das feitas com Inteligência Artificial. Isso é importante em vários aspectos de um projeto de SEO. Acompanhe alguns questionamentos relevantes a seguir.

• Como saber se a agência de SEO que trabalha para o meu projeto está produzindo conteúdos feitos 100% por humanos?
• Como avaliar os conteúdos feitos por uma agência de SEO que estou contratando?
• Como avaliar se os conteúdos que os redatores estão produzindo dentro da minha agência são elaborados 100% por eles?

Como dissemos, após um longo período de testes, a melhor ferramenta analisada por nós foi a ZeroGPT. Acreditamos que o recurso poderá ser utilizado para todas as questões citadas acima, pois apresentou boa precisão para detectar se um conteúdo é ou não feito por IA. É claro que nem essa plataforma, nem nenhuma outra garantem, ainda, 100% de exatidão. Porém, com o ZeroGPT, temos segurança ao afirmar a fonte de um conteúdo.

Temos um posicionamento firme quanto à utilização da Inteligência Artificial como um meio para a produção de conteúdo, e não como um fim. Porém, não há nada de errado na elaboração de textos feitos 100% por Inteligência Artificial — ressaltamos, apenas, a importância de deixar isso claro para todas as partes. O uso irrestrito da IA precisa ser validado tanto pela agência quanto pelo cliente.