Copilot, Cursor e agentes: o que os números de produtividade realmente dizem

"+55% de produtividade com IA" é o tipo de número que circula solto em post de LinkedIn e material de venda de ferramenta de IA para desenvolvimento. O número existe, mas quem o cita raramente explica de onde vem, o que exatamente foi medido, e qual é a margem de incerteza real por trás dele.

De onde vem o "+55%"

O número tem origem num estudo controlado e randomizado publicado por pesquisadores ligados ao GitHub em 2023, "The Impact of AI on Developer Productivity: Evidence from GitHub Copilot". O desenho do experimento: 95 desenvolvedores, divididos em grupo tratado (45 pessoas, usando Copilot) e grupo controle (50 pessoas, sem Copilot), receberam uma única tarefa, implementar um servidor HTTP em JavaScript o mais rápido possível.

O resultado: o grupo com Copilot completou a tarefa 55,8% mais rápido em média, mas com um intervalo de confiança de 95% que vai de 21% a 89%. Isso significa que a estimativa pontual de "quase o dobro de velocidade" tem uma faixa de incerteza estatística enorme. O resultado real, com 95% de confiança, poderia estar em qualquer ponto entre "um quinto mais rápido" e "quase o dobro".

O que esse número não mede

Três limitações que raramente aparecem junto da citação do "+55%":

• Uma única tarefa, específica e relativamente simples (servidor HTTP em JavaScript). Não é uma medida geral de "produtividade de desenvolvimento de software" em qualquer linguagem, qualquer tipo de projeto, qualquer nível de complexidade.
• Não mede qualidade do código produzido, só velocidade de conclusão. Completar mais rápido não significa necessariamente produzir código com menos bug ou mais fácil de manter.
• É de 2023, período anterior à geração atual de ferramentas de IA agêntica para desenvolvimento (Cursor, Claude Code, e a própria evolução do Copilot desde então). Citar o número como se fosse medição atual de 2026 é, no mínimo, impreciso.

Como ler número de produtividade de IA sem se enganar

• Pergunte qual foi a tarefa exata medida, e se ela se parece com o trabalho real da sua equipe.
• Pergunte o tamanho da amostra e o intervalo de confiança. Número sem intervalo de confiança geralmente esconde uma variação grande.
• Pergunte a data do estudo. Ferramenta de IA para desenvolvimento evolui rápido o bastante para que dado de dois ou três anos atrás já não reflita a ferramenta atual.
• Desconfie de número redondo e chamativo sem link para o estudo original. "40% de redução de custo" ou "3x mais produtivo", sem fonte rastreável, é o tipo de afirmação que já vimos ser corrigida antes neste blog.

Por que isso não invalida o uso de IA para desenvolvimento

Nada disso significa que Copilot, Cursor ou ferramentas equivalentes não ajudam. Já comparamos as principais opções do mercado em outro post. Significa apenas que o ganho real varia muito por tipo de tarefa, nível de experiência do desenvolvedor e ferramenta específica usada. Qualquer número único, apresentado sem contexto, deve ser tratado com ceticismo, não repetido como fato definitivo.

Referências

GitHub Blog: Research: Quantifying GitHub Copilot's impact in the enterprise with Accenture

arXiv: The Impact of AI on Developer Productivity: Evidence from GitHub Copilot