{"id":70351,"date":"2026-10-27T22:15:00","date_gmt":"2026-10-28T01:15:00","guid":{"rendered":"https:\/\/jornal24horas.com.br\/?p=70351"},"modified":"2026-10-27T22:15:00","modified_gmt":"2026-10-28T01:15:00","slug":"computer-use-voce-sabia-que-ias-ja-usam-mouse-e-teclado","status":"publish","type":"post","link":"https:\/\/jornal24horas.com.br\/?p=70351","title":{"rendered":"Computer use: voc\u00ea sabia que IAs j\u00e1 usam mouse e teclado?"},"content":{"rendered":"
<\/div>\n

At\u00e9 pouco tempo, pedir a uma IA que realizasse alguma tarefa em um site quase sempre exigia uma ponte t\u00e9cnica, como uma API, para que o sistema pudesse interagir com aquele servi\u00e7o. Agora, a IA tamb\u00e9m pode ir direto \u00e0 tela, como faria uma pessoa.<\/p>\n

A capacidade, conhecida como computer use<\/b>, ganhou proje\u00e7\u00e3o em outubro de 2024, quando o Claude 3.5 Sonnet, da Anthropic, se tornou o primeiro modelo de ponta a oferecer o recurso em vers\u00e3o beta p\u00fablica. OpenAI, Google e empresas chinesas vieram em seguida.<\/p>\n

A ideia \u00e9 permitir que a IA assuma tarefas repetitivas em sites e programas, mesmo quando eles n\u00e3o oferecem uma integra\u00e7\u00e3o com outros softwares.<\/p>\n

O problema \u00e9 que entregar o mouse a uma m\u00e1quina tamb\u00e9m abre espa\u00e7o para erros caros e ataques escondidos em p\u00e1ginas comuns. <\/p>\n

Confira, a seguir, o que \u00e9 computer use, como a IA interpreta a tela e usa mouse e teclado, em que o recurso difere de outras formas de automa\u00e7\u00e3o e quais cuidados ele exige.<\/p>\n

O que \u00e9 computer use em intelig\u00eancia artificial?<\/h2>\n

Computer use \u00e9 o recurso que permite a uma IA operar o computador pela mesma interface que as pessoas usam. A cada passo, o sistema analisa uma captura da tela, decide a pr\u00f3xima a\u00e7\u00e3o e confere o resultado antes de seguir.<\/p>\n

Essa a\u00e7\u00e3o pode ser um clique, uma rolagem ou a digita\u00e7\u00e3o de um texto digitado em um campo. O computer use n\u00e3o \u00e9 um programa espec\u00edfico<\/b> e sim uma capacidade que diferentes sistemas de IA podem ter.<\/p>\n

Na pr\u00e1tica, a funcionalidade costuma aparecer dentro de agentes de IA \u2014 sistemas que planejam e executam tarefas com algum grau de autonomia. O agente \u00e9 quem atua sobre a tela, ao contr\u00e1rio de um chatbot convencional, que apenas orienta o usu\u00e1rio.<\/p>\n

Para que serve o computer use?<\/h3>\n

O computer use serve, principalmente, para o agente atuar onde n\u00e3o h\u00e1 uma integra\u00e7\u00e3o dispon\u00edvel<\/a>, como em programas e sites sem API, o mecanismo de conex\u00e3o que permite a dois softwares trocarem dados diretamente.<\/p>\n

Sistemas antigos de empresas, portais p\u00fablicos e sites sem integra\u00e7\u00e3o s\u00e3o exemplos t\u00edpicos. Nesses casos, o agente recorre \u00e0 mesma interface que uma pessoa usaria para preencher formul\u00e1rios ou consultar cadastros.<\/p>\n

Como uma IA consegue usar mouse e teclado?<\/h2>\n

Uma IA usa mouse e teclado por meio de um ciclo de observa\u00e7\u00e3o e a\u00e7\u00e3o<\/b>: recebe uma captura de tela, decide o pr\u00f3ximo passo e devolve uma instru\u00e7\u00e3o, como clicar em um ponto ou digitar uma palavra.<\/p>\n

A IA n\u00e3o toca fisicamente no mouse nem no teclado: ela gera comandos como \u201cclique em (x, y)\u201d ou \u201cdigite \u2018Jos\u00e9\u2019\u201d. Quem faz o clique de verdade \u00e9 o ambiente montado pelo desenvolvedor \u2014 em geral um navegador ou uma m\u00e1quina virtual, separados do computador real.<\/p>\n

Depois de cada etapa, uma nova captura de tela volta ao modelo. \u00c9 esse retorno que permite corrigir o rumo: se o bot\u00e3o n\u00e3o estava onde o modelo esperava, ele tenta de novo.<\/p>\n

Na documenta\u00e7\u00e3o da OpenAI, as a\u00e7\u00f5es incluem clicar, dar duplo clique, arrastar, rolar a p\u00e1gina, pressionar teclas, digitar e esperar<\/b>. O modelo tamb\u00e9m pode escrever um pequeno c\u00f3digo que roda v\u00e1rios comandos de uma vez \u2014 \u00fatil quando a tarefa tem muitos passos previs\u00edveis.<\/p>\n\n

<\/div>\n

Como a IA interpreta o que aparece na tela<\/h3>\n

Antes de clicar em qualquer coisa, a IA precisa interpretar a imagem da tela. Essa interpreta\u00e7\u00e3o depende da vis\u00e3o computacional, ramo da IA que extrai informa\u00e7\u00e3o de imagens, e dos modelos multimodais, treinados com texto e imagem ao mesmo tempo.<\/p>\n

Eles reconhecem bot\u00f5es e campos na captura e localizam cada um em pixels. Acertar essa posi\u00e7\u00e3o \u00e9 a parte mais delicada do processo, pois um desvio de poucos pixels j\u00e1 basta para clicar no bot\u00e3o ao lado, e n\u00e3o no bot\u00e3o certo.<\/p>\n

Por isso, o agente confere a tela a cada pequeno grupo de a\u00e7\u00f5es, e n\u00e3o s\u00f3 no fim. Se algo saiu do lugar, o erro aparece antes de virar problema maior.<\/p>\n

O que uma IA pode fazer com computer use?<\/h2>\n

Com computer use, uma IA pode executar boa parte das tarefas curtas que uma pessoa faz diante de uma tela. Entre os usos est\u00e3o:<\/p>\n