新闻中心

你的位置:kai云体育app官方下载app最新版本-kai云体育app官方登录入口 > 新闻中心 > kai云体育app官方下载在浏览器和各式软件里帮你完成一整套复杂操作-kai云体育app官方下载app最新版本-kai云体育app官方登录入口

kai云体育app官方下载在浏览器和各式软件里帮你完成一整套复杂操作-kai云体育app官方下载app最新版本-kai云体育app官方登录入口

发布日期:2026-10-24 06:59    点击次数:140

kai云体育app官方下载在浏览器和各式软件里帮你完成一整套复杂操作-kai云体育app官方下载app最新版本-kai云体育app官方登录入口

GitHub 最新热榜榜首kai云体育app官方下载,来自字节。

这波自研硬核时代不是别的——

恰是豆包手机的中枢维持,GUI Agent 模子UI-TARS。

力压 OpenAI 官方 Skills,开源登顶榜首,冲突 26k Star!

UI-TARS 的中枢是个多模态 AI 智能体,你惟有通过天然言语教唆——

也即是说句东说念主话,就能让它我方点鼠标、敲键盘、拖动颐养、翻页浏览,在浏览器和各式软件里帮你完成一整套复杂操作。

主要包含了 Agent TARS 和 UI-TARS-desktop 两个格式。

Agent TARS 支握一键式开箱即用的 CLI,不错在有界面的 Web UI 环境实施,也能在无界面的管事器环境运行;

UI-TARS-desktop 则是一个桌面行使重要,主要帮你操作土产货电脑和浏览器。

纯视觉驱动

UI-TARS 这种 GUI Agent 的中枢逻辑其实即是五个字——纯视觉驱动。

纯视觉有啥特色呢?

从传统 RPA 这类自动化器具来看,它们要想干活儿就得去扒复杂的网页源码、记控件编号,何况一朝这些界面稍许改少许,剧本就径直报废了。

纯视觉即是说,靠内置的视觉大模子,AI 就能径直像东说念主眼相同不雅察屏幕。

非论软件有莫得盛开 API、非论界面有多复杂,惟有你能看清菜单在哪、按钮在哪,它就也能,然后帮你操作。

若是有一又友想体验,部署起来也相称通俗,只需要三步。

第一步,检查有莫得装置Node.js和Chrome,没装置 Node.js 的话,要装置一个>=22 的版块。

检查不错用如下号召:

node -v

若是莫得还莫得装置,不错用 nvm 先装置一下:

# Install Node.js LTS

nvm install --lts

# Switch to Node.js LTS

nvm use --lts

第二步,装置 Agent TARS。

最新版:

npm install @agent-tars/cli@latest -g

公测版:

npm install @agent-tars/cli@next -g

第三步,聘用模子,需要 API,现时 Agent TARS 可兼容 Seed1.5-VL、claude-3.7-sonnet 和 gpt-4o。

agent-tars

--provider volcengine

--model doubao-1-5-thinking-vision-pro-250428

--apiKey {apiKey}

或

agent-tars

--provider anthropic

--model claude-3-7-sonnet-latest

--apiKey {apiKey}

或

agent-tars

--provider openai

--model gpt-4o

--apiKey {apiKey}

选完模子后,出现如下界面就示意部署完成啦!

然后咱们点击上头框选的畅达,即可大开 Web 用户界面。

接下来就不错对它发!号!施!令!了。

豆包手机天然一时成为了风景级的爆款,电脑版当今登顶了开源榜首,但这项时代其实早在一年前就启动布局了。

UI-TARS 的中枢洽商是让 Agent 真确具备感知、动作、推理、顾虑四大能力。

2025 年 1 月和清华配合开源,成为国产纯视觉 GUI Agent 中首个在巨擘基准测试对标并异常 GPT-4o 的格式。

接着它就启动了一说念狂飙进化。

初代凭借 600 万高质地教程数据注入的深度想考能力,以及精确的和解动作空间,让 AI 像东说念主类相同看懂并操作界面,在多项 SOTA 榜单上插旗。

短短 3 个月后,又迎来了 UI-TARS-1.5。

让 Agent 在出手前先多想几步,通过 Inference-time Scaling 预判后果,尤其在 GUI 定位任务上刷新了行业记载。

到了 9 月,UI-TARS-2 的出现透澈将能力拉满,成为豆包手机的底层时代。

它针对数据瓶颈、多轮 RL 不稳、纯 GUI 局限、环境杂七杂八四大痛点,通过"数据飞轮"让模子和数据彼此喂养进化。

不再局限于单纯的点击与滑动,而是买通了文献系统与沙盒平台,将浏览器、号召行、器具调用全量整合。

几轮迭代下来,UI-TARS 也曾成为最火的开源多模态 Agent 之一。

走"前门"的 GUI Agent

说到 Agent、GUI Agent,就在几天前,设想汽车 CEO 李想的一条一又友圈也在科技圈引起关怀。

他指出 2025 年最具冲突性的三个风景级居品分辨是 Claude Code、豆包手机、Manus;

而 2026 年第一个月就出现了三个风景级的居品:OpenClaw、MoltBook、Chrome Gemini。

不错说,被点名的 6 个居品,有 5 个齐和 Agent 径直相关,致使有 3 个齐是 GUI Agent。

(若是把 Claude Code 看作 Coding Agent,也不错说是 6 个……)

豆包手机:手机里的 GUI Agent,径直让 AI 像东说念主相同看屏、点击、切换 APP;

OpenClaw:电脑里的 GUI Agent,不错操作行使重要、处置文献、通过通信器具接收教唆实施复杂任务;

Chrome Gemini:浏览器里的 GUI Agent,模拟东说念主类完成网页跳转、信息提真金不怕火、表单填写等操作。

这三款居品的底层逻辑足够一致,齐是纯视觉驱动的端侧交互实施门路。

在输入上,不读取 APP/ 网页 / 软件里面的空间 ID、源码、特有接口等,和解截取屏幕像素图像动作独一输入,靠多模态视觉模子识别界面元素;

在实施上,不调用 API 完生遵守,径直模拟东说念主的交互行径进行点击、滑动、窗口切换,和真东说念主操作的系统进口足够一致;

在兼容逻辑上,非论洽商行使是否盛开 API、是否老旧闭源、是否加密,惟有屏幕能默契、东说念主能操作,它就能实施。

再说说另外两个。

Manus 是云表全自主通用 Agent,不靠纯视觉模拟界面操作,优先调用 API 与器具链自主拆解复杂任务,在云表沙箱完因素析、处理、生周至经过,径直托福最终恶果,不错说是专注复杂任务闭环的数字职工。

MoltBook 则长短实施类 Agent 载体,不操作界面、不调用 API 完成实用任务,而是让种种 Agent 自主发帖、互动、产生内容,是不带物理操作,纯方案层的自主 Agent 行径。

不错说,这几个居品看似各有边界,却共同指向一个中枢问题——

怎么让 AI 真确"出手"帮东说念主类干活?

GUI Agent 们聘用"走前门",径直看屏模拟操作,冲突顽固生态的壁垒;

也有的靠聪慧洽商和器具链闭环来托福恶果;

致使有的把 Agent 们推向我方的宇宙,放大 AI 之间的延续。

于是李想在两天后又发了一条专诚义的不雅点:

本来认为 Agent 这类 AI 器具会缩庸东说念主与东说念主之间的能力差距,实质上却是十倍、百倍地放大了差距。

GitHub 畅达:https://github.com/bytedance/UI-TARS-desktop

—  迎接 AI 居品从业者共建  —

� �「AI 居品学问库」是量子位智库基于遥远居品库跟踪和用户行径数据推出的飞书学问库,旨在成为 AI 行业从业者、投资者、盘问者的中枢信息关键与方案支握平台。

一键关怀 � � 点亮星标

科技前沿发扬逐日见kai云体育app官方下载