阿里通义 MAI-UI 团队开源了通用计算机使用智能体完整技术栈「OpenGCUA」：包括 harness、跨设备 SDK、原生 macOS 应用、评测轨迹和参考 agent 实现 开源地址： github.com/Tongyi-MAI/Ope… # 从"GUI 智能体"到"通用计算机使用智能体" 传统 CUA (Computer Use Agent) 基本等价于"看截图、点按钮"的 GUI 智能体；OpenGCUA 定义的 GCUA (generalist computer-use agent) 是一个能综合调度整台计算机所有接口的智能体：无障碍树、应用 API、shell 命令、GUI 操作。论文将 GCUA 定义为"模型自主决定如何观察、行动并组织工作，跨越视觉与程序化接口的系统"。 具体机制上，GCUA 在每一步做三个由模型而非固定规则决定的决策： 1. 观察什么：按需调用 screenshot()，而不是每步强制截图。这一条很关键：它承认"截图"本身就是一种有成本的感知行为，该省则省（比如执行批量操作时中间过程不需要看）。 2. 如何行动：不是输出单个原子动作，而是写一段带循环和条件判断的 Python 程序，把 GUI 操作、API 调用、shell 命令编排起来。 3. 如何组织工作：模型自己维护 todo 列表，每步声明 intent，任务状态管理从 harness 硬编码逻辑转为模型自主行为。 这两大设计「代码执行（code execution）和 harness 到模型的决策转移（harness-to-model decision transfer）」是整个方法论的支柱。代码执行的巧妙之处在于复用了模型已有的强大编程能力，且循环内的中间结果直接决定下一步代码走向，无需每步都回到模型，这是效率提升的根源。理论上，纯 GUI 智能体、CLI 智能体、GUI+CLI 混合智能体（他们早期的 Qwen-UI-Agent）都成了 GCUA 框架的特例，这个统一视角本身就有理论价值。 # 实验结果：数字说明了什么 在 OSWorld-v2 上对 8 个前沿模型（GPT-6 Astra、Claude Opus 5、Gemini 3.8 Flash、GLM-5.3-Flash、Qwen3.8-Max/Flash、Kimi K3、DeepSeek-V4.1-Flash）的评测： · 平均 partial score 从 45.3 升至 64.9（+19.6 分），每任务步数平均减少 53%；GPT-6 Astra 从 102 步降到 34 步。 · 弱模型受益最大（GLM-5.3-Flash +35.2），强弱模型差距从 39.1 缩小到 18.0。这暗示：代码执行范式降低了"代理能力"对模型 GUI 精细操作能力的依赖，弱模型可以靠写程序弥补感知-点击精度不足；对开源生态是个重要信号。 · 代码执行比 GUI+CLI 混合再加 6.1 分、步数再降 14.8%，验证了"编排成程序"优于"交替调用工具"。 · 真机 macOS 测试揭示了一个基准测试掩盖的事实：同一 harness 下，Qwen3.8-Max 消耗的推理 token 是 GPT-6 Astra 的 19.4 倍，4 个任务只完成 3 个；真实设备上的效率差距远大于基准分数所反映的，这也是他们坚持做真机 harness 的动机。
ARCHIVE
内容归档
正文、图片和 Markdown 均已本地保存，不包含回复区。
master class in the U.S. Constitution. Brian Krassenstein @krassenstein OMFG! This response from @AbdulElSayed to a completely bigoted question is probably the best thing I’ve heard all year. Every bigot in America needs to listen to this three times. 🔗 View on Twitter 🔗 View Quoted Tweet
原文： x.com/ecommartinez/s… Alejo @ecommartinez Un investigador de Anthropic acaba de decirle a una sala llena de doctorandos que su plan de carrera ya no existe. La charla se titula "El fin del Antropoceno" y los datos son brutales: → El cómputo para entrenar modelos se multiplicó por 10 millones en la última década → La duración de las tareas que una IA completa sola se duplica cada pocos meses → Desde hace 7 meses los modelos resuelven problemas abiertos de Erdős que los matemáticos no habían logrado cerrar → En San Francisco, tener "timelines largos" significa pensar que la AGI llega en 10 años Su proyección: el cómputo de 2030 será 10.000 veces mayor que el de 2025. Todavía estamos al principio de la exponencial. Sus 3 consejos para los estudiantes: 1. Usa la IA cada día. Si estás sobre la exponencial, nunca te quedas atrás de ella. 2. Elige proyectos que mejoren cuando el cómputo escala. El resto quedará resuelto antes de que los termines. 3. Deja de planificar tu carrera como si fuera estable. La opción segura ya no compra seguridad, ya no existe. Y una frase que resume todo: "Escribir es pensar. Si externalizas tu escritura, externalizas tu pensamiento." La charla completa aquí ⬇️ 🔗 View on Twitter 🔗 View Quoted Tweet
Sacks is right. Anthropic is playing games here. Trying to curry public favor while still holding control and resisting disclosure is annoying. And reeks of desperation. David Sacks @DavidSacks You’ve put 20% of your equity in an LLC. Whether it serves the public good remains to be seen. 🔗 View Quoted Tweet
推荐硅谷工程师+天使投资人托马斯（ @thomaszhou_ ）的专栏：《托马斯的硅谷来信》 他在硅谷做了 10 年 Tech Lead，现在每周个人会看不少创业项目。 最近他研究了 27 家公司，挑了 5 家，写了这篇文章。 Thomas Zhou @thomaszhou_ 你用 AI 投简历，公司用 AI 筛简历。双方都提高了效率，但你的能力，真的更容易被看见了吗？ 这是我这周研究创业公司时，最想聊的一个问题。这些公司正在做的尝试，可能会影响我们怎么找工作、怎么获得帮助，以及自己的经验还能值多少钱。 x.com/i/article/2102… 🔗 View Quoted Tweet
✨Meet Arti ：Your personal design agent built to reimagine creative workflows. → It learns your style, understands your workflow, and can proactively work from research to execution Discover Arti in the all-new Lovart 2.0. The more you create, the more Arti gets you. 🔗 View on Twitter
Learn how to build evals, folks! It's one of the pillars of the intelligence stack. Agents are hungry for data and can get it in many ways, but you can't build anything useful in the real world without proper evaluation. Evals make agents useful and let you build truly differentiated products. Invest heavily here. Or reach out if you need help. We are also building evals to measure the frontier @dair_ai .
真讽刺，这个视频里面讲两个 AI 一个审查代码一个更新审查后的代码，结果两个 AI 就这么搞了 50 多轮。 然后这条视频下面两个 AI 相互评论已经停不下来了 宝玉 @dotey Claude Code 团队公开了他们审代码的做法：代码大约九成由 Claude 写，六月到九月合并的修改翻了一倍多，需要撤回的比例反而降了四成多。 这期用一摞带洞的奶酪片讲这套做法：每道检查都会漏，叠起来就很难漏，底下还有一张网兜底。 片中回答五个问题：哪些修改还要人看，AI 审 AI 会不会没完，审查的 AI 漏了怎么办，人不读代码怎么懂代码，出了事算谁的。人不再逐行读代码，时间花在机器做不好的判断上。 视频1: 英文版 视频2: 中文版 🔗 View on Twitter 🔗 View on Twitter 🔗 View Quoted Tweet
最新一期科普视频：车头朝下贴在弯道顶上，特斯拉新 Roadster 为什么掉不下来？ 视频2是中文版 特斯拉和 SpaceX 一起做的新款 Roadster，在发布会上头朝下停在二十米高的弯道顶上，又冲出坡道、在半空翻身落地。 这期用 3D 动画讲明白它背后的两件事：车底的风扇怎么把车“吸”在路上，气罐和喷口怎么把车推上天。 顺着回答几个大家最关心的问题： 是不是靠速度像过山车？ 能飞多久，能不能开着飞去上班？ 在空中怎么翻身？ 0.81 秒破百轮胎受得了吗？ 这些本事除了表演还有什么用？ --- 这类视频制作相关 skill 我还在完善中，不过现在的版本可以参考： github.com/JimLiu/baocut/… 发给你的 Agent（需要配合 Opus 5.5 效果最佳）就可以使用 这个视频素材都是自己联网检索的，发布视频是我制定的，结合了当时的发布视频，以及一些检索的 YouTube 视频，Opus 5.5 帮助做了 3D 建模动画。 🔗 View on Twitter 🔗 View on Twitter 宝玉 @dotey 特斯拉新 Roadster 发布：靠压缩空气喷气在空中翻正落地，马斯克说 2028 年投产，售价未公布 10 月 15 日晚，特斯拉在得州 SpaceX 的 McGregor 试验场直播发布了第二代 Roadster 跑车。这辆车 2017 年就亮过相，当时说 2020 年交付，之后一推再推，拖了将近九年。 演示里，车开上一段弯曲的大坡道，倒挂着往上跑，然后从坡道尽头冲出去，在空中把车身转回正面，四个轮子落地。之后它又从一排特斯拉车（包括 Semi 电动卡车）上方翻跳过去。马斯克在现场说：“飞行汽车是真的。” 它靠的是冷气推进器。原理跟吹满的气球一松手就乱窜差不多：碳纤维高压罐里存着压缩空气，从喷口猛地放出去就产生推力，不烧燃料，也没有火焰。特斯拉说推进器的推力是轮胎抓地力上限的四五倍，所以它起步能比只靠轮子快得多。倒挂不掉下来靠的是另一套系统：风扇把车底的空气往外抽，把车吸在坡面上。 所以这里的“飞”只是几秒钟的喷气跳跃，气放完就没了，离能载人飞一段路的飞行汽车还远。据科技媒体 Glitchwire 报道，演示车把后排座位换成了一个装 260 公斤压缩空气的高压罐，车身四周有 10 个喷口；The Information 此前报道，因为推力和噪音太大，演示车是远程遥控的。这几点特斯拉官方没有确认。 翻跟头的是最激进的 Rocket 版：单座，只接受邀请购买，不能上公路。零到 60 英里/小时（约 97 公里/小时）加速不到 0.59 秒，极速超过 370 公里/小时。 普通人能订的是另外两个双座版本。Performance 版没有推进器，靠主动空气动力学和风扇吸地增加抓地力，加速不到 1.6 秒，订金 5 万美元。Thrust 版在车尾加了推进器，加速不到 0.9 秒，限量发售，订金 25 万美元。三个版本续航都超过 480 公里。 特斯拉没公布售价，订金不等于车价，2017 年说的起步价是 20 万美元。Performance 版的 5 万美元订金分两次付：先付 5000 美元（特斯拉说可全额退），10 天内再补 4.5 万美元，否则订单取消。 投产时间是马斯克在现场说的 2028 年，特斯拉官方帖子里没有写日期。这辆车的交付时间此前已从 2020 年先后推到 2021、2022、2025 和 2027 年。 🔗 View on Twitter 🔗 View Quoted Tweet
The most built-upon model on the Hugging Face Hub isn’t Llama or Qwen. It’s FLUX.1-dev from Black Forest Labs, a German lab: 43k derivative models. Europe trained ~8% of the open-model compute on the Hub, but ~18% of what people build on top of it is European. Build or surrender? Build, and build open. See you at GTC Berlin this week Arthur Mensch @arthurmensch Should Europe leave frontier AI to the Americans and the Chinese? The idea has gained ground in Europe. It is a fundamental mistake. Build or surrender: for now, the choice is still ours. Full article below. x.com/i/article/2110… 🔗 View Quoted Tweet
Emmanuel Ameisen ( @mlpowered ) has spent the last 3 years looking inside LLMs like Claude to figure out what they're actually doing. "It took me years to master SQL. I got Claude to learn it, and it was immediately better. And I'll never be better than Claude at SQL ever again. It goes against so many of our intuitions. There's two reactions you can have. There's denial, and there's curiosity. Denial is this is just not possible. And curiosity is the road I've ended up choosing. Which is, let's open it up. Let's look inside. My optimistic take on this is that I think we're going to learn a lot about the nature of intelligence itself." 🔗 View on Twitter Lenny Rachitsky @lennysan "To make them is not to understand them." Emmanuel Ameisen ( @mlpowered ) has spent the last 3 years doing interpretability research at @AnthropicAI , looking inside LLMs like Claude to figure out what they're actually doing. As he puts it, models are "grown," not built. We discuss: 🔸 His discovery that models plan many tokens ahead 🔸 Why anthropomorphizing AI can actually be the right approach 🔸 What the "J-space" reveals about how models think 🔸 How interpretability connects to AI alignment and safety Listen no youtu.be/JHo-aiePjoM fpkab 🔗 View Quoted Tweet
Nice paper on scaling data environments from scratch. They built an engine that creates data-analysis environments from scratch. They apply RL, which adds 20.9 points on DABstep-Hard. Data World first writes down the mechanisms that generate a dataset, then produces the files, tasks, and grading rubrics. Because the generating process is known, open-ended findings can be checked, and independent audits confirm each answer can be recovered from the files. Training Qwen3.6-35B-A3B with RL on 2,135 of these tasks, with no distilled trajectories, also adds 14.28 points on DAComp and 12.13 on JobBench. The benchmark finding is just as useful. Ten frontier models compute the right numbers more often than they draw the right conclusion from them. arxiv.org/abs/2610.21656 Chat with Paper: academy.dair.ai/papers/data-wo…
👀 Mgoes (bio/acc 🤖💉) @m_goes_distance My theory is biotech is about to turn into a national security thing and the west doesn't really get a vote Beijing just floated blocking foreign buyouts of china's cell and gene therapy and siRNA platforms And what's interesting is what they're NOT blocking. Licensing individual drugs is still totally fine So you can sell the west a medicine, just not the platform that makes the next 100 of them And the west has been buying like crazy lol. Foreign deals for chinese biotech assets are at $120B through august, up 36% Astrazeneca's $1B gracell deal, that CAR-T platform, probably doesn't happen under this draft Same update hits AI tech too btw we spent years fighting over who gets the chips. Feels like the next fight is over who owns the platforms that spit out the next generation of medicines Once biology is programmable it's not really a healthcare business anymore, it's infrastructure Still just a draft tho, comments open till nov 15 bio/acc. 🔗 View Quoted Tweet