V
ARCHIVE
内容归档
正文、图片和 Markdown 均已本地保存，不包含回复区。
A
At Arca, the agents are the ones asking people to act. Aman Singh of @arca_wealth explains how agents prepare work and bring people in when a decision is needed. His example is preparing tax outreach before clients ask. 65 seconds from AI Engineer New York. #AIEngineerNY 🔗 View on Twitter
含视频地址
V
S
有朋友指出 Doubao-seed 在 8-9月有更新，以及 M3.1-Flash-Preview 也是 9月发布的，这两个我确实没关注到，跟大家同步更新一下。 不过这篇帖子难得的收到了很多「真人」评论！有一些是我认识和互动过的朋友，也有完全陌生推友，有两位陌生推友也指出了我的纰漏「时间都搞错了，真无语」、「你多久没关注这些模型实验室了？MiniMax有 M3.1 Kimi 在K3之后有一个K2.8」 再次感觉到了熟悉的中国互联网氛围 😄，AI 评论看多了，再看到真人，甭管他说了啥，还怪亲切的，都没舍得拉黑 😂 meng shao @shao__meng 怎么感觉国内 AI 团队们，有几个很久没发新模型了？ 本来以为是 AI 模型发布更新太快的时间错觉，查了一下，确实有几家超过 3 个月没发了。 字节：Doubao-Seed-2.1-Pro 6月23日发布，快 4 个月没发！ MiniMax：MiniMax-M3，6月2日发布，超 4 个月没发！ 月之暗面：Kimi-K3 6月13日发布，超 4 个月没发！ 百度：ERNIE 5.1 4月29日发布，快半年没发！ 🔗 View Quoted Tweet
S
GLM 5.3 是来自中国的 Mythos-Class 网络安全模型吗？ 来自 SemiAnalysis Weekly 播客 Ep. 038：主持人 @JordanNanos ，嘉宾是 SemiAnalysis 分析师 @kimbochen 与 @gao_wenyao ， 他们也是「GLM 5.3 稀疏注意力如何影响 HBM 内存用量」的作者。这期播客围绕 @Zai_org 两个月前发布的开源模型 GLM 5.3，从推理性能、模型架构、后训练管线到实际用途做了全面拆解！ # 稀疏注意力：省的是带宽，不是容量 最核心的技术澄清：稀疏注意力（如 GLM 自第 5 代起采用的 DeepSeek DSA）与线性注意力路线不同：它不改动缩放点积注意力的核心运算，只通过 lightning indexer 之类的组件挑选“最相关的 token”参与计算。但嘉宾强调一个常见误解，稀疏注意力解决的是内存带宽瓶颈，而非容量瓶颈：token 选择过程仍要求保留全部上下文，计算时仍需载入 HBM，所以 KV cache 的容量占用并未显著减少。 真正处理容量问题的是 HiCache / HiSparse：并发升高时把 KV cache 从 HBM 卸载到容量大、带宽低的主机 DRAM，只在计算时取回最相关的部分。代价是长尾延迟增加。B200 因单芯片显存少于 B300，卸载压力反而更明显。 # AMD 追平 NVIDIA：软件迭代的力量 InferenceX 基准（150 tokens/s 交互性、每百万 token 服务成本）显示了一个罕见画面：GLM 5.3 发布初期 NVIDIA 领先，几周后 AMD MI355 借助其 ATOM 推理引擎的持续优化，成本曲线反超 B200。嘉宾的解读是：硬件性能固定，而推理引擎是持续迭代的软件；AMD 工程师“连夜优化”证明了这条赛道的竞争本质。 由此引出对内存股的投资判断：当年 DeepSeek V3/R1 发布引发“高效模型 = 内存需求减少”的恐慌性抛售，节目观点恰好相反，模型越高效，并发越高、token 消耗越大（杰文斯悖论），HBM 与 DRAM 需求持续增长。结合 Rubin 世代“保带宽、砍容量”的传闻降规，嘉宾判断在推理场景中带宽优先级高于容量，因为容量不足可以靠缓存层级和计算/搬运重叠弥补，带宽才是延迟的光速极限。 # “神话级”争论与网络安全能力 播客标题的出处是一条 6 月的推文：有人问“中国何时能做出 Anthropic 的 Mythos 级模型”，马斯克回答“大概 Q1”，Z AI 创始人唐杰 @jietang 回复“不会那么久”，一个月后 GLM 5.3 发布，唐杰的“时间线”胜出。 主持人的第一手体验是全场最有信息量的部分：他所在的团队参与 Anthropic 的 CVP 红队项目，但做安全攻防工作时仍会被前沿闭源模型的分类器和模型内置拒绝机制拦住，被迫回落到 GLM 5.3；而后者是开放权重、可自由下载的。5.2 到 5.3 的网络安全能力被嘉宾形容为“昼夜之差”。严格说它还不算 Mythos 级，但用嘉宾的话说“已咬住脚跟”，连 Anthropic 自己也承认接近其 Fable 级水平。 # 后训练管线：架构不动，全力押注后训练 GLM 5.3 与 5.2 架构完全相同，全部提升来自后训练，agentic 基准提升超过 2%。嘉宾指出 Z AI 是中国实验室中最“激光专注”后训练的一家（对比 DeepSeek、Kimi 等频繁迭代注意力架构）。其管线并不神秘，以 GRPO 为基础分阶段推进：第一阶段用同步 GRPO 换取训练稳定性；第二阶段针对 agentic 长序列下 RLVR 奖励信号稀释、policy 过期等问题切换算法变体。真正独特的是两点：SAO（单次 rollout 异步优化）回归 PPO 风格，critic 模型与 actor 共同训练；以及开源的 slime 后训练框架，被社区公认为最佳后训练基础设施设计之一。此外大量未公开细节的人工数据标注投入也被认为是关键。 嘉宾 Wenyao 称这对自己和整个行业是“警钟”：没有预算从零预训练的公司，用私有数据做后训练就能在特定领域超越部分闭源模型；他举例 Harvey 基于 Kimi 的后训练 agent、Periodic Labs 的科学后训练。 # 中国芯片，从第一天起 这是最具地缘政治意味的发现。GLM 5 论文明确写道：模型从第一天起就全栈适配七大国产芯片平台（华为昇腾、摩尔线程、海光、寒武纪、昆仑芯、MetaX、燧原），覆盖从底层 kernel 到推理框架。5.3 Flash 曾以 "aux alpha" 之名匿名登陆 OpenRouter，免费 token 量大到外界认为“不可能是中国公司的 GPU”，结果证实完全由中国硬件提供服务。 更进一步的证据是 Kimbo 的“阴谋论”式计算：GLM 5.X 注意力运算的算术强度约为 120，与摩尔线程 GPU 匹配而明显偏离 NVIDIA 硬件的最优点；这与 DeepSeek 当年针对 H800 做软硬件协同设计如出一辙，暗示 Z AI 在为非 NVIDIA 硬件做架构级协同设计。 # 对未来的判断 · 5.3 Flash（DSA + Kimi KDA 混合的架构，开发周期可能仅 2-3 个月）的成功，预示这套混合架构可能放大到旗舰尺寸，成为 GLM 6 或 5.4 的方向； · 研发周期正被 AI 辅助 kernel 开发等手段急剧压缩； · 市场将分化为“2-3 万亿参数的旗舰 + 极致高效的专用小模型”两层格局。 # 这期节目的核心论点 GLM 5.3 证明了在架构不变的前提下，激进的后训练 + 面向国产硬件的全栈协同设计，足以把一个开放权重模型推到前沿闭源模型的射程之内，尤其在闭源模型因安全拒绝而失能的网络安全领域；而模型效率的提升不会减少内存需求，反而通过杰文斯悖论持续放大它。 # 视频和文章链接 Ep. 038 - Is GLM 5.3 a Mythos-Class Cyber Model From China? (InferenceX) youtube.com/watch?v=5OwUwM… How GLM5.3 Sparse Attention Affects HBM Memory Usage newsletter.semianalysis.com/p/sparse-savin… SemiAnalysis @SemiAnalysis_ GLM 5.3’s biggest leap came from post-training alone. “GLM 5.3 was built entirely by post-training the previous model. For me, that was a wake-up call.” “Post-training is far more GPU-efficient than pre-training from scratch. Plenty of companies can’t afford to train a model from scratch, but they have proprietary data. They can post-train themselves and beat some of the closed models.” “There’s still so much juice left to squeeze from post-training. We compared GLM 5.3’s cyber capabilities with 5.2, and it’s a night and day difference. That’s all just post-training.” 🔗 View on Twitter 🔗 View Quoted Tweet
含视频地址
V
L
Thank you to our wonderful sponsors @WorkOS and @DeveloperXM for supporting the podcast: 🏆 @WorkOS — Make your app Enterprise Ready, with SSO, SCIM, RBAC, and more: workos.com/lenny 9 🏆 @DeveloperXM — Engineering intelligence for the AI era getdx.com/?utm_source=le… BE Also available on: • Spotify open.spotify.com/episode/5QT3Co… js • Apple podcasts.apple.com/us/podcast/ins… mL
L
"To make them is not to understand them." Emmanuel Ameisen ( @mlpowered ) has spent the last 3 years doing interpretability research at @AnthropicAI , looking inside LLMs like Claude to figure out what they're actually doing. As he puts it, models are "grown," not built. We discuss: 🔸 His discovery that models plan many tokens ahead 🔸 Why anthropomorphizing AI can actually be the right approach 🔸 What the "J-space" reveals about how models think 🔸 How interpretability connects to AI alignment and safety Listen no youtu.be/JHo-aiePjoM fpkab
H
G
全马跑过许多场，每一场各路大神总以过来人的姿态叮嘱我：前半程 20 公里一定要悠着跑，留足体力，后半程才有体能储备去冲刺。🤣🤣 但真正跑过几次就会明白，这简直是个世纪骗局。真跑到 35 公里的时候，别说储备体能，人直接麻了。能勉强维持个跑姿就算神中神，上半身根本摆不动臂，双腿沉得像灌了铅，只要能硬顶着往前挪、没当场开摆走路，就已经是倾尽了洪荒之力。 可神奇的是，一到最后 100 米冲刺，体能仿佛又瞬间回血了。只要双腿没抽筋，直接在全场老哥的见证下极限冲线。回到酒店，捧着沉甸甸的完赛奖牌，晒朋友圈说：全程没有走过一步，真为自己骄傲！ 然后下一场我也叮嘱同行跑友，前半程要…… 🔗 View on Twitter
含视频地址
S
Stripe 首席设计官 @lil_dill 分享：如何用 AI 规模化扩展意图、品质与艺术性 ？ Youtube 视频： youtube.com/watch?v=GLvFTM… # 三个警戒信号 1. LLM 天然趋向均值。大模型擅长给出“最可能的答案”，即过去流行过什么、什么有效过，但不擅长给出属于你的品牌、你的用户语境的原创解。她展示了一个毫无个性的网站让全场猜不出是卖软件还是卖韩式烤肉，证实 AI 产出的默认就是这种“无性格”的东西。 2. “完成感”的诱惑。AI 让东西极快地显得“完工”了。她用微波炉冷冻卷饼自嘲：90 秒从饥饿到午餐，明知道难吃却因为速度而妥协。同理，敲一句话就得到一个有圆角、有阴影的界面，“看起来精致”不等于“真的解决问题、真的有差异化”。 3. 工作变得可抛弃。产出太容易，责任感和长期思维（谁来维护？）容易被丢在一边。 三者叠加的结果就是“僵尸 UI”：单调、空洞、无人真正在意。而我们一半的清醒时间都盯着屏幕，用户想要的是被认真对待的软件，哪怕小到日历标签页里显示正确日期这样的细节。 # Dill 给出的四条实战建议 一、必须有自己的观点 没有观点，AI 会替你给一个，而那个答案大概率是通用的、向后看的。在建造权分散、人人都给产品做贡献的时代，团队必须先对齐“我们是谁、用户在乎什么”。 她举了 Stripe 内部的一次设计评审。一位同事问：AI 做的东西，质量标准应该是什么？这个问题的答案很简单：用户不在乎东西怎么做的，只在乎它好不好，所以标准只看最终产出。那次评审最终产出了 17 条改进点，比如霜感再调一点、边缘再柔一点、气泡再小一点。"Pepsi bubbling" 从此在 Stripe 成为极致打磨的代动词。目标并非完美，而是比用户能感知到的再深一层，那份匠心用户终会感受到。 观点如何培养？练觉察力。留意用户真正的需要，而非嘴上说的；留意生活中什么是好、什么是平庸；从艺术与科学中汲取参照，逐步建立自己的品味和标准。 二、把标准编码进机器 现实是设计师不会出现在每一次决策现场。界面在没有设计师的房间里被生成，Agent 半夜自动修问题，生成式 UI 实时拼装。所以设计系统的对象已经变了：过去是界面，现在是系统本身。 她用古腾堡作比。古腾堡做了 290 个字符变体，包括不同字宽、连字和缩写，目的是让机器排版达到手工排版的品质，两端对齐时不出现难看的白空。旧设计系统扩展的是一致性，新系统要扩展的是意图。 Stripe 的实践也走过弯路。最初用 MCP 让 AI 读设计文档，效果很差，同一条 prompt 三个人会得到三个结果。后来迭代为构建在设计系统之上的 CLI：它在开发者工作的地方运行，在恰当时机注入文档以避免 context rot；提供的内容从原子组件升级为完整模板和流程，让系统知道产品应该是什么样子、如何组装。 但她同时引用了 Christopher Alexander 的话作为提醒：“一个系统可以满足所有规则，却仍然是死的。”这一条只是及格线。 三、拒绝把“做完”当“做好” 过去的质量过滤内建于流程：20 个想法只能立项 1 个，一路修剪打磨。现在一周能建 20 个想法，好处是可以跳过理论会议直接看真东西，但过滤被推迟到了建造之后，而那正是最难说“不”的时刻。 于是“编辑者”的角色变得空前重要。谁在端到端地审视产品是否为一个完整的整体？团队必须戒掉“建完就等于做完、做完就等于做好”的惯性。 编辑的核心方法是像用户一样亲身体验：它真的解决问题吗？符合用户的思维方式吗？放进完整用户旅程后还连贯吗？很多东西单独看都不错，拼在一起就显得割裂。编辑者要为每一个决定、每一个像素负责。 她引用 Nabil Khureshi 论艺术的文章：伟大的艺术在于意想不到的细节和贯穿始终的深层主题，这恰恰是 AI 的短板。AI 垃圾最冒犯人的地方，就是那种“细节无所谓”的感觉。杯子是绿的，但换成蓝的也无所谓，这种态度用户一眼就能看出来。 案例来自本场大会的开场动画。设计师 Stefan 用 AI 从 3D 场景模型开始迭代，第一版挺酷，但像素级审视总觉得不对劲。他反复做了 56 版，才得到真正有生命力的成品。她的关键洞察是：没有 AI，他可能根本不会尝试这么复杂的场景和这么多视角；AI 扩大了可能性空间，但一次成活是幻觉，把关的仍然是人的眼力。 四、释放创造力与艺术性 这是她个人最喜欢的一条。AI 可以批量制造单调，但它也是史上最强的创意催化剂。当人人都能建造，差异化更难也更重要。 今天的界面范式，聊天框、图表、命令行，绝非交互设计的终点。应该去发明新界面、新美学。最佳实践还没被写出来，而我们现在有了写它的工具，就像多点触控催生了全新的交互，合成器催生了全新的声音。 Stripe 用 AI 放大创意团队。新书《Built to Grow》的封面由人类大理石纹艺术家做出惊艳底稿，再用 AI 精调颜色与线条，本质上是把人类的好判断规模化。 让 AI 成为更强的创意伙伴有三个做法：改进输入，在 prompt 里带上品牌信念、审美标准和素材源，而不只是“给我做个烤肉店网站”；施压输出，别陷入卷饼困境，永远再推一步；用对抗性 Agent 帮忙挑刺。 真正的难点在文化。跟着 cookie-cutter 走安全舒适，找到独特且改进现状的东西难得多。领导者应该给团队留探索空间，保护那些怪东西（protect the strange）。AI 降低了创造的成本，省下的预算应该花在做出真正特别的东西上。如果只用 AI 把已有的事情做得更快，就错过了最有意思的部分。AI 能抬高地板，但天花板要靠人去撑。 Katie Dill @lil_dill If we only use AI to make the things that we already make, just faster, then we're definitely missing out on the most interesting part. From my talk at @lennysan ’s Summit, here are four ideas for raising the ceiling, not just the floor: - Have a point of view [5:38] - Encode your standards into the machine [9:07] - Don't confuse done with good [12:21] - Unleash creativity and artistry [16:19] Full talk here: youtu.be/GLvFTMtw4Jk?si… 🔗 View Quoted Tweet
I
S
斯坦福大学 CS336: Language Modeling from Scratch 第 10 讲「Inference」，在前后两讲 Scaling Laws 和 Scaling Laws II 之间， @percyliang 教授用一条完整的数学主线串起从架构、算法到系统的全部优化手段，把 “训练完的模型，如何又快又准地生成响应？” 讲得非常清楚！ Youtube 视频： youtu.be/EfM546A79aM?si… 讲义： cs336.stanford.edu 讲义采用 CS336 特色的“可执行讲义”形式，所有公式都是符号计算（sympy）逐步推导并断言验证的。整讲的逻辑顺序是：自回归 → 无法沿序列并行 → 算术强度低 → memory-bound → 一切优化 = 减少每步搬运的字节数，围绕这个链路展开。 1. 架构层（有损）：GQA/MLA/CLA 降维、局部注意力截断、量化、剪枝蒸馏；全部服务于“把 KV cache 和参数压小，且用评测证明没伤准确率”； 2. 算法层（无损）：投机采样，用“验证快于生成”的不对称性换取精确的免费加速； 3. 系统层：连续批处理、分页、前缀共享、写时复制；操作系统经典思想向 GPU 服务的迁移； 4. 张力贯穿始终：延迟 vs 吞吐（批大小）、速度 vs 准确率（每一项有损技术）、新颖性 vs 可信度（GQA 与 MLA 论文结论的相互打脸）。 Percy 在结尾留下的展望是最本讲有分量的判断：KV cache 本身就是 Transformer 对推理不友好的结构性根源；一个从第一天起就为推理设计的架构（SSM、线性注意力、扩散式非自回归生成）可能是这一领域最大的改进空间。 meng shao @shao__meng Stanford、CMU 和 MIT 三所顶级大学的 5 门 AI 课程之外，再分享两门更偏理论和基础的课程。 CS336: Language Modeling from Scratch Stanford AI 课程链的顶点实现课，由 Percy Liang 与 Tatsu Hashimoto 联合执教，从零亲手构建一个完整的语言模型。 CS221: Artificial Intelligence: Principles and Techniques Stanford AI 的本科主干入门课，由 Percy Liang 执教，用统一的数学框架（学习、搜索、MDP、博弈、贝叶斯网络、逻辑）把整个经典 AI 领域走一遍。 这两门课程都来自 Stanford 大学，讲师都有 @percyliang ( @stanfordnlp 教授， @togethercompute 联合创始人）。 CS336 课程地址 cs336.stanford.edu youtube.com/playlist?list=… CS221 课程地址 stanford-cs221.github.io/autumn2025/ youtube.com/playlist?list=… 🔗 View Quoted Tweet
V
V
V
Obsidian 的 CEO kepano 写了一个 Mermaid 渲染库 Pele，同样的 Mermaid 语法 输出变成可换主题的 SVG ，但是性能和大小都有绝对优势： pele.run gzip 后 230 kB vs Mermaid.js 的 1.6 MB 大约小 6 倍 渲染官方说最多快 500 倍 换肤是改 CSS 变量，不用重新渲染 浏览器和 node 都能跑 之后Obsidian 会用它默认渲染图，还在用 Mermaid.js 可以去试试看 kepano @kepano This is Pele, my new rendering library for diagrams and charts, compatible with the latest Mermaid syntax. - 100-500× faster than mermaid.js - 6× smaller bundle - No dependencies - Easy to theme - Responsive to device width In pursuit of making Obsidian insanely fast and cohesively designed, I always found the Mermaid library to be too big, too slow, and too hard to theme. Pele will be the new renderer in the next version of Obsidian, but you can start using it now. Pele [ˈpɛlɛ] is named after the goddess of volcanoes and fire. It's open source under the MIT license. Try the playground! 🔗 View on Twitter 🔗 View Quoted Tweet
含视频地址
T
G
G
G
Who appointed Anthropic to be god? Holly ⏸️ Elmore @ilex_ulmus At @AnthropicAI this is like a koan to them and they love making a big show of grappling with it. Of course what they’ve already decided to actually do is try to take over the world as fast as they can regardless. 🔗 View Quoted Tweet
G
⚠️ PSA: “AI assistants may fall prey to prompt injection attacks” ⚠️ jeffrey lee funk @jeffreyleefunk Agentic AI requires us to trust our emails and other messages and we really shouldn't. There is too much hidden content and AI models can’t tell the difference between text it’s supposed to read and instructions it’s supposed to follow. futurism.com/artificial-int… 🔗 View Quoted Tweet
S
昨天我老婆问我 App Store 怎么付费，看了一下才知道她要给儿子买一个打字 App，收费 128 块。。 这。。小孩和女人钱这么好赚？？ 我说等我半个小时，打开 Codex，把打字游戏的需求输入进去，一个 Goal 跑起来，20 分钟就做好部署到 ChatGPT Sites 了。花了几分钟看了一遍，还不错，顺手再加了一个实时拍摄人像，让头像作为游戏主角的功能，30 分钟准时交活儿。 效果怎么样呢？我第一版做了 36 关，儿子一连玩了 18 关 😁😁😁，我边看他玩，边看有什么问题，边让 Codex 改，顺便增加了几十关，和无限模式。。 以后儿子再有什么想玩但花钱的游戏和应用，自己做就行了，大家感兴趣可以看 …doudou.groovy-river-7567.chatgpt.site Rnb
G
does anyone have handy the actual data on AI’s effect on GDP over the last four years? also: is Dario innumerate, unaware of prior data; or just hustling his IPO and full of shit? Kalshi @Kalshi BREAKING: Anthropic says "AI could push US GDP to $44 trillion by 2030" 70% chance of IPO this year 🔗 View Quoted Tweet
S
G
G
since several people are responding by lying and attacking my credibility without actual data, i thought i would leave this, based on actual data, here. Gary Marcus @GaryMarcus The biggest, most persistent lie here on X is that I am always wrong. I literally get attacked like (sample) below multiple times a day—but never with any concrete data. At most these accounts (some may be bots) point to one or two predictions that were wrong. And, you know what, some actually were, including one about the timing of the genAI bubble, another, though still arguable, about math) out of the hundreds I have made. Whereas @aipredictionx actually did the analysis – and found me to be the “the most accurate big name we track: 11 resolved AI predictions, 11 scored correct, including the million dollar bet that AI would not be smarter than any single human by the end of 2025” Either people like the guy below are lying about me, or they are really bad at data analysis. (Or both.) Ask yourself why so many people are motivated to lie about me. 🔗 View Quoted Tweet
G
The biggest, most persistent lie here on X is that I am always wrong. I literally get attacked like (sample) below multiple times a day—but never with any concrete data. At most these accounts (some may be bots) point to one or two predictions that were wrong. And, you know what, some actually were, including one about the timing of the genAI bubble, another, though still arguable, about math) out of the hundreds I have made. Whereas @aipredictionx actually did the analysis – and found me to be the “the most accurate big name we track: 11 resolved AI predictions, 11 scored correct, including the million dollar bet that AI would not be smarter than any single human by the end of 2025” Either people like the guy below are lying about me, or they are really bad at data analysis. (Or both.) Ask yourself why so many people are motivated to lie about me.
G
G
A