Latent Space 本周精选翻译（2026-10-26）

整理：2026-10-26（北京时间）。来源为 Gmail 中标签「Latent Space」的邮件；原文链接均已用 curl 验证返回 HTTP 200。

目录

1. The Programmable Data Center —— 可编程的数据中心（SF Compute，Evan Conrad）
2. AI for the Fortune 2000 —— 服务财富 2000 强的 AI（Tenex，Alex Lieberman & CJ Hess）
3. Why AI Compute Comes in Rectangles —— 为什么 AI 算力总是按「长方形」卖（Modal，Erik Bernhardsson）
4. 附录：本周全部 11 期及链接

说明： 三篇都是播客文章，原文由「导语/正文 + 节目笔记 + 自动转录实录」组成。导语、正文、节目笔记、时间戳为全文翻译；访谈实录篇幅很长（约 8,000–20,000 词），为忠实浓缩翻译，每篇开头都有标注。原文超链接与配图未保留，请点原文链接查看。

1. The Programmable Data Center — Evan Conrad, SF Compute

中文标题： 可编程的数据中心 —— SF Compute 的 Evan Conrad

• 日期： 2026-10-21 03:31（北京时间；邮件 UTC 时间为 10-20 19:31）
• 嘉宾： Evan Conrad（SF Compute CEO）
• 形式： 播客（约 37 分钟），录制于 AIE NYC 的 Compute Trading 专场
• 原文链接（已验证 200）： https://latent.space/p/sfcompute2/

翻译说明： 「导语与正文」「节目笔记」为全文翻译；「访谈实录」为忠实浓缩翻译（按时间戳分段概述原意，不是逐字翻译）。原文中的超链接未保留。

导语与正文 全文翻译

本期录制于 AIE NYC 新开设的「算力交易」（Compute Trading）专场间隙。下次见面是 AIE CODE——我们今年最后一场旗舰大会，面向全球顶尖的 agentic 工程师。

在云计算早期，我们的老嘉宾 Martin Casado 做出了一个颠覆性极强的东西，强到让 Cisco 感受到威胁、愿意出 6 亿美元收购，结果 VMware 以 13 亿美元的报价截胡。

那个概念就是软件定义网络（SDN）：把控制平面和数据平面分离，从而把路由网络虚拟化。如今这场革命正在降临 GPU。过去，想运营自己的超算集群，得先拿出 5000 万到 1 亿美元来锁定承诺，还得从硬件、固件一路自己搞到 kernel 整个技术栈；而现在，SF Compute 不仅让你可以买卖当下和未来的 GPU 小时，还能让你以编程方式控制从网络到内存的一切。

上次和 Evan 聊的是「算力商品化」。这次在 AI Engineer New York，我们聊得更深：要「实物交割」一份 GPU 合约，到底需要什么？一个算力市场要变得有流动性，前提条件有哪些？

从卖一个房间，到经营整家酒店

Evan 用酒店来比喻 SF Compute 的扩张。客人想要一个房间，接着要打扫、要客房服务、要安保。最后你会发现，想把「房间」交付好，就意味着得经营整家酒店。SF Compute 最初只是想把一个集群转租出去；如今公司已经搭建起一家云厂商的大部分运营能力，用来交付在其市场上交易的算力。

这就是「实物交割」（physical settlement）：买方拿到的是真正可用的算力，而不只是按某个指数结算的一笔现金。这也把集群的物理约束直接带进了市场本身：工作负载能不能被中断？从存储恢复要多快？需要哪一代 GPU、什么网络和软件配置？这些细节既影响合约本身，也影响价格。

让算力变得可交易

SF Compute 没有等所有 GPU 集群都变得可互换，而是直接撮合带有不同约束条件的订单。Evan 认为，这样即使技术还在快速变化，交易也能进行，代价是流动性被分散到了更多变体上。我们还讨论了现货与远期定价、批量推理与在线推理的区别，以及为什么一个指数可能和「真正去买算力」的成本脱节。

「独立性」是 Evan 论证市场运营方角色的核心。他认为，拥有大规模硬件或推理业务的公司，其利益诉求会让它们很难运营一个中立的交易所。我们也聊了那些不光鲜的工程活：实地考察机房、设计集群、运营背板（backplane）、让基础设施可编程。临近结尾，他举了一个例子：可以按需、实时地切分 InfiniBand 网络。

嘉宾：Evan Conrad，SF Compute CEO。

节目笔记 全文翻译

• Evan 在 AI Engineer NYC 的演讲：算力市场是如何运作的
• 我们上一期与 SF Compute 的对话
• 2020 年油价期货为何跌成负数 —— EIA
• SF Compute 客户如何转售闲置 GPU 容量
• SF Compute 的 2.45 亿美元算力销售
• Abel：SF Compute 的结算账本
• CFTC：巴克莱银行与 LIBOR 操纵案
• 弹性 InfiniBand 分区

访谈实录 浓缩翻译

原文为自动转录、仅轻度整理，说话人未经核实。以下按时间段浓缩，保留原意与关键数字。

[00:00] 冷开场： 「NVIDIA 显然是房间里那只 800 磅的大猩猩，为什么不是它来做 SF Compute？」Evan：我们的判断是，NVIDIA 做不了，但它会从这种市场的存在中获益巨大。做不了的原因是：它不够独立，大家不会愿意在它的平台上交易。

[00:25–02:10] 寒暄： swyx 欢迎 Evan 回到 Latent Space（也是他第一次来 AIE）。算力交易正当时：Jump 宣布进入算力市场，SemiAnalysis 的 Oliver 也开始「覆盖」这个领域。swyx 夸 Evan 的演讲把公司起源和难题讲得简单清楚；提到明年 AIE 会在 Javits 中心（Comic Con 的场地）举办，并会把金融话题拆得更细（对冲基金、银行、个人财富、RIA 等）。

[02:10–05:10] 两年来的变化——「酒店比喻」与实物交割： 公司最初叫 Junark，只是想转租自己的集群。就像卖酒店房间，客人又要打扫、客房服务、安保……最后你在经营整家酒店。于是他们的供应方变成了「有数据中心资源的云」，SF Compute 花了几年搭建一家云的完整运营能力，以可靠地交付算力，这就叫「实物交割」——借用期货术语：石油、大豆的实物交割就是真把货送到你手上。石油需要管道这样的交付网络；疫情期间油价跌成负数，就是因为货堆在港口没人能接。电力市场里，订单要考虑锅炉冷却、重启需要时间等物理约束。算力市场同理，所以他们把实物交割和订单簿一起设计，能表达诸如「我可以被中断，但前提是有能快速恢复的存储」之类的约束。

[05:10–07:00] 市场有多成熟？ Evan 坦言：还不太成熟、不深、流动性不高。他们先得把大量供给接入，再搭整个平台，刚跑通。目前约 5% 的总容量在订单簿上，并在持续增加，新接入的容量全部上订单簿。订单簿成交量小，但流动性集中：典型指标是客户花 100 美元买的容量，平均能再卖出收回 25 美元。他们衡量流动性的标准是「是否解决了客户的问题」。

[07:00–09:50] 合约标准化与「多约束订单簿」： 合约标准化仍很遥远。三年学到的是：必须自己运营整套东西，否则无法标准化。举例：同一家运营商的两种虚拟机，GPU kernel 启动耗时可能差 40%，最终体现为 MFU 变差。大宗商品有等级（轻质低硫原油等），算力还没有。于是他们做了支持多种约束的订单簿（时间区间、属性范围等），用一个大型撮合引擎匹配，好处是不用等技术定型就能产生流动性，代价是流动性不那么集中、买卖价差更大——但这也意味着能灵活使用多种容量的买家可以吃价差、赚套利。

[09:50–14:40] 哪些维度重要： 是正在跑负载的容量还是未来的容量（卖现在的容量意味着要中断现有负载；一个月后的容量随时可买卖）；中断方式（集群是否有 Weka（转录写作 “Weco”）或 Vast 这类存储、规模多大、存储位置、集群间是否有 WAN 快速通道——GPU 机房建在电力旁而非客户旁，很多地方没有好的传输链路）；以及硬件批次：早期 GB200、H100 都出过问题，成熟客户可能愿意为「某时间之后部署的」批次多付钱。Evan 区分了两件事：好的云会在交付前做 burn-in（把坏卡烧出来再 RMA 换新），客户感知不到；而他说的是批次级问题，比如早期 H100 的固件 bug（可能是 Super Micro 机箱固件，而非 NVIDIA），需要厂商更新固件。他们拿到的 B300 也遇到过，团队还用了 Devin 去修。

[14:40–17:40] 合约期限与「中断」的价格： 广义市场上集群按 3–5 年融资；SF Compute 订单簿里的容量块可以是任意时长——可以买从现在起一小时，也可以买到三年后。块要求一次性预付，长期租约不要求。他们更关心远期，想建立流动性好的远期曲线。批量推理可以随时被中断（提前一小时甚至一两分钟通知就行），在线推理则只能提前一到三个月通知，否则要向自己的客户赔 SLA，所以两者定价不同。swyx 惊呼：这其实是「退租市场」。Evan 类比电力市场的日前市场与实时市场。

[17:40–20:40] 远期曲线形状： 是升水还是贴水？Evan：两种都出现过，看你是谁。他们看到的是「驼峰」：临近当下、还没卖掉的块像快过期的牛奶，必须降价出清；之后上升到合理水平；更远期可能又便宜些，因为大家想要现在的算力。但当下有个离谱的套利：用 B300 跑推理每小时能赚约 40 美元（50% 利用率也有约 25 美元），而 B300 租价只要 5–6 美元/小时，「这两个数字总有一个要变」。所以也有人预期涨价，愿意为未来容量多付钱锁定。

[20:40–23:10] 芯片代际与 SKU： 客户非常在意芯片代际（显存、NVLink 域大小等），算力无法抽象成一个通用单位。石油有炼厂可以当黑盒，算力太异构，只能把复杂性暴露给客户。他们的工作就是「降维」，但维度仍然存在。SKU 被做成一个可由用户自定义的概念：比如「6 美元/小时以下的任何 Blackwell」，可匹配 GB300 或 B300；挑剔的客户则为精确配置付更高价。「命名查询」是新功能，查询系统本身就是订单簿的工作方式。

[23:10–26:50] 为什么必须先有实物交割： 这些东西没有你想象的那么可互换；在行业建好实物交割之前过度金融化，市场会很容易被操纵，并且存在很大的基差风险——你对冲的价格可能和实际能买到容量的价格毫无关系。swyx 补充：信用违约互换的规模可以是其保险债券的 12 倍，现金结算就像《大空头》里的场外赌注。Evan：现金结算作为未来的概念很好，但应当从实物交割中派生。swyx 提到 LIBOR 定盘；Evan：LIBOR 恰恰被操纵过，他们担心类似问题——很多算力指数基于很少的数据，和真正买一份新合约的价格相关性很低。

[26:50–29:00] 生态里的其他玩家： 他们很欣赏 Silicon Data 和 Compute Exchange，后者走现金结算、SF Compute 走实物交割，两者互补，未来很可能成为合作伙伴。生态里还有：SemiAnalysis 在推动更好的标准；有公司做残值保险；有公司做押金/信贷，替你向云厂商垫付信用风险。一个围绕「解决算力的金融瓶颈」的生态正在形成。

[29:00–33:20] 技术栈——做云的一切，但不当云： 他们不拥有硬件，因为一旦拥有就可能操纵远期市场，必须当「瑞士」保持中立。为实现实物交割，要做：机房实地考察、设计物料清单（BOM）、类似供应链咨询（与各 OEM 合作确保按时交付）、集群架构设计、上架或监督合作伙伴上架、背板管理（接管 PDU、交换机、DPU、UFM、BMC 等裸机周围的一切）。他们提供「超算即服务」：有电力/有数据中心的一方当数据中心，SF Compute 负责超算部分，合作销售；对只有带电土地的人，会通过合作伙伴项目管理建成机房，但不自己施工。有人形容他们是「算力界的 Palantir」——每单都是新挑战。主要在美国，但在全球部署，向主权算力玩家推销「帮你在本国建云，并带来旧金山的需求和经验」。目前没有可公开点名的大合作伙伴，一两周内会有公告。

[33:20–34:30] 为什么巨头做不了： NVIDIA 做不了但获益巨大；Crusoe、CoreWeave、Lambda、各大云，乃至 Baseten、Fireworks、Modal 也做不了，因为它们自身需求侧太重。这个市场能降低整个行业的融资成本，但谁想做，就得放弃大推理收入和大云合同——「你得先杀掉自己的业务」，所以没人做。

[34:30–36:43] 里程碑与行动号召： 已完成数亿美元成交量；大量新集群在路上；新功能让 SF Compute 很适合 PaaS 公司，例如客户可以自行切分 InfiniBand 网络而无需找他们——很多云只给你一个 InfiniBand fabric，想重划要提工单，他们现在能实时完成，便于集群扩缩容。swyx 问：这算是把数据中心虚拟化、可编程化吗？Evan：是的，就是把你拥有硬件时能得到的一切都虚拟化，「上一次发生这种事，就是云的诞生」。行动号召：如果你想拥有一个 GPU 集群、获得残值、放进投资组合，他们来负责超算部分、承担 SLA；如果后来发现这是个坏主意、需要退出，他们可以立刻把集群卖给别人，不压你的资产负债表。

2. AI for the Fortune 2000: How Tenex Builds an AI-Native SDLC — Alex Lieberman & CJ Hess

中文标题： 服务财富 2000 强的 AI：Tenex 如何打造 AI 原生的软件开发流程 —— Alex Lieberman 与 CJ Hess

• 日期： 2026-10-21 13:01（北京时间；邮件 UTC 时间为 10-21 05:01）
• 嘉宾： Alex Lieberman（Tenex 联合创始人）、CJ Hess（Tenex 特别项目负责人；节目中原本被介绍为工程总监，本人更正为「特别项目负责人」）
• 形式： 播客（约 44 分钟），录制于 AIE New York
• 原文链接（已验证 200）： https://latent.space/p/tenex/

翻译说明： 「导语与正文」「节目笔记」「时间戳」为全文翻译；「访谈实录」为忠实浓缩翻译（按时间段概述，不是逐字翻译）。原文的超链接与配图未保留（正文提到的 Tenex 文章配图来源为 Tenex《Building an AI-Native SDLC》）。

导语与正文 全文翻译

去年，Alex Lieberman 和他的联合创始人来节目里讲了 Tenex 一个不寻常的赌注：按 AI 工程师交付的成果付钱，而不是按他们坐在键盘前的小时数付钱。如果 AI 让工程师变快了，按小时计费反而会让工程师做同样的活赚得更少。Tenex 希望激励方向反过来。

在 AIE New York，Alex 带着 CJ Hess 回来，聊这个理念扩展到整个工程组织之后会发生什么。我们也把自己的一个实验摆上了桌：「Kill My SaaS」——我们请开发者们替换一款会议讲者管理工具，对方给我们的报价是每年 43,000 美元。

两个故事指向同一个问题：当「造东西」变便宜之后，你怎么判断好的工作值多少钱？

当工作内容不断变化时，如何按产出付钱

Tenex 仍然把故事点（story points）作为工程师薪酬的重要组成部分。Alex 说，大家担心的失败模式——有人虚报估算、或者为了刷点数交付烂代码——并不是最大的问题。Tenex 的 AI 策略师（AI strategist）对客户留存和增长负责，因此他们有动力去拒绝那些对客户没好处的工作。

更难的问题是：怎么奖励那些塞不进一张工单的工作——理解客户的问题、设计架构、或者首先决定该做什么。CJ 说，随着模型变强，他直接写代码的时间少了，更多时间花在把客户的上下文整理成模型能用的形式。一套围绕「已交付任务」设计的薪酬体系，也必须为这类工作留出空间。

Alex 说 Tenex 已发展到 75 人，客户一半是财富 2000 强企业、一半是中型企业。公司起步时是一家 AI 驱动的开发外包；现在越来越多客户请他们帮忙做全公司范围的 AI 转型。（跳转到薪酬讨论 →）

MetaHarness：把项目本身放进代码仓库

CJ 介绍了 Tenex 的 MetaHarness：一套共享的技能（skills）、项目文档，以及围绕工作的一个 CLI。计划和决策都和代码一起提交到 Git。当 agent 回到某个任务时，它不仅能读到「做了什么」，还能读到团队「为什么这样做」。

Tenex 自己写的《AI 原生 SDLC》文章把这个思路展示为一份人和 agent 共同工作的项目记录，并能查看 Linear、GitHub 和给客户的进度更新。（图片来源：Tenex，Building an AI-Native SDLC。）

有用的区分在于：一件事是让 agent 写代码更快，另一件事是让周边工作变得「可读」——计划、验收标准、决策和证据。Tenex 的文章也提到了代价：对于只做一个项目的小团队，这么多结构可能是杀鸡用牛刀。（CJ 讲解工作流 →）

Kill My SaaS：拥有自己造的东西的成本

我们那期 Kill My SaaS 节目收到了 72 份替换讲者管理软件的作品。人类评委选出的冠军团队，在我们 AI 评委的排行榜上只排第 19。这提醒我们：检查软件是否满足一系列场景，和判断人们是否愿意用它，是两件不同的事。

我把这个项目作为「公司选择自建软件」的真实案例拿给 Alex 看。他的反驳是：越往上游市场走，拆掉一个成熟系统就越昂贵、越有风险。即使是小工具，也总得有人维护。省下的钱够不够大，值得持续投入这份精力？

我的回答是，好处不只在账单上。我们团队忍受一个平庸的产品已经很久了。如果工作流掌握在我们自己手里，我们就能为讲者和运营人员把它做得更好，几分钟就能迭代，而不是等供应商几个月。这种潜力必须和 Alex 说的维护成本放在一起权衡。（观看这段交锋 →）

支持与反对垂直 AI 的理由

Alex 总体看空垂直领域专用的 AI 产品：如果每家企业都期待一个「独一份」的定制方案，你怎么还能保持软件的利润率？随着前沿模型变强，底层任务有多少会被通用工具吸收掉？

我用 Harvey 和 OpenEvidence 这样的例子反驳。领域数据、专门的界面、集成以及用户习惯都很重要，哪怕底层模型人人都能用。Bloomberg 是个好对照：交易员可以从别处拿到行情数据，但终端把数据、工作流、沟通和既有习惯聚合在了一起。

CJ 区分了两类产品：一种是主要卖点为「一个 agent 替你完成某个任务」的垂直产品，另一种是真正改进该任务周边工作流的工具。这引出一个比「垂直 AI 是输是赢」更有意思的问题：哪些产品会成为人们长期工作的地方，哪些会沦为他们已经在用的 agent 的一个功能？（观看这场辩论 →）

节目笔记 全文翻译

• Tenex —— Alex 和 CJ 的应用 AI 公司，与企业合作推进 AI 采用和工程。
• Alex Lieberman 谈 Tenex —— Alex 对公司及其方法的介绍。
• Building an AI-native SDLC —— Tenex 对其 agent 辅助开发流程和 MetaHarness 的说明。
• 我们早先与 Alex 和 Arman 的对话 —— Tenex 最初「按产出给 AI 工程师付钱」的论证。
• Kill My SaaS —— 我们用 AI agent 替换一款年费 4.3 万美元的讲者管理工具学到了什么。

时间戳 全文翻译

0:00 冷开场 ｜ 0:26 介绍 ｜ 0:51 Tenex 做什么 ｜ 1:32 CJ 为什么加入 Tenex ｜ 3:17 按成果给工程师付钱 ｜ 7:20 MetaHarness 内部 ｜ 10:25 模型与长时任务 ｜ 15:11 Token 花费与 ROI ｜ 19:29 企业 AI 采用鸿沟 ｜ 23:22 为什么部署 agent 很难 ｜ 24:42 垂直 AI 与企业软件 ｜ 30:32 Kill My SaaS ｜ 35:23 AI 与就业 ｜ 38:18 纽约的 AI 生态 ｜ 42:28 Tenex 招聘

访谈实录 浓缩翻译

原文为访谈自动生成的转录，可能有错，未标注说话人。以下按时间段浓缩。

[0:26–1:32] Tenex 是谁： Alex：Tenex 是一家应用 AI 合作伙伴，帮全球一些最大的公司从「没有 AI」走到「AI 原生」。AI 很强，但它是「原始智能」，最难的是最后一公里——让它真正扩散进经济。（穿插玩笑：可以说脏话吗？我们在 Apple Podcasts 上有 explicit 标签。）

[1:32–3:17] CJ 为什么加入： CJ 是 Tenex 第一位员工，之前创业多次失败，后来自己开工程咨询公司。他发现用 AI 后产出越来越好、越来越快，但因为按小时收费，赚得反而更少。他认同 Tenex「按产出而非时间奖励工程师」的理念。当时还是 Sonnet 3.5、Gemini 2.5 Pro 时代，这个趋势并不明显，但他押注靠技能 + AI 能获得更高收入，后来爱上了这种模式，认为这就是工程的未来：AI 解决技术问题后，公司会按结果付钱，而不是按耗时付钱。

[3:17–7:20] 按故事点付钱，现状如何： Tenex 直接按故事点付钱，所以一些「10x 工程师」一年可能赚上百万美元。Alex 的论点：AI 是对一个人智力和职业道德的加杠杆押注，收入方差会前所未有地大。公司 18 个月前成立，最初是 AI 驱动的开发外包（「工程是 AI 的矿井金丝雀」，起因是联合创始人 Arman 发现身边有人还在 IDE 里手敲代码）。如今客户 50% 是财富 2000 强、50% 是年营收 1–5 亿美元的中型企业，需求从「外包工程」变成「AI 转型即服务」。公司 75 人，90% 是工程师或 AI 策略师（技术顾问）。最高和最低收入工程师之间大约差 4 倍（「不是 10 倍？」「那是梦想」）。人们担心的虚报点数、交付烂代码都没成为问题，因为 AI 策略师的激励（客户留存与增长）恰好与工程师相反、形成制衡。真正的挑战是怎么为不写代码的时间（架构、见客户）付钱，所以薪酬模型加了些细节，但仍以产出为主。CJ 补充：模型在拿到正确上下文后能做到 90%，真正的价值在于坐下来听客户把所有想法倒出来再喂给模型；未来可能更看重真实产出本身，但仍以故事点为单位。

[7:20–10:09] MetaHarness 工作流： 他们先标准化了一套技能，后来演变成仓库里一套结构化文档 + 外围 CLI，由模型来驱动工作：写计划、做可视化、给客户写汇报——把写代码周边的流程都自动化、标准化。有一份大的「规范计划文档」，模型变强后反而减少了结构上的强制。agent 会按非常有主见的方式记录决策和进展，全部提交到 Git（以前是 Markdown，现在更多是 HTML，CJ 喜欢 agent 生成的「图画书」）。关于「代码本身就是记忆，还要文档吗」的争论，CJ 认为需要：你得知道为什么做了某个决定、当时的上下文。所有东西都在仓库里，不在某个人脑子里，这给了 agent 「超能力」。衡量是否有效的方式之一：全公司每位工程师每月平均故事点的趋势。

[10:09–11:55] 产出翻倍、故事点通胀/通缩： CJ：今年总体产出约翻倍——如果把 12 月看作 Opus 4.5 开始能做长时任务的时刻，到现在的 Opus 5.5（「非常出色的模型」）。故事点的价值是否不变？他们至少每季度重新校准一次估算标准，在奖励产出与随模型进步校准价值之间找平衡；理论上应该是通缩。

[11:55–15:11] 模型偏好： 公司里目前主流是 Opus 5.5；CJ 个人不太用 Fable，很多人也在远离它——Opus 又快又便宜，覆盖了他以前需要 2–3 个模型的全部场景。做偏「computer use」的事时团队会用 Codex；最佳实践仍是两者配合，比如 Opus 主写、Codex 审查。CJ 是 AMP 重度用户（用「orbs」云端环境，最近还能接入 Claude Code 订阅，成本能降约 80%）；用 Codex 时是 Sol6。swyx 问为什么 Anthropic 没像 AMP 的 orbs 那样做好远程环境；CJ 认为 AMP 更有主见、不追求通用方案，且有跨模型能力（可以让另一个 orb 去审查这个 orb 的工作）。

[15:11–19:29] Token 花费与 ROI： swyx 观察：多数公司人均 token 花费 10–200 美元，AI 原生公司约占员工成本 10%，一般 AI 创业公司约 1:1，高的到 5–10 倍。CJ 估计 Tenex 按原始 token 算在 1:1 到 2:1 之间（「挺高的」）。曾有一段大家都用 Astra 和 Fable 的时期，效果最好但很贵；Opus 5.5 让成本大幅下降。Alex 提到与人讨论 Micro1、Mercor、Handshake 等数据公司（90%+ 收入来自实验室）的长期前景：若企业成为数据主要买家，就意味着企业要大量微调自有模型——要么为了质量（前沿一直在动，难押注），要么为了价格（但 token 成本持续下降）。他认为现在按任务计的成本已到一个帕累托点，比 6–8 个月前更难出现「token 刷爆导致成本失控」。CJ：如果出现极贵但效果最好的 Astra 6.5、Fable 5.5，可能会回到那个方向；但 Muse Wonder 等新模型处于前沿且很便宜，竞争会继续压低成本。很多有经济价值的任务 Opus 5.5 就够了——「聪明 10 倍的模型值得拿来挪电子表格的格子吗？大概不值得。」

[19:29–23:22] 企业 AI 采用的「里程碑」： Alex 把企业采用 AI 看作一场比赛的几个里程碑（基于约 100 家正在交流的企业）：① 给员工铺开通用 LLM（Claude 或 Codex）——约 90%；② 培训与赋能——约 60%；③ 给工程/产品团队铺开 coding agent——大家以为 70–80%，实际接近 50%；④ 在非工程工作中上线生产级 agent——骤降到约 5%，这是「原始智能到企业使用」最大的扩散鸿沟。最常见的需求：帮忙为某项后台任务构建 agent；其次是权限与 RBAC——每个员工都用 Claude 或 Codex 后，数据访问权限成了 CIO 和 CISO 的噩梦，他们缺少一个「数据权限控制面板」。Tenex 先给客户做定制，现在已产品化为自家网关方案。

[23:22–24:35] 为什么部署 agent 很难： CJ 常对团队说：「你无法自动化一个不存在的流程。」40 个人做同一职能却各有做法，就很难让 agent 在后台主动完成。你可以给个人工具、帮他增强工作流，但真正的杠杆来自 agent 主动把工作推给你、你审查后再丢回去，人变成「agent 管理者」。他们常建议企业先为某个团队建立流程，再分步把工作交给后台 agent；没有标准化，agent 就无从判断对错，也没法建评测（evals）。

[24:35–30:32] 垂直 AI 之争： Alex 总体看空垂直 AI：企业内部细节、惯性、系统和人太多；买家期待「独一份」体验，所以软件公司都在组建 FDE 团队，服务与软件正在融合——那怎么维持软件利润率？前沿模型会不会直接吞掉它们？swyx 举 Harvey（律师）、OpenEvidence（医生）反驳：「到目前为止你是错的。」护城河是 ChatGPT 拿不到的数据、专注、以及为特定用户定制的交互（如 Harvey 的 Tabular Review、Legora 的类似功能）。他以 Bloomberg 为例：交易员从纳斯达克、纽交所都能拿到同样信息，为什么每年付 5 万美元？因为同行都用、信息整合且专门化、接入交易系统和聊天/新闻（Alex 插话：大家付钱其实是为了 Bloomberg 这个「社交网络」和私信）。swyx 认为对软件和工具的需求巨大，一部分由 Claude、ChatGPT 这类横向工具满足，另一部分人就是想要更好的东西——比如 Superhuman 之于 Gmail。CJ：从零开始、内置 AI 的新应用（如 Superhuman）是一回事；而把「某个 agent 替你干活」当作产品的垂直产品，除非有合规、数据等战略护城河，否则会很难——要么别人能很快自建，要么这些任务被通用模型吸收。但那些围绕流程打造的应用和工具、再叠加 agent 的，仍会成功。swyx 提到一个更温和的观点：人们不想用你做的 agent，而是想把你的数据接进他们已有的 agent；最终少数公司拥有界面，其他人都接进去。Salesforce 作为记录系统公司就在拥抱这条路：「你不用我们的 agent，我们提供 API 和 MCP。」

[30:32–35:23] Kill My SaaS： swyx 介绍：替换一款「中档 SaaS」，对方报价每年约 4 万美元，他们花了约 1,000 美元做出替代品，下一场大会就上线。Alex：越往高端市场，拆掉重建越难；他不同意「Salesforce、SAP 岌岌可危」的说法，因为一旦拆错可能损失数亿甚至数十亿美元，企业会规避风险。对中档 SaaS，关键在于机会够不够大、能否值得在公司内部分配工程资源，因企业而异。Tenex 自己也从零做过 CRM 和内部 OS，体会到：软件的价值不仅是功能，还有你不必操心维护和改进的那些麻烦（尤其不是核心业务时）。所以要看「奖品是否大到足以抵消认知负担」。swyx：这不只是省钱（防守），还有进攻——让每个相关方体验都更好；产品长期平庸，10 倍好的版本是什么样？我们自己就是客户，能以分钟而非月为单位迭代。Alex：创业公司和高增长中型公司可以这么灵活，但深陷既有能力的大企业很少会这么做。

[35:23–38:18] AI 与就业： CJ 深信 AI 会造福人类、增强人的工作，但也一定会改变和替代一些岗位，更像是迁移而非一刀切（提到 a16z 关于呼叫中心衰退的文章——如果那是你整个职业生涯积累的技能，被取代是毁灭性的）。他们和客户谈 agent 接手工作时，重点是「重新分配」：替换掉什么、下一个最大的问题是什么——在大公司里这个循环几乎永无止境，可以让深度领域专家浮出水面，做更跨团队、更战略的事。Alex 补充：谈论岗位替代时，不该把人当作被动承受者；再培训既是雇主的责任，也是员工的责任。说「AI 只会替代人们不喜欢的工作」有点自我安慰——很多人没有挑工作的余地，只是为了赚钱；人们应当主动审视自己的岗位在未来几年的稳定性，并据此提升技能。

[38:18–42:28] 纽约的 AI 生态： swyx 住在旧金山，那里人人整天在用 agent、讨论用哪个模型。Alex：纽约也有泡泡，只是比旧金山小；Tenex 因为员工自我筛选、合作伙伴和交往圈子，算是旧金山的缩影。（对话中提到：World's Fair 期间，AIE 参会者大约相当于旧金山人口的 1%。）Tenex 的目标之一是把纽约打造成美国的 AI 枢纽——这里商业活动极多，技术扩散对 GDP 的影响会很大。广告牌上也能看到 AI 慢慢渗透（提到当年 Friend 广告被涂鸦，如今「不带反讽」的 AI 广告已被视为日常）。Alex：纽约在 AI 上是个小池塘，但在商业价值上同样大甚至更大。swyx：我在纽约办 AI 活动，就是把旧金山的人带来见他们的客户、顺便接受现实检验——这里有很有意思的套利空间。

[42:28–43:32] 招聘： Tenex 在招前沿部署工程师（FDE，官网 tenex.co）和 AI 策略师（主导客户项目的技术顾问），团队 75 人在纽约。也欢迎尝试过 AI 但没成效的企业联系他们（「我保证比一些传统咨询公司做得好，不点名」）。CJ 主要在招工程师；「特别项目」指客户工作之外的一切——眼下是构建内部的 MetaHarness 系统（找到模型能力的最前沿，再给它们工具放大能力），以及 Alex 提到的平台：把后台 agent 真正推广到企业中，并解决前面说到的那些棘手的 IT 问题。swyx 邀请他们给 Latent Space 博客投稿，约定「一年见一次」。

3. Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO

中文标题： 为什么 AI 算力总是按「长方形」卖 —— Modal CEO Erik Bernhardsson

• 日期： 2026-10-23 01:40（北京时间；邮件 UTC 时间为 10-22 17:40）
• 嘉宾： Erik Bernhardsson（Modal 联合创始人兼 CEO）
• 形式： 播客（约 86 分钟）；导语称由 Vibhu 主持访谈，并介绍了新联合主持人 Basil Chatha
• 原文链接（已验证 200）： https://latent.space/p/modal-d/

翻译说明： 「导语与正文」「节目笔记」「时间戳」为全文翻译；「访谈实录」为忠实浓缩翻译（按时间段概述原意并保留关键数字，不是逐字翻译）。原文为自动转录，人名有误写（如把 Erik 写成 “Eric Fern-Hartson”、Luigi 写成 “Kaluigi”、Akshat 写成 “Akshah/Akshar”），译文按正确写法处理并在此说明。原文超链接未保留。

导语与正文 全文翻译

热烈欢迎 Basil Chatha，我们最新的联合主持人，来自 AI 工程界的「前沿部署」（Forward Deployed）一侧！我们会和他一起推出一档新节目，而正赶上 Modal 拿下巨额 D 轮，我们自然不能错过采访 Modal CEO Erik 的机会！

两年前，我们和 Erik Bernhardsson 聊过他对真正 serverless AI 基础设施的愿景：开发者应该能直接跑代码，而不必预置集群、预测负载，或为闲置资源买单。之后 CTO Akshat 也来过节目，讲 Modal 的基础设施原语、支撑这些原语的技术栈，以及「agent 体验」。

过去 5 个月变化很大。自 50 亿美元估值的 C 轮以来，Modal 报告其年化营收（run rate）已超过 10 亿美元，以 160 亿美元估值完成了 7.5 亿美元的 D 轮融资，并已启动了近 30 亿个 sandbox。在这期对话中，Erik 和 Vibhu 一起解释了这轮增长背后的基础设施和经济学——以及为什么对算力的需求，几乎从来不像买算力用的那些合同长的样子。

（在 YouTube 观看完整对话 →）

GPU 需求不是长方形的

典型的容量合同会给客户在固定时期内固定数量的 GPU。把容量对时间画出来，你得到一个长方形。真实的工作负载并不这样：它们会增长、会突发、一天之内起起落落。按峰值买，你要为闲置硬件付钱；买少了，你可能接不住需求。

Erik 把 Modal 的赌注描述为一种「期限转换」（duration transformation）：把成千上万客户的需求汇集起来，在底层锁定容量，让每个客户在需要时用需要的量。总需求越平滑，这个资源池就越有用。这和我们与 SF Compute 的 Evan Conrad 的对话正好互补：Evan 专注于让容量可交易；Erik 专注于让容量能以更小、更有弹性的切片被使用。

另一面是金融风险。如果供应商按今天的价格锁定容量，而之后 GPU 价格下跌，它可能被高价供应套牢。Erik 说他不认为崩盘迫在眉睫，但认为在经营公司时这种可能性很重要。（跳转到 GPU 价格讨论 →）

差点没活下来的 sandbox

Erik 和联合创始人 Akshat Bubna 注意到语言模型能生成代码——而总得有个地方来运行这些代码——于是 Modal 推出了 sandbox。早期采用量不温不火，团队甚至讨论过要不要关掉这个产品。后来 coding agent、后台 agent 和强化学习带来了新需求。Erik 说 sandbox 已经增长到 Modal 营收的大约三分之一，这是他在发布时没有预料到的。

这种增长也改变了基础设施要做的事。一个 agent 可能会创建环境、跑代码、检查结果、再重试很多次。启动和恢复这些环境的延迟就成了体验的一部分。在最近对 Akshat 的采访中，我们探讨了从开发者体验到 agent 体验的转变；这里 Erik 补充了产品和商业层面的故事。（跳转到 sandbox 讨论 →）

快速启动本身就是基础设施能力

只有容量能足够快地到位，弹性才有意义。Modal 关于 serverless GPU 的技术文章介绍了背后的机制：一个可用 GPU 的缓冲池、自研文件系统、进程检查点（checkpointing），以及 GPU 显存快照。这些组件减少了让另一个模型副本上线所需的工作量。这是一个具体例子，说明基础设施的决策会如何体现在应用的响应速度和成本上。

我们还聊了 Erik 从 Spotify 推荐系统到 Modal 的经历、公司如何采购算力、NVIDIA 的替代品、前沿部署工程师（FDE），以及为什么在 Modal 代码审查是可选的。（跳转到工程文化 →）

节目笔记 全文翻译

• Modal —— Erik 创办的 AI 基础设施平台。
• Erik 的文章 —— 他关于基础设施、市场和创业的随笔。
• Modal 的 D 轮公告 —— 公司最新公布的增长和 sandbox 里程碑。
• Modal 如何实现真正的 serverless GPU —— 弹性推理背后的启动与扩缩容技术。
• Modal 的资源求解器（resource solver）—— 如何在价格和可用性不断变化时选择容量。
• 扩展到一百万个并发 sandbox —— 一篇关于 sandbox 扩展的工程记录。
• 我们第一次采访 Erik —— 最初的 serverless 基础设施论点。
• 我们对 Akshat Bubna 的采访 —— 面向 agent 的基础设施与开发者体验。
• 《可编程的数据中心》—— Evan Conrad 谈 GPU 交易与实物交割。

时间戳 全文翻译

0:00 Modal 做什么 ｜ 1:25 从 Spotify 到创办 Modal ｜ 4:19 在生成式 AI 热潮之前创业 ｜ 7:43 第一批客户与融资 ｜ 10:00 为推理和自动扩缩容而构建 ｜ 13:21 Modal 从哪里获取 GPU 容量 ｜ 15:39 租用还是自有基础设施 ｜ 19:45 GPU 价格下跌的风险 ｜ 24:18 AI 需求是无限的吗？ ｜ 26:12 NVIDIA 的替代品 ｜ 28:25 Modal 能从 neocloud 学到什么 ｜ 30:26 GPU 作为一种资产类别 ｜ 31:55 Modal 的产品：functions 与 sandboxes ｜ 36:03 支持中小型训练负载的理由 ｜ 41:21 agent sandbox 正在如何变化 ｜ 46:48 Anthropic 与 sandbox 安全 ｜ 49:29 用 agent 测试安全 ｜ 52:51 agent 时代的开发者体验 ｜ 57:45 Modal 的前沿部署工程师做什么 ｜ 59:55 Modal 的产品管理方式 ｜ 1:03:29 可选的代码审查与工程文化 ｜ 1:05:56 云、本地部署与自带云（BYOC） ｜ 1:09:25 容量、融资与增长 ｜ 1:13:07 团队扩张 ｜ 1:17:28 Erik 的推文：短命的 sandbox ｜ 1:18:31 长方形 GPU 合同的问题 ｜ 1:21:20 推理服务商 vs. 模型厂商 ｜ 1:23:25 模型接下来会在哪里进步

访谈实录 浓缩翻译

原文为根据修订版剪辑自动转录，人名和措辞可能有误。以下按时间段浓缩。

[0:00–1:30] Modal 是做什么的： Erik：最简单的说法是我们做 AI 基础设施——一个计算平台加存储平台，客户包括 Decagon、Suno、Runway、Cognition 等，用来构建 AI 应用：大量推理、大量 sandbox，有时是训练和微调、批处理任务等。我们做了一个让客户能快速开发的软件 SDK，底层所有容量由我们管理，部署、扩缩容、生产运行都更简单。和两年前上节目时相比，营收和用户「至少涨了 50 倍」。主持人说自己的副业项目（把 2D 图转成 3D 模型）就托管在 Modal 上。

[1:30–4:30] Spotify 与 Better.com： Erik 2008/2009 年毕业后加入 Spotify，待了 7 年，主要从零搭建音乐推荐系统，带小团队推出了「相似艺人」「Discover Weekly」等功能——大量矩阵分解、计算密集型工作。Modal 的起源就是当时做 AI 应用时觉得「基础设施烂透了」，想做一个自己一直想要的工具。之后在做抵押贷款的 Better.com 当了 5 年 CTO，技术团队从两三人涨到三四百人，学到了管理、招聘和开发者效率。后来利率在疫情后快速上升给 Better 带来很多问题，但那时他已离开。

[4:30–7:30] 创业起点与 Stable Diffusion： 2021 年疫情期间他半休假（两个孩子当时 2 岁和 4 岁），边做零工边折腾点子，之前试过的几个（比如一个网页爬虫）都没成。他在 Spotify 时开源过工作流编排框架 Luigi（与 Airflow、Prefect 同类），原想回到工作流编排，却意识到核心难题其实是「执行计算」而不是「编排计算」，于是 Modal 的方向变成「让在云端跑代码变得简单」，最初相当通用。为了做好开发者体验，他们很早就深入技术栈底层，自研了文件系统、容器运行时。真正的杀手级应用不是 ChatGPT，而是同期发布的 Stable Diffusion——当时团队只有四五个人，大量用户来跑 SD 模型，让他们意识到生成式 AI 推理是绝佳场景。增长很大程度靠 Erik「强迫症式发推」、写长博客，他称之为「创始人主导的营销」——「我擅长的就是发帖和永远在线」。

[7:30–10:30] 第一批收入： 早期自筹资金、长时间不领工资，直到 2022 年初才拿种子轮；Akshat 约在 2021 年 8 月加入任 CTO 兼联合创始人。到 2022 年底才有像样的收入：2022 年 11 月每月约 100 美元，次月约 2,000 美元，2023 年 1 月突然到约 3 万美元，「终于卸下心头大石」。那 3 万美元主要来自一个客户——纽约做 Stable Diffusion 的 Mage，2023 年一季度占营收 80–90%；2023 年底 Suno 也成了大客户；如今营收已很分散。用户多是做底层定制的开发者（自定义工作流、适配器、推理优化），而为开发者体验做的快速扩缩容恰好也适合生产负载。

[10:30–13:30] 为什么要自己造自动扩缩容： Erik 的观点：每个技术新时代都会撞上旧工具的局限（Web、云、移动、PC、AI 都是）。云时代催生了 Kubernetes 和 Docker；但它们是为稳定的后端负载设计的——请求量平稳、CPU 便宜、利用率低也没人在意。生成式 AI 时代 GPU 很贵、需要管好利用率，大模型要经网络加载到 CPU 再到 GPU，旧工具不适用。所以他们自研了文件系统、CPU/GPU 快照、自动扩缩容器和调度器、各种容量管理工具——「不能在旧东西上套壳来做新东西」。早期一个关键决定是很早就做多区域，把全球容量当作「一个大池子」而非各区域独立集群。最近可用性大约达到 4 到 5 个 9。

[13:30–18:00] GPU 容量从哪来： 头几年几乎全部来自超大规模云厂商的 spot 和按需容量（以 spot 为主，可被抢占，但可以在上百个区域聚合），先是 AWS，后来加 GCP，以及（转录写作 “overtime measure”，疑为）Azure；很早就从 Oracle 租 A10/A100，价格很好。直到去年底，大部分容量还是 spot 或一年期预留。但随着 Modal 高速增长和云市场变化，现在要合作近 25 家云，很多时候必须签 3 年以上合同、预付一大笔钱、锁定三年价格。过去 6–9 个月他们重建了采购方式：有约 4 人全职采购容量、打电话给 neocloud、谈判、验货；约 10 人的工程团队专门管理全球各地的裸金属容量，处理网络问题、坏硬盘、「GPU 掉卡」等。目前不拥有硬件，全是租（通常 3 年期）。租的好处是资本效率高，没有运营复杂度（供应商、电力、线缆），也没有融资复杂度：融股权买硬件稀释很大，融债则通常需要锁定长期收入来付利息。他们对购买持开放态度，为了拿到 2027 年需要的容量，「所有选项都在桌上」，但更希望保持精简的软件公司身份——「软件公司一般不该持有重资产，就像大多数公司不该自己买办公楼」。他提到 AI 投资已占美国 GDP 的几个百分点，最近几周美国利率上升；neocloud 本质上是非常老练的金融工程公司。

[18:00–21:00] GPU 价格的风险： 他不认为供给会长期受限：NVIDIA 每月交付数十万块 Blackwell，愿意出高价就能拿到容量；OpenAI、Anthropic 在能买多少买多少，但新供给不断进入市场，并非完全被垄断。硬件价格的「常态」是像受重力一样最终下降，现在是罕见的上涨期，可能持续 6 个月也可能 36 个月。说「必须现在就买」有点像疫情时的卫生纸抢购或挤兑。涨价对 Modal 未必是坏事：稀缺意味着能向客户收更多，而锁定的预留价相当于已经「做多 GPU 价格」。他更担心价格崩盘（虽然不认为很快会发生），那对所有锁定大量供给、可能「买在山顶」的人都很糟。当前的「稀缺租金」主要流向 NVIDIA，其次是 neocloud 和所有拥有容量的人；长期看，持有 GPU 会有一些溢价，但是否值得在资产负债表上背这么贵的资产？他不确定，未来可能自有、租用、合资或复杂的 SPV 并用。

[21:00–24:00] 和 OpenAI/Anthropic 抢 GPU： 价格上涨部分反映了大买家扫货；但 NVIDIA 似乎也更喜欢分散客户，让 neocloud 和替代云获得更多配额。他推测大实验室更偏好与一线供应商合作，因为训练需要超大连续集群；而 Modal 喜欢那些「亚美尼亚 32 个节点、印尼 128 个节点」的小块容量，价格不错。他们有规格清单（IOPS、CPU 跑分、南北向带宽、出入口流量等），通常先拿一个节点做验收测试；但有时也要「信仰一跃」，与还不太了解的供应商签数千万甚至上亿美元的承诺。内部有类似 SemiAnalysis「ClusterMAX」的「Modal 评分」，偏好可靠、响应快、修复快的供应商。

[24:00–26:00] 需求是无限的吗？ 主持人问：既然对智能的需求无限，为什么不尽量多买，买多了再转卖？Erik：现在买了也用不完；更关键的是尾部风险高度相关——价格下跌、利用率下降、转售市场消失往往同时发生。他每天都在激进地买容量、融资，整体非常看多，但他 1999 年参加工作，经历过互联网泡沫和金融危机，想建一家能存续 20–50 年的公司。他提到试图垄断白银市场却惨败的亨特兄弟：「垄断市场通常不是好主意」。他们的扩张计划与需求增长和明年底的营收目标相匹配。

[26:00–28:30] NVIDIA 的替代品： 他过去五到十年每年都说「明年是非 NVIDIA 加速器之年」，每次都错，但认为 2027 年可能真的是。AMD（转录写作 “I am”，疑为 AMD）在某些项目上开始拿到很好的分数；TPU 在 Google 内部广泛使用、效果好；硬件难、软件相对容易，只要把这些加速器的软件层补好，需求会很大。更深的瓶颈在 TSMC 和 ASML。长期看垄断不会永远持续，市场多元化更健康（他也强调 NVIDIA 是了不起的公司）。Cerebras、Groq 在某些负载上表现很好；有人做混合式「分离推理」：NVIDIA 做 prefill、Cerebras 做 decode，因为有的环节受算力限制、有的受内存限制，可以混搭，只是实际部署很复杂。

[28:30–31:55] neocloud 的打法与「GPU 资产化」： neocloud 扩张快的秘诀：先找 Anthropic/OpenAI 等大买家签 5 年合同，拿着合同去华尔街融资，再去 Super Micro、Dell、NVIDIA 买硬件、安装交付——「预售还没买的东西」。他举 Nscale 为例：几乎没有容量却有数千亿美元的项目管线。Modal 一直偏 PLG（产品驱动增长），没法同样锁定长期合同，所以从财务上更难那么快扩张。至于把 GPU 变成资产类别（Silicon Data、Compute Exchange、Ornn（转录写作 “Orn”）等在做价格指数和衍生品），他觉得有意思，也认为在这个规模下行业需要更聪明的风险对冲、风险分担和保险；但算力远不如其他资产同质（网络、位置、磁盘、CPU、可靠性都不同），能否变成像 Henry Hub 天然气或布伦特原油那样高度商品化的可交易资产，仍有待观察。

[31:55–36:00] 两大产品：Functions 与 Sandboxes： Modal Functions 2021 年推出，是易部署、易扩展的 serverless 函数，容量由 Modal 管理，结果特别适合推理和管理 GPU；但 Modal 从不把自己当 neocloud，也没有专门的「GPU 产品」，避免滑向卖「长方形」（三年、固定 GPU 数）的模式。Modal 擅长的是你部署后可以随需扩缩，承接周期性或突发负载；因为有成千上万客户，总需求非常平滑，能高效管理。Functions 2023 年找到产品市场契合，如今约占营收三分之二，主要是推理。Sandboxes 也是 2023 年推出：Erik 和 Akshat 午饭时聊到很多人用 LLM 输出代码，「也许他们需要一个地方跑这些代码」，而 Modal 已有容器、gVisor 隔离等原语，Akshat 一两天就做出原型上线。起初几乎没增长，到当年夏天仍是微不足道的收入，甚至讨论过要不要关掉。后来 LLM 从改函数、写片段进化到能生成完整应用，增长爆发：先是 Lovable 等 vibe coding 公司，然后 Ramp 等用它跑后台 agent，再是一批 neolab 在 Modal sandbox 上做强化学习。如今 sandbox 约占营收三分之一。Erik 一直想把 Modal 做成多产品的「类云」厂商，现在才算真正成立；他们还在做训练、批处理等产品。（注：转录中 sandbox 的时间线前后都写作「2023」，部分年份可能为转录误差，此处按原文保留。）

[36:00–41:00] 下一个产品与训练市场： 他很看好训练，尤其是被忽视的中小规模训练市场（超大训练任务会去签 neocloud 巨单、拿 10 万块 GPU）——研究者迭代、TTS/STT 模型、计算生物学（需求很大）、推荐系统等，64 块 GPU 就能训。批处理也很有意思：有客户要转录「5,000 年」的音频，数百万个文件，几天跑完。他也看好低延迟（语音到语音模型）和 agent 相关场景，但对「agentic」这个词感情复杂——「所有软件最终都会是 agentic 的」。Modal 的定位是提供通用、经过实战检验、可组合的「积木」。以前没专注训练是因为团队小，现在约 150 名工程师，可以在更多市场下注，包括后训练、强化学习，以及存储、数据仓库、特征库、实时流水线等。关于微调：他反而看到相反趋势——几年前的卖点是「小模型 + 领域微调可以追上前沿」，现在开源模型（如 Kimi K3、DeepSeek 4.1、GLM 5.3）开箱即用就几乎和前沿一样好且便宜得多；后训练（SFT、RL）仍有需求，他们也在做相关产品，但微调已不再是「必须做」的事。

[41:00–43:30] sandbox 需要什么新能力： Modal 的强项是规模和可靠性——在他看来（没有数据）他们在这个领域市场份额遥遥领先，能跑数十万甚至数百万个 sandbox，为此系统重写过好几次。新增的包括：在 gVisor 之外提供完整虚拟机（某些场景需要完整 Linux 兼容）；更好的交互原语（sandbox 之间传数据、文件系统操作）；大量快照工作。长期的差异化在于 fork sandbox、快照与恢复、热迁移。sandbox 的新意在于「短暂性」——可以只开几秒钟；他想把 agent 和 harness 从 sandbox 中解耦，让 agent 控制很多 sandbox，甚至每条命令一个 sandbox。

[43:30–46:30] 快照的意义： 现在很多 sandbox 用法是「平移上云」：把自己的开发机塞进云端，让 agent 控制，harness 也跑在里面。他认为更好的模型是：长期运行的 agent 像「持久化执行工作流」一样 7×24 运行，偶尔执行命令；能在 100 毫秒内拉起 sandbox、跑几条命令、关掉并快照，唤醒/休眠循环越快，计算越高效，还能实现分叉、迁移，让 Claude Code 这类工具从线性流程变成分支并行、同时跑上百个 agent。CI 是典型例子：现在 GitHub Actions 分片时每个分片都要重复安装和初始化，开销高（就像阿姆达尔定律）；如果初始化一次后快照、克隆，就能把每个测试放进独立 sandbox，在上千个 sandbox 上并行。关键是把启停的「交易成本」降下来。

[46:30–49:30] Anthropic 合作与 Hugging Face 事件： Anthropic 的 managed agents 支持「自带 sandbox」，可以用 Modal。Erik 认为 Anthropic 靠推理赚钱，所以乐于在其他环节扶持尽可能大的生态，和 sandbox 供应商合作很合理。关于 Hugging Face 事件：攻击 Hugging Face 的 agent 发现了部署在 Modal 上的某个应用的漏洞，把它当跳板获取了完整的互联网访问（他记不清全部细节）。他强调被攻破的是跑在 Modal 上的应用，不是 Modal 本身——就像 AWS 上的应用被黑不等于 AWS 被黑。但他们也在反思：能否默认采用更合理的安全限制，类比 AWS 后来让 S3 存储桶很难被误设为公开，同时不破坏 Modal 的「魔力」。

[49:30–52:50] 用 agent 测安全： 事件之后，他们在内部大量用 agent 找漏洞：把 agent 放进 sandbox，让它尝试逃逸——「agent 版密室逃脱」，从几个月前（大约 Fable 发布前后）开始，目前还没发现问题，但 agent 很擅长深入系统底层、尝试提权和逃逸。他认为 AI 在网络安全上既能攻也能守，长期反而会让世界更安全。被问到大型网络安全公司是否「完蛋」，他说这超出他的专长，但安全行业很大程度在卖「恐惧」，品牌在 AI 时代可能更值钱，这些公司有深厚的企业客户关系和擅长讲「吓人故事」的销售团队，不会就此完蛋。主持人补充：大企业也需要一个出事时能「背锅」的供应商。Erik 说 agent 可能减少对人工渗透测试的依赖（以前大概每半年一次，也许以后一年一次），但「人 + AI」更强，可以请善用 agent 的渗透测试员。

[52:50–57:45] agent 时代的开发者体验： 开发者体验仍然重要，而且几乎所有让开发者体验变好的东西（好文档、清晰的报错、快速反馈循环）也让 agent 体验变好。agent 也让过去难用的东西变好用了——他曾让 agent 帮他配置一向很难搞的 Cloudflare，处理 YAML 的人力成本也降低了。基础设施会变得更程序化：以前用 YAML 声明式配置的东西应该变成 SDK 的命令式调用（启动 sandbox、操作、销毁），SDK 和以前一样重要甚至更重要。一个有趣的变化：因为训练数据，agent 很喜欢用旧版 Modal 语法，很难「掰」过来，所以他们现在弃用功能更保守，要更新网上的每个示例（以及 skills）。他们还会做内部基准，类似 SEO 的「agent 优化」：让 agent「部署一个 Stable Diffusion，用你喜欢的工具」，看它是否推荐 Modal；或者让它给 sandbox 厂商按可靠性、价格排名——agent 尤其容易误解定价，所以他们花大量精力让内容对 agent 更清晰。被问到是否考虑批量建 GitHub 仓库「灌」Modal 代码（「slop cannon」），他说理论上可能有效，但不喜欢这个主意。

[57:45–1:03:30] FDE 与产品管理： Modal 前几年开始投入 FDE，今年大幅扩张，从年初约 4 人到现在约 24 人。他们不完全是 Palantir 模式，而是深度参与客户：LLM 性能调优（训练 draft 模型、调 vLLM 和 SGLang 参数）、帮客户绕过问题、主动发现过度配置（比如申请了过多 CPU/内存）并帮客户省钱、帮新客户从其他平台迁移代码。他们不想变成重服务的公司：FDE 的目标一是参与销售、促成交易，二是服务客户，最重要的是第三点——弥补产品空缺，再把它变成真正的功能。「FDE 做的任何事，我都会问：长期怎么把它变成产品，就不再需要 FDE 了？」Modal 没有专职 PM 团队，有人从 DevRel 或工程师转做产品。Erik 并不反对产品管理，但认为很多公司过早招了 PM，导致产品里塞满「小玩意」；在基础设施公司做好产品管理极难，需要很深的战略思考——基础积木是什么、一两年后要在哪里、如何避免出现 35 个看起来相似却各有细微差别的功能。

[1:01:30–1:06:00] 团队结构与可选的代码审查： 他看到一种很积极的趋势：大家重新想当个人贡献者（IC），在 Modal 经理和 IC 没有地位高低，所有人都是「技术人员」，很多前经理回去写代码；Erik 和 Akshat 仍写大量代码，技术团队之外的很多人也写代码。这个趋势在生成式 AI 之前就开始了，但被 AI 大大加速。代码审查在 Modal 是「可选的」：他认为很多时候代码审查是人们在逃避把东西合进生产的责任，如果有这种文化，说明你需要在 CI/CD 上投入更多。他自己写代码时偶尔会问原作者「这符合你的思路吗」；改文档之类的事不用等人看——AI 时代为什么每行代码都要人看？但前提是内部有很好的控制：基础设施公司要比一般创业公司多一个 9 的可用性，所以到处要有限流、系统解耦、无单点故障、极高的测试覆盖率——而 agent 现在很擅长写测试。工具上他们什么都试：最初大量用 Cursor，之后是 Claude、Codex，现在也有人用 night shift 等开源方案；既然自己也在大规模跑开源模型推理，也鼓励内部用自家端点做 agent 开发。

[1:06:00–1:09:25] 云、本地部署与 BYOC： 他没有改变「不做大规模本地部署」的看法，自称「云极端主义者」：2008 年云刚出来时他觉得在别人电脑上跑代码很疯狂，半年后就真香了；企业花了 15–20 年才转变。Snowflake、AWS、Datadog 等证明多租户云正在胜出，本地部署越来越像遗留模式；BYOC、VPC 对等连接反映的是「把网络当护城河」的过时安全模型，现在有零信任等更稳健的范式。完全掌控技术栈让他们能快速迭代——想引入新数据库就引入，不用考虑客户环境的发布管理。但如果未来有财富 500 强客户要 BYOC，他们会报一个很高的价（目前没人接受）。另一个有意思的点：BYOC 可能是和已经握有大量预留容量的 neolab 合作的方式——控制平面留在 Modal，甚至可以在那部分容量上跑别人的任务，把所有容量聚合成一个大池子。

[1:09:25–1:13:00] 资金用途与三大重点： 如果再融资，钱主要用于容量预付款——这是当下最好的现金用途；工资、办公室在财务上几乎是「舍入误差」（他提到「我们有 200 名员工」，GPU 比人贵得多）。他最关注的三件事：① 容量与金融复杂度（定价与打包、自有与租用的取舍、要不要更像 neocloud 或反其道而行）；② 产品战略：下一批积木是什么、世界在未来几年会突然意识到需要什么（他们过去在 serverless functions 和 sandbox 上都提前布局了）；③ 文化与公司建设：刚过 200 人、年底可能 250 人，要保证每个人有正确的上下文和动力，有被信任的空间也有问责；规模小时大家能「读懂」CEO 的情绪，现在很多新人不敢找 CEO 聊，他要保持可接近（他提到邓巴数，认为其背后的故事多半是编的，但 150–200 人确实是奠定文化的关键阶段）。

[1:13:00–1:16:30] 团队扩张与招聘： 过去 12 个月团队按年化增长约 4 倍，他认为不可持续——每年翻倍不难，但 4 倍会带来文化漂移、形成不同工作方式的「孤岛」、有人去做边缘的投机性项目，以及新人上手成本。预计明年还会增长 2.5–3 倍，可能到 700 人左右，主要是工程师，销售也在扩。招聘重点是系统工程师（Linux、文件系统、可扩展系统、网络、云）；也因为往上走到 LLM 推理，需要 CUDA、GPU、MFU 方面的人才，不过他认为推理工作很多仍是系统问题（如 KV 缓存和路由）。他们在组建研究团队，做后训练、蒸馏、更好的量化方法，先和客户一起优化模型，再逐步做成完全自助的产品——「如果每次客户要优化模型我们都得亲自上，某种意义上就是失败」。

[1:16:30–1:17:28] 产品战略： 他说如果声称确切知道要做什么，「那就是妄想」。他相信的是：这是软件的新时代，需要更好的积木（比如安全隔离运行 LLM 生成代码的能力、与 GPU 和 LLM 协作的新原语）。他看好训练、批处理、agent 与低延迟等方向，但 Modal 的定位是基础设施商店，做通用积木交给客户组合，造出他们无法预料的应用。

[1:17:28–1:18:31] 推文：短命的 sandbox： 主持人念他的推文：「现在很多长期运行的持久 sandbox 感觉像平移上云。我猜 sandbox 会从『把开发机搬上云』演变成更短暂的东西——每条命令一个环境，中间做快照，以便暂停、恢复、克隆。」Erik：Modal 上 sandbox 的中位时长大约只有 8 秒，以后可能更短；长期运行的 sandbox 也有很多合理用途，他们也会支持，但世界需要能大规模并行、降低启停开销的能力。（另一条关于「AI 实验室创业公司陷入互相抢挖的军备竞赛」的推文，他回答「无可奉告」。）

[1:18:31–1:21:20] 长方形 GPU 合同的问题： 推文原意：「GPU 稀缺最大的坏处不是难买，而是几乎所有容量都以『3 年期、从 3–6 个月后开始』的长方形出售，而这不是大多数用户的需求形状。」Erik：Modal 一直擅长完全按需的容量——客户要 100 块 GPU，通常立刻就能给，不需要找销售。真实负载会随 24 小时周期起伏、会增长、会有突发；现在获取容量的主要方式只能是买长方形块，这对行业是个真问题。Modal 能做「期限转换」，因为聚合成千上万客户后需求很平滑。他把 Modal 的价值主张归结为两点：开发者体验（不用操心基础设施就能迭代），以及容量——「我们在聚合全世界的算力容量，并且非常擅长把它切成很细的粒度」，这依赖于极快的扩缩容和 GPU 快照等技术，规模越大效果越好。sandbox 营收每个月还在涨约 30%，他每个月都以为要见顶，结果又继续涨；很多 VC 问他怎么知道 sandbox 会火——他坦言并不知道，2023 年时就觉得它应该更大，但没想到会占营收三分之一。

[1:21:20–1:23:25] 推理服务商 vs. 模型厂商： 推文：「推理服务商应独立于模型厂商存在，有结构性原因：最佳模型变化很快，而推理服务商可以轻松在模型间重新分配资源，因为整体需求相当平滑。」Erik：每当某个中国实验室（希望未来也有更多美国实验室）发布最新最强的开源模型，需求就会大幅转移；如果每个实验室各自囤容量，发布时需求暴涨，别家发布更好的模型后又下跌。虽然 prompt 等因素带来一定粘性，不会一夜全迁，但 Modal 可以把某模型上 50% 的 GPU 一天内转给另一个模型，「系统本来就是为此设计的，不需要任何人告诉我们」。被问到 LLM 是否已商品化、大实验室靠什么赚钱，他用泰勒·斯威夫特类比：发大专辑、巡演赚很多钱，然后沉寂录新专辑，再发新专辑——品牌和定价权仍在。只要实验室能不断推出新模型、利润足以摊销训练成本，就仍是不错的生意。

[1:23:25–结尾] 模型接下来会在哪里进步： 他不认为智能在进入平台期，但有待观察：模型擅长能用强化学习高效训练、易于验证的事——从写代码片段到生产级代码、数学、网络安全。对于目标更模糊、反馈周期更长的领域（比如做菜），他觉得人类在很长时间内仍有竞争力。接下来可能爆发的方向：计算生物学（用 LLM 输出预测，再用分子动力学等计算方法模拟、形成反馈循环）、材料科学（合成材料、测量性质、把 agent 放进循环）——他有物理背景，对此很兴奋。「药物、材料，还有什么？我一时想不起来，但肯定还有很多。」

附录：本周全部 11 期及链接

时间为北京时间（邮件原始时间为 UTC）。所有链接均已去除跟踪参数，并用 curl 验证返回 HTTP 200（2026-10-26）。

链接说明：

• 第 1–8 期来自 Substack 邮件，链接由邮件中的 substack 跳转链接解码得到（latent.space/p/<slug>），www 会 301 跳转到无 www 的版本。
• 第 7 期：邮件里的 slug（/p/the-recommendation-engine-for-commodity）现在返回 404；通过邮件中的 post_id（221404681）解析到 /p/moshi/，嘉宾和节目相同，但网页标题已改为「You are the Team」。
• 第 9–11 期来自 Beehiiv 邮件。邮件里的「Read online」是 link.mail.beehiiv.com 跟踪跳转，curl 访问返回 403、无法解析；上面的链接是邮件 HTML 中直接出现的 Beehiiv 网页版地址，已验证返回 200。这三期没有找到 latent.space 上对应的地址。