11 月 19 日,OpenAI 公开介绍了内部系统 Performance Factory。它用 Codex 调查性能告警、记录发现和提出改动。工程师审查后决定是否合并,部署后由另一个执行者检查受影响指标是否恢复。OpenAI 说,首个运行流程在三个多月中跟踪了 1,700 多次调查,并为 600 多个问题定位了原因。这些是特定内部服务的工作量。披露没有给出同期典型用户的 ChatGPT 速度改善多少。 OpenAI Performance Factory 报告

工程上值得看的,是不同步骤怎样交手。性能告警可以是真问题,却指到一个症状,或只是反映请求组成变了。一个诊断听起来合理,仍可能留下一项重要观察无法解释。补丁可以改善一张图,却使程序更难维护或改变原有行为。拆开这些问题,才能要求执行者为每一步留下证据,也能看出瓶颈转移到了哪里。调查做得更多,还要看结果是否具体到足以决定改什么。

先看哪个测量值动了#

OpenAI 介绍,新流程之前已经有一套生产实践。工程师手动查看追踪、指标、日志、性能剖析和代码,积累了 30 多个性能工具。反复遇到的问题之一,是 ChatGPT 生成首个词元的时间变长。怎样访问与使用这些工具,后来成为团队共用调查过程的一部分。这些条件影响如何解读工作量。系统是在已有观测能力上工作。指标不一致、部署历史分散的团队,起点不同。Agent 可以帮忙在现有资料里找线索,缺少时间戳和请求边界仍会留下证据缺口。 OpenAI 对既往性能工作的说明

流程从告警出发,再问实际变化什么时候开始。告警可能晚于指标初次恶化几分钟或几小时。一次部署发生在告警之前、但在变化之后,就比表面看起来的解释力更弱。正确的比较要看受影响请求何时碰到改动的服务,而不能只凭发布的开始时间。功能开关可以先到一部分用户,依赖服务也可能按另一套节奏上线。把这些时间对上,才能从同时出现的诸多变化中找出可检验的原因。

总体变慢也可能是工作结构变化。假设 900 个请求通常耗时 100 毫秒,还有 100 个耗时 600 毫秒,平均为 150 毫秒。下一小时,第一类变成 700 个、第二类 300 个,平均就升到 250 毫秒,两个类别各自都没有变慢。用户仍可能觉得更慢,特别是有更多人开始用慢功能。但解决办法和同类请求本身的性能回退可能不同。命中和未命中缓存、不同载荷大小、选择不同模型的请求,也会有类似情况。 Google SRE 的监控说明

验证变化前可以先定义受影响的样本。可以按产品入口、设备、地区、请求类型、缓存状态或其他流量特征划分。知道从哪里开始计时、到哪里结束,配对比较才好解释。首段输出时间、总请求时间和服务端处理时间可对应同一请求的不同部分。OpenTelemetry 的 HTTP 指标标准提供了怎样定义时长边界的一个例子。应用专属指标也可用另一套边界,报告写明即可。这个选择决定一张图显示的是用户所感,还是内部的小步骤。 OpenTelemetry HTTP 指标定义

即使在相近的分组内,分位数和均值也会讲不同的事。少数请求可能等几秒,多数还在基线附近,结果中位数持平、高分位明显变化。如果样本太小,尾部波动也可能只是噪声。一份可读的任务报告会把请求量、时段、分布口径和图一起写进去,也可说明外部体验测试能不能看到同一故障,或者只有一段内部跨度记录到了它。工程师可以据此判断是用户影响、内部优化机会,还是需增加观测值的统计波动。

OpenAI 的系统把上下文写进独立于单次会话的任务。服务将准备好下一环的工作派出去。团队说明 Codex 使用服务身份,便于划定权限及识别它发起的行为。等评审评论或部署时,任务可以订阅事件,再进入可处理状态。性能调查可能跨越一次上线、一次编辑和随后的测量,这样做比较实用。需要持久保存的是指标、样本和说明状态变动的证据。下一个执行者应能直接查看,无需还原整场聊天。 任务流程与服务身份

复核应尝试推翻原因#

当调查者找到看似合理的服务变更,另一次复核可以先问它应当导致什么。假设功能开关有问题,收到开关的请求和其他相近请求应表现不同。如果开关对一些客户关闭,受影响指标在条件可比时也应响应。对照组没变并不能自动证明原因,因为流量、依赖和时间都可不同。它仍比单纯在时间线并排放两个事件强。这个方法与灰度验证类似,对照怎么选和使用哪个模型一样重要。 Google SRE 关于灰度发布的说明

风格化示意图:警报经过 AI 辅助调查、独立假设复核、工程师审批和部署后恢复检查。

OpenAI 举的是 ChatGPT 图片下载例子。最初的调查将会话失败归因于图片访问错误。另一次复核发现,负责找文件的服务已恢复,图片请求仍然失败。原解释覆盖了前面一段,后面的故障还是没解释,于是任务回到调查。第二个 Agent 可以承担的工作,从这个案例看比润色报告更具体。它得能查观测、按要求核对一项主张,并有权标明问题仍未解决。修改摘要的口气,不会补上缺少的因果环节。 OpenAI 的原因复核示例

某些解释的不足值得分开记。它可以说对开始时间,却归错部署。可以找对路径,却解释不了效应大小。可以解释中位数下降,却漏掉尾部的大问题。流程可以对这些项目分别记分,并保留已经核实的部分,让下一位知道从哪一项接手。这也改进以后评估。全案一个分数,可能给听起来圆满的故事高分,哪怕漏了实际经历故障的人遇到的变化。

独立复核也是职责的分工。两个 Agent 背后若是相同的模型、工具和指令,会共享一些盲区。给复核者不同目标,例如找一个未受影响的分组,或者查当时版本里代码真正做了什么,更容易发挥作用。它也可以写明哪一项证据能改变判断。工程师便能看到复核为何接受解释,还有哪里没把握。两个相似的结论本身,无法交代复核究竟独立做了什么。

误判成本并不相同。一次短时告警的坏解释可能只浪费些阅稿时间,改共享依赖的方案可能给几个团队添工作,也会让下一次故障难查。流程无需给每项观察同样高的取证负担,可以让核查与预期影响对应,写下拟议决定是否可逆。决定继续搜集资料,本身也可以是有用结果。保留这种处置状态,能避免系统把所有没出补丁的任务都算成空转。

OpenAI 说,人工抽查 100 项原因建议时,70% 被评为准确,其余 30% 仍需要完善或尚未完整证明因果。这是诊断建议样本的结果,与 600 多起定位原因的计数分开,也都不能说明安全部署了多少修复。与别的团队比较时,样本与事件类型重要。比较稳妥的理解是,报告留下了足够多未解决的问题,使质疑成为流程的实际需要。公开选择方法、复核标准与对照,才更容易知道这个比例量的是什么。 OpenAI 的人工抽查结果

修复建议还有一道质量判断#

OpenAI 表示,提出一个合适修复比找原因更难。有些改动比需要的复杂,也有的引入新问题。报告举例,缓存可以为热点路径提速,也可能让底层数据变化后有过时内容。针对性的补丁容易对一个假设做检查,范围太广则难归因,也更难恢复。工程师在读代码之前需要知道,改动动了什么行为、有什么证据,以及负荷或数据变动时可能出什么问题。这里同时涉及设计和运维。 OpenAI 关于修复复核的说明

复核界面应保留能改变决定的证据。受影响分组在改动前后的图,通常比一大篇执行过程更有用。追踪可以定位在哪个服务,CPU 剖析可显示哪段代码占了时间。两种记录回答不同问题。摘要可以注明来源、期间、比较项,并给需要看原始记录的人保留链接。若少了证据,应看得出哪一步没做、接下来能核查什么。工程师就能在作判断之前,省下重建整次调查的工作。

容易测试的改动,往往有一项预计会改善的指标和检查副作用的办法。合成性能测试可以用受控输入复现现象。分阶段部署再检验结果在真实的请求多样性下能否保住。首段输出变快的场景里,某个服务跨度更短是否有用,还得看用户的等待。试验也许要查错误率和生成剩余答案的耗时,免得以另一条指标换来改善。减少 CPU 却增加内存,也可能把瓶颈挪走。复核要问,得到怎样平衡的结果才适合上线。

报告里工程师部署之后,系统再恢复运行,按此前的基线核查。完全恢复可以结案,只恢复一部分时可以结束原回归并为残余问题另开任务。没有改善则回到调查。这些分支承认一个告警可能有几个原因。实务细节在于部署后用了哪一份基线和样本。如果验证时整站刚好清闲,即使图好看,一部分请求的缺陷也可能仍在。受影响请求和对照条件应随任务一起保存。 OpenAI 对部署后验证的描述

一次修复有两个时间。一个记仓库内改了代码,另一个记新行为对受影响流量生效。只看合并时间,可能让测试窗口太早。只看全量流量,也可能漏掉尚未收到改动的用户或地区。工程师可以记发布标识和它到达目标流量的区间。后来者就能比较预期与实际,也能在恢复未能持续时找到回滚或后续调查的起点。

两个改动相近时,事先约好的比较格外重要。第一项改动也许降低总负荷,让另一条慢请求暂时恢复,第二项改动才减少每次请求的工作量。发布顺序和可控测量有助于分辨两项影响。如果难以完全隔开,任务可以写明变化重合,以及还有什么解释不确定。这比把同一次恢复归给时间最近的补丁可靠。团队仍可以承认很可能有改善,同时知道还缺什么测量才能说原因已经消除。

评估 Agent 当时能知道什么#

OpenAI 描述了重放历史事件的方法。评估者以原始告警开始新会话,去掉结案说明与答案。历史测试都会遇到问题,日志和追踪会到期,事件之后新收集的数据可能包含当时还看不到的线索。报告称,OpenAI 限制生产遥测的可读范围,再检查会话是否提前看到了答案。合理的评估要保留决定点当时的材料,并单独标出后来才知道的事。 OpenAI 的历史回放评估

历史结案也是一种有边界的对照。原团队可能减轻过症状,却没确定完整原因。模型可能找到更好的解释,也可能只猜了一个相近说法。把时间、样本与假设分别评分,就能给复核者处理空间,也能看出新版改善一类问题却让另一类变坏。重复试验要记录保留的证据、使用的模型和指令,以及可见范围。只用新步骤开发时用过的历史事件,会高估这个改动的价值。代表性的新案是另一种检验。

OpenAI 也在任务快照上单独评估摘要。评估者可以检查新接手的工程师能否不用重做调查,就知道故障、影响及下一步。已保存的快照和稳定链接有助于复测。它测到的是一项真实成本。服务负责人负责决定看什么和部署什么。把相关告警归组、按影响排序,可以让他们看出同一个问题在不同地方冒头。只数 Agent 结案、没记工程师看多久,会把交付最相关的成本漏掉。 OpenAI 的交接评估和告警归组

评估还可以纳入工具链自身的失败。改权限可能让 Agent 读不到剖析器,仪表盘查询也可能少一条序列。最终报告依然写得通顺,只是漏掉了那项测试。OpenAI 描述,会从近几次运行查经常出现的访问或工具错误,为它们建立修复任务。团队可记录缺证据出现的频率、影响和恢复耗时。就像观察服务延迟一样,团队也可以观察每项调查还能否执行。诊断工具改过之后,也需要有证据证明原先失败的一步真的恢复了。

结果要看决定和恢复#

要试类似流程,可以选一项范围小、归属清楚、有可靠追踪和可控发布路径的告警。试点可以测告警到可用解释的时间、到批准改动的时间、改动被否决或编辑的数量,以及同一指标上的恢复。也要看没解决的事后来怎样,一位工程师实际读了多少摘要。用这些量与现有流程比较,比照搬工具和流量都不同的公司数字更有用。试点范围小也可以留下精确证据。

对照也可以记录人工工作量。假设调查数量翻倍,需要人退回的建议也翻倍。团队也许更早看到问题,发出正确补丁却更晚。完成调查数适合与决定时间中位数、人工纠正数,以及采纳诊断却舍弃补丁的次数一起看。它们的价值不同。看清这个区别,才容易判断该让自动化开始调查、准备复核证据,还是在一定条件下先拟一份代码。

披露的当前流程和未来设想也各有日期。OpenAI 说正在探索,某些低风险改动是否最终可以没有人工批准就上线。报告描述的目前流程,由工程师复核并决定推出什么。不需要告警主动寻找回归,也是仍在开发中的做法。这些变化会带来新的测量问题。自动上线需要证据标准、授权范围和可靠恢复。主动发现要分清新增问题和额外噪声。现有报告能显示的价值,在调查回归与帮助工程师检查结果。

Performance Factory 最容易迁移的做法,是让每一步有一个能用证据回答的问题。同类请求是否开始变慢?提出的原因能否解释整个期间?改动能安全减哪些工作?受影响流量上线后是否恢复?这些问得具体时,人和 Agent 可以处理同一件事,明白自己在哪个环节。值得测的下一项进展,是团队能多常提前作出决定、验证恢复,同时让尚未解决的事有一份可查的记录。