云算力专业课 · C4
库存控制
云算力的库存是「未来每个时间窗、每种卡型的可用卡时」。它的特殊之处是同一批物理卡可以用三种身份卖出：预留（承诺）、按需（即时）、抢占（可中断）；而且大作业要求「同时拿到 N 张同拓扑卡」。所以库存控制的核心是分区、配额与碎片治理，而不是简单地开关某类实例。
核心要点
四条要记住的
- 三池分区，比例随在手承诺动态调整。预留池（已售承诺，不可动）、按需池（高价即时需求，重中之重）、抢占池（可中断填充，设上限）；预留池随承诺消耗自动扩缩，按需池设保护位，抢占池只吃剩余产能。
- 按需保护位与门槛价。为高价值按需客户保留保护卡时，只有在实现单价高于门槛价时才释放给抢占与低折扣长租；保护位不是固定值，而是随在手承诺、排队 P95 与预测需求每天重算。
- 配额与回收，防长期空占。按客户 / 项目设卡时配额上限，防止单一作业吃满集群；配套心跳检测、预约后超时未启动自动回收、空转（分配但未计算）超时释放，做到配额能发也能收。
- 碎片治理与超卖边界。用拓扑感知调度（同机同域、NVLink/RDMA 一致）与装箱算法降低碎片率；显存绝对不可超卖，算力可分时复用但必须设排队上限与预计等待时长，放弃率超阈值即停止接单。
要点对照
核心指标一览
| 指标 | 定义 / 公式 | 说明 |
|---|---|---|
| 三池占比 | 预留池 / 按需池 / 抢占池 卡时 ÷ 总可用卡时 | 分区是库存控制的主开关，比例每天随承诺与预测重算 |
| 按需保护位 | 为高价即时需求保留的卡时数，随门槛价动态调整 | 防止低价业务把旺季产能提前吃光 |
| 抢占池上限 | 抢占式可占用卡时上限 ÷ 空闲卡时 | 避免抢占挤占按需转化，也避免抢占无卡可抢 |
| 配额回收率 | 超时未启动 / 空转被回收的卡时 ÷ 已分配卡时 | 配额能发也要能收，回收率过低说明空转严重 |
| 排队时长 P95 与放弃率 | 排队时长分位数；放弃率 = 排队超时取消作业数 ÷ 提交作业数 | 超卖的止损线，放弃率破阈值即收紧接单 |
| 碎片率 | 因拓扑 / 显存不匹配无法分配的空闲卡时 ÷ 总空闲卡时 | 看着有卡却排不上队的根因，靠装箱与迁移治理 |
常见错误
这个行业容易踩的坑
- 抢占池开得过大挤压按需——空闲卡被低价抢占填满，高价值客户来了反而排队。
- 分配即占用，作业空转不释放——分配后等数据、等参数、等人确认，卡被占着不算，双重损失。
- 只看总量不看拓扑与显存匹配——报表显示有 200 张空闲卡，客户要 64 卡同域训练却一张都拼不出来。
- 配额只发不收——大客户拿到配额后长期低强度使用，其余客户在排队，产能被名义占用锁死。
自测
两道题
第 1 题 某云厂商为提升利用率，把 60% 的空闲卡时划入抢占池。最可能出现的后果是？
解析 · 抢占池的本质是把「未来可能被高价需求买走的产能」提前以低价卖掉。占比过高时，利用率确实上升，但实现单价被稀释，且当按需客户（尤其是不可延迟的推理与赶deadline的训练）到达时无卡可用，只能排队或转向竞品。抢占池应设上限并动态收缩——排队 P95 与在手承诺上升时，应主动把产能从抢占池划回按需池。
第 2 题 关于云算力的「超卖」，下列说法正确的是？
解析 · 算力库存有两类约束：显存是硬约束，超卖会直接导致作业 OOM 崩溃，绝对不能超；算力（SM 时间片）可以分时复用，相当于一种可控超卖，但代价是排队与延迟。因此可行做法是对算力做有界超卖——用排队时长 P95 与放弃率作为止损线，一旦突破就停止接单或回收抢占池。取消率超卖是酒店的玩法，云算力没有取消率这个概念，抢占式恰恰是可中断超卖的实现形式。
关联
对应通用内核：K01 需求预测 · K02 动态定价 · K03 库存控制 · K04 渠道管理 | 行业：云算力详解