GPU 池化:从分时复用到弹性伸缩

GPU 池化:从分时复用到弹性伸缩

2026-05-13 · 苏砚青 · YF-CLOUD 总经理

资源池按显存、模型驻留和并发槽位调度,排队时间单独计入请求指标。

实施与异常处理

小批量先验证可用显存,扩容时观察冷启动和模型缓存命中情况。

运行记录

方案记录编号 YF-CLOUD-RFC-202604。当前维护窗口为每周三 22:00 至 23:00,涉及服务中断的变更通过状态公告另行通知。

相关入口:接入与操作文档 · 客户工作区 · 服务状态