研究框架 · 待补充实测与材料
从设备接入到推理服务
- 设备与驱动
- 提供设备发现、内存与传输、执行队列、校准和健康状态接口。
- 算子运行时
- 维护光核支持的算子、形状和精度,管理缓冲区及异构执行,对不适配或异常请求回退到 GPU 或 CPU。
- 推理服务
- 接入选定的模型后端,支持请求路由、批处理、并发控制及流式输出,按负载管理缓存和资源配额。
- 部署与运维
- 提供模型版本管理、发布回滚、健康检查和监控。记录首 token 延迟、尾延迟、吞吐、错误率、能耗和回退比例。
阶段产出。 一条真实请求从服务入口到光电协同执行的最小闭环,以及在相同输入和质量要求下可复现的 GPU 对照结果。