AI Infra 软件体系构建

把验证过的光核能力接入运行时、推理服务和运维。

研究框架 · 待补充实测与材料

从设备接入到推理服务

设备与驱动
提供设备发现、内存与传输、执行队列、校准和健康状态接口。
算子运行时
维护光核支持的算子、形状和精度,管理缓冲区及异构执行,对不适配或异常请求回退到 GPU 或 CPU。
推理服务
接入选定的模型后端,支持请求路由、批处理、并发控制及流式输出,按负载管理缓存和资源配额。
部署与运维
提供模型版本管理、发布回滚、健康检查和监控。记录首 token 延迟、尾延迟、吞吐、错误率、能耗和回退比例。

阶段产出。 一条真实请求从服务入口到光电协同执行的最小闭环,以及在相同输入和质量要求下可复现的 GPU 对照结果。