Mosec

把已有模型封装为可测试的推理接口

准备输入

• 已准备的模型、依赖及输入输出格式。
• 用于本地测试的计算环境和请求样本。

操作步骤

1. 安装 Mosec 与模型依赖，创建 Worker 子类，在初始化方法中加载模型。
2. 实现 forward 处理输入和返回结果，将 Worker 加入 Server，并按输入格式配置批处理。
3. 在本地启动服务，使用客户端样本请求检查响应，再查看指标和日志以评估后续部署条件。

启用批处理时 forward 的输入结构会发生变化，需按配置处理列表或单项；预热样本必须兼容输入格式，接口验证通过也不代表已满足生产负载要求。