服务对外开放兼容行业主流协议的模型API接口。 在公有云交付形态下,客户业务系统通过网络通路,按照协议标准向平台服务端发送调用请求。请求传输至平台算力集群完成模型推理运算,运算结果再通过API接口回传给客户业务系统,客户直接对接平台侧API服务,完成与自身业务系统的对接,使用平台所提供的模型相关能力。 针对存在严格数据管控要求的政企客户,可依托算力控制台完成私有化本地大模型部署。算力控制台作为管理操作入口,下发模型包、配置参数至客户自有硬件环境;模型完整运行在客户机房或专属环境内部,模型推理的全部运算过程都发生在客户侧环境。业务请求、数据处理、结果输出均在客户内部环境流转,以此满足政企数据不出域的业务合规需求。 公有云模式下,模型算力资源部署在平台侧,客户通过远程API调用消费平台算力能力;私有化模式将模型部署于客户本地环境,算力资源使用客户自身基础设施。 客户可结合自身的数据安全管控标准、项目落地条件,灵活选用公有云调用或私有化本地部署的实施方案。
