LLMPodLLMPod

部署第一个模型:三步向导里真正需要确认的东西

2026-11-04·LLMPod 团队·约 5 分钟
模型部署快速开始

部署一个模型不是“选个模型点确定”。LLMPod 的部署向导只有三步,但每一步都在校验不同层面的东西:模型本身、算力落点、以及对外交付的形态。这篇按实际界面顺序拆开讲。

入口与前置条件

路径是管理员控制台 → 基础设施 → 模型管理 → 部署列表 → 新建部署。也可以直接在模型管理页对已添加的模型选“新建部署”。

动之前有两个前提:

  • 模型已经添加过。部署向导选的是已添加的模型,不是临时上传文件。
  • 目标 Docker 集群已有在线节点。

GPU 推理还需要目标机的驱动与容器运行时能正确识别设备。如果只是验证链路,特定引擎(如 llama.cpp)支持纯 CPU 落点。

创建部署和发布对外模型名称是两个步骤。确认部署时可以选择自动发布,但这不是默认必选。

第一步:基本信息

选中模型后,控制台会生成部署名,并推荐推理引擎、镜像版本和目标集群。

这一屏要核对四项:模型、部署名称、推理引擎、镜像版本、目标集群。其中部署名称可以改;镜像版本留空时由服务端按默认目录解析。

关键认知:推荐值只是起点。它不会替你确认目标节点的驱动版本、可用资源、以及模型格式是否匹配所选引擎。这些要自己看。

第二步:选择算力

这一屏是拓扑视图。节点、GPU、可用显存、估算需求都在图上,蓝色节点是当前副本的落点。

要设置的:

  • 最大上下文长度:直接决定显存占用,不是越大越好。
  • 副本数:多副本要满足每份卡数与设备架构等拓扑约束。
  • 按副本选择节点与 GPU:界面会显示推荐显存、已选卡数,以及每张卡不可选的原因。

下面几条是硬约束:

约束 说明
GPU 与纯 CPU 不能混用 同一部署内落点类型必须一致
多副本受拓扑限制 每份卡数、设备架构要一致
高级里的 KV Cache 精度 默认值表示不额外量化

如果看到某张卡灰着不可选,界面给了原因,别绕过去——那通常是资源或架构不匹配。

第三步:确认部署

提交前这一屏把所有东西再列一遍:部署名、模型、引擎、集群、算力拓扑,以及自动发布开关。

展开“发布详情”能填对外服务名、描述、标签和三项 Token 定价。这是给调用方看的门面,如果打算直接用,现在填比事后改省事。

默认开启“部署完成后自动发布”。关掉的话,部署只注册推理端点,需要等它就绪再到发布中心手动创建对外路由并绑定。

向导在进入确认页前会跑预检。出现资源或兼容性告警时,优先调整模型、引擎或落点——不要把“强制部署”当常规操作。

提交之后:状态要自己盯

创建成功后,控制台直接进入部署详情的拓扑视图,不返回列表。

部署任务是异步的。先看顶部的编排阶段,再观察拓扑里节点、实例与 GPU 的状态。中间会经过:

  1. 下载模型
  2. 拉取镜像
  3. 启动节点
  4. 健康检查

只有当状态进入运行中,再去详情页核对实例与端点健康。

这一条最容易被忽略:提交成功只表示部署任务已创建。不能仅凭提交成功的提示就把模型名交给应用团队——那时候它可能还在拉镜像。

部署后的日常操作

部署列表可按状态筛选,也能从“部署详情”重新进拓扑。运行中的部署可以启动、停止、删除,或调整副本数。

注意扩缩容的边界:只改变副本数量,不修改单副本的模型或算力规格。想换模型或换卡型,是新建部署,不是改现有部署。

详情页还提供节点与实例拓扑、阶段进度、容器日志和启动命令,排障基本在这儿。

小结

三步向导的分工是:第一步确认要跑什么,第二步确认跑在哪,第三步确认怎么交付出去。

真正决定成败的是两件事——算力那一步有没有读“不可选原因”,以及提交后有没有等到“运行中”再对外。这两点省掉的代价,通常比省下的时间贵。