部署第一个模型:三步向导里真正需要确认的东西
部署一个模型不是“选个模型点确定”。LLMPod 的部署向导只有三步,但每一步都在校验不同层面的东西:模型本身、算力落点、以及对外交付的形态。这篇按实际界面顺序拆开讲。
入口与前置条件
路径是管理员控制台 → 基础设施 → 模型管理 → 部署列表 → 新建部署。也可以直接在模型管理页对已添加的模型选“新建部署”。
动之前有两个前提:
- 模型已经添加过。部署向导选的是已添加的模型,不是临时上传文件。
- 目标 Docker 集群已有在线节点。
GPU 推理还需要目标机的驱动与容器运行时能正确识别设备。如果只是验证链路,特定引擎(如 llama.cpp)支持纯 CPU 落点。
创建部署和发布对外模型名称是两个步骤。确认部署时可以选择自动发布,但这不是默认必选。
第一步:基本信息
选中模型后,控制台会生成部署名,并推荐推理引擎、镜像版本和目标集群。
这一屏要核对四项:模型、部署名称、推理引擎、镜像版本、目标集群。其中部署名称可以改;镜像版本留空时由服务端按默认目录解析。
关键认知:推荐值只是起点。它不会替你确认目标节点的驱动版本、可用资源、以及模型格式是否匹配所选引擎。这些要自己看。
第二步:选择算力
这一屏是拓扑视图。节点、GPU、可用显存、估算需求都在图上,蓝色节点是当前副本的落点。
要设置的:
- 最大上下文长度:直接决定显存占用,不是越大越好。
- 副本数:多副本要满足每份卡数与设备架构等拓扑约束。
- 按副本选择节点与 GPU:界面会显示推荐显存、已选卡数,以及每张卡不可选的原因。
下面几条是硬约束:
| 约束 | 说明 |
|---|---|
| GPU 与纯 CPU 不能混用 | 同一部署内落点类型必须一致 |
| 多副本受拓扑限制 | 每份卡数、设备架构要一致 |
| 高级里的 KV Cache 精度 | 默认值表示不额外量化 |
如果看到某张卡灰着不可选,界面给了原因,别绕过去——那通常是资源或架构不匹配。
第三步:确认部署
提交前这一屏把所有东西再列一遍:部署名、模型、引擎、集群、算力拓扑,以及自动发布开关。
展开“发布详情”能填对外服务名、描述、标签和三项 Token 定价。这是给调用方看的门面,如果打算直接用,现在填比事后改省事。
默认开启“部署完成后自动发布”。关掉的话,部署只注册推理端点,需要等它就绪再到发布中心手动创建对外路由并绑定。
向导在进入确认页前会跑预检。出现资源或兼容性告警时,优先调整模型、引擎或落点——不要把“强制部署”当常规操作。
提交之后:状态要自己盯
创建成功后,控制台直接进入部署详情的拓扑视图,不返回列表。
部署任务是异步的。先看顶部的编排阶段,再观察拓扑里节点、实例与 GPU 的状态。中间会经过:
- 下载模型
- 拉取镜像
- 启动节点
- 健康检查
只有当状态进入运行中,再去详情页核对实例与端点健康。
这一条最容易被忽略:提交成功只表示部署任务已创建。不能仅凭提交成功的提示就把模型名交给应用团队——那时候它可能还在拉镜像。
部署后的日常操作
部署列表可按状态筛选,也能从“部署详情”重新进拓扑。运行中的部署可以启动、停止、删除,或调整副本数。
注意扩缩容的边界:只改变副本数量,不修改单副本的模型或算力规格。想换模型或换卡型,是新建部署,不是改现有部署。
详情页还提供节点与实例拓扑、阶段进度、容器日志和启动命令,排障基本在这儿。
小结
三步向导的分工是:第一步确认要跑什么,第二步确认跑在哪,第三步确认怎么交付出去。
真正决定成败的是两件事——算力那一步有没有读“不可选原因”,以及提交后有没有等到“运行中”再对外。这两点省掉的代价,通常比省下的时间贵。