模型总览
先到模型页确认开放权重范围与具体许可。
查看模型差异本地部署应先明确用途,再核对模型许可、硬件和运行方式。本文依次介绍需求判断、资源评估、部署路径以及服务化后的访问与安全设置。
本地部署可以应对三类需求:数据保留在内网、稳定且大量的调用、离线运行或深度定制。具体包括保密与合规、自建成本,以及微调、插件或特殊推理参数,但并非所有任务都需要自建。
个人日常使用或调用量不大时,网页版与 API 平台通常更划算。
先确定模型规模,再选择量化精度。最后按所选方案核对显存和内存。
较小的量化模型通常可在消费级显卡运行;模型越大,显存和内存需求越高。超出单卡容量时,要考虑多卡或更低量化精度;具体数值以模型卡和实际测试为准。
| 资源项目 | 判断方法 | 资源不足时 |
|---|---|---|
| 系统内存 | 容量大于权重文件并预留加载空间 | 采用量化模型或减小规模 |
| 磁盘空间 | 用于权重和依赖,通常需内存容量的数倍 | 清除旧版本或采用模型仓库托管 |
| 计算能力及带宽 | 影响首字响应和吞吐能力 | 降低并发并排队调度,分开推理和业务服务 |
| GPU 显存 | 取决于权重大小及并发请求数量 | 调低量化精度、缩短上下文或多卡分担 |
路径 1:权重和框架部署。有工程能力的团队可获取权重,按照官方仓库选择框架、权重格式及量化方案。随后提供服务,这条路径便于自主控制,也方便继续微调和二次开发。
路径 2:本地桌面运行工具。个人和快速验证可使用社区常见运行工具,按模型名称拉取并启动。通常几分钟可形成本地对话服务,但参数可调范围及并发能力有限。
# 路径二的典型流程(命令名以所用工具的官方文档为准)
1. 安装本地运行工具
2. 拉取目标模型权重
3. 先用默认参数跑通一次对话
4. 再按需调整上下文长度、并发数与量化精度
5. 最后开放给内网调用需要微调、自定义推理策略或长期稳定服务业务时,选官方仓库加框架。只想个人使用或检查效果,可以选择桌面工具路径。
如果只需要 API 调用而非完全离线,API 调用指南 提供成本更低的接入方式。先验证业务可行,再决定是否迁移到自建。
资源需求取决于模型规模与量化方式,小模型或量化版可在消费级 GPU 上运行。大模型可能需要更多显存或多卡,也要预留内存载入权重,具体以模型卡和实测为准。
权重准备好之后,推理本身可以离线进行。实时搜索、下载新模型和更新仍需网络;完全隔离环境应提前准备权重及依赖包。