本地部署大语言模型（LLM）越来越流行。优势包括：数据隐私、无 API 费用、离线可用、可定制。本文将详细介绍如何在本地部署和优化 LLM。
## 为什么选择本地部署？
### 优势
– **数据隐私：** 数据不离开你的设备
– **零 API 费用：** 一次部署，无限使用
– **离线可用：** 不依赖网络
– **完全控制：** 可自定义、微调、量化
– **延迟低：** 本地推理，响应快速
### 劣势
– 硬件要求：需要较好的 GPU
– 模型大小：本地存储占用
– 推理速度：可能不如云端服务
## 硬件要求
– **最低配置：** CPU 8核+、内存 16GB、存储 50GB SSD（GPU 可选）
– **推荐配置：** CPU 16核+、内存 32GB+、存储 100GB+ NVMe SSD、GPU RTX 3060+
– **高端配置：** CPU 32核+、内存 64GB+、存储 200GB+、GPU RTX 4090
## 模型选择
### 轻量级（适合 CPU / 小 GPU）
| 模型 | 参数 | 推荐用途 |
|——|——|———-|
| Llama-3.2-3B | 3B | 对话、简单任务 |
| Phi-3-mini | 3.8B | 通用、推理 |
| Qwen-2.5-3B | 3B | 中英双语 |
### 中等规模（需要 GPU）
| 模型 | 参数 | 推荐用途 |
|——|——|———-|
| Llama-3.1-8B | 8B | 通用对话 |
| Qwen-2.5-7B | 7B | 中英、代码 |
| Mistral-7B | 7B | 通用、指令跟随 |
| Gemma-2-9B | 9B | 多任务 |
### 大规模（需要大显存）
| 模型 | 参数 | 推荐用途 |
|——|——|———-|
| Llama-3.1-70B | 70B | 高质量生成 |
| Qwen-2.5-72B | 72B | 中英、复杂任务 |
| Mixtral-8x7B | 47B | MoE 架构 |
## 部署框架
### 1. Ollama（最简单）
“`bash
# 安装
curl -fsSL https://ollama.ai/install.sh | sh
# 拉取模型
ollama pull llama3.2
# 运行聊天
ollama run llama3.2
# API 服务（默认端口 11434）
ollama serve
“`
API 调用：
“`python
import ollama
response = ollama.chat(model=’llama3.2′, messages=[
{‘role’: ‘user’, ‘content’: ‘Why is the sky blue?’}
])
print(response[‘message’][‘content’])
“`
### 2. vLLM（高性能）
“`bash
pip install vllm
python -m vllm.entrypoints.openai.api_server
–model Qwen/Qwen2.5-7B-Instruct
–host 0.0.0.0 –port 8000
“`
### 3. Text Generation WebUI（图形界面）
“`bash
git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
pip install -r requirements.txt
python server.py –model Qwen/Qwen2.5-7B-Instruct
“`
### 4. LocalAI（OpenAI 兼容）
“`bash
docker run -p 8080:8080 -v /path/to/models:/models localai/localai:latest
“`
## 量化技术
| 精度 | 大小 | 质量 | 速度 |
|——|——|——|——|
| FP16 | 100% | 最好 | 慢 |
| Q8_0 | 60% | 很好 | 较快 |
| Q6_K | 50% | 好 | 快 |
| Q4_K_M | 35% | 可接受 | 很快 |
| Q3_K_S | 25% | 较差 | 最快 |
## 多模态模型
– **LLaVA（视觉+语言）：** `ollama pull llava`
– **Qwen-VL（多模态）：** OpenAI 兼容 API
## 部署最佳实践
– 容器化：使用 Docker 一键部署
– 负载均衡：Nginx 代理多节点
– 监控：Prometheus + Grafana