2026年本地AI部署全攻略：从硬件选型到模型运行

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

# 1. 安装Ollama（macOS）
brew install ollama

# 2. 运行模型
ollama run qwen2.5:7b
ollama run qwen2.5:14b
ollama run deepseek-r1:671b

# 3. 查看运行中的模型
ollama list

# 4. 创建自定义模型
ollama create mymodel -f Modelfile

1
2
3
4
5
6

# Ollama默认监听http://localhost:11434
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:7b",
  "prompt": "你好",
  "stream": false
}'

1
2
3
4
5
6

pip install vllm

# 启动服务
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-7B-Instruct \
  --port 8000

1
2
3

git clone https://github.com/oobabooga/text-generation-webui
cd text-generation-webui
./start.sh

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

# 1. 安装Ollama
brew install ollama

# 2. 拉取模型
ollama pull qwen2.5:14b

# 3. 启动对话
ollama run qwen2.5:14b

# 4. API访问
curl http://localhost:11434/api/generate -d '{
  "model": "qwen2.5:14b",
  "prompt": "解释一下量子计算",
  "stream": false
}'

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# 1. 安装vLLM
pip install vllm

# 2. 启动服务（张量并行）
python -m vllm.entrypoints.openai.api_server \
  --model Qwen/Qwen2.5-72B-Instruct \
  --tensor-parallel-size 2 \
  --port 8000

# 3. API调用
curl http://localhost:8000/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Qwen/Qwen2.5-72B-Instruct",
    "messages": [{"role": "user", "content": "你好"}]
  }'

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

FROM nvidia/cuda:12.1-runtime-ubuntu22.04

RUN apt-get update && apt-get install -y python3-pip
RUN pip3 install vllm

COPY start.sh /start.sh
RUN chmod +x /start.sh

EXPOSE 8000

CMD ["/start.sh"]

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# docker-compose.yml
version: '3.8'
services:
  ollama:
    image: ollama/ollama
    ports:
      - "11434:11434"
    volumes:
      - ./ollama-lib:/root/.ollama
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]

1
2

最大模型参数量 ≈ 显存(MB) / 1.2（INT4量化）
最大模型参数量 ≈ 显存(MB) / 2.4（FP16精度）

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

# Ollama常用命令
ollama pull <model>      # 下载模型
ollama run <model>       # 运行对话
ollama list              # 查看已安装模型
ollama rm <model>        # 删除模型
ollama serve             # 启动API服务

# vLLM常用命令
python -m vllm.entrypoints.openai.api_server \
  --model <model_name> \
  --port 8000 \
  --tensor-parallel-size 2

# 测试API
curl http://localhost:11434/api/generate \
  -d '{"model": "qwen2.5:7b", "prompt": "你好"}'