本地大模型服务器搭建实战：RTX PRO 6000 + Ubuntu + vLLM（个人/中小企业/大企业三级方案）

以 weisunit 博客《四卡 RTX PRO 6000 本地 AI 主机》（2026-08）的中小企业基准方案为骨架，过一遍其基础设施（硬件选型 → 系统与驱动 → vLLM 上线 → 踩坑），系统升级为当前最新的 Ubuntu 26.04.1 LTS，补齐 2026-11 价格行情，再向两端扩展出个人用户 / 中小企业 / 大企业三级可复现方案与技术实现。价格均为撰写时（2026-11）参考行情，标注美元处按 ≈7.2 汇率折算——当前处于显存涨价周期，所有硬件以当期询价为准。

📌 核心概念

0.1 推理服务器的第一性原理：显存测算

本地推理选型只看一个公式：

所需显存 ≈ 模型权重 + KV Cache + 框架/激活开销(~10%)
模型权重 = 参数量 × 每参数字节（FP16=2 / FP8=INT8=1 / 4bit≈0.5）
KV Cache = 并发数 × 上下文长度 × 每token缓存大小（长上下文的主要成本）

模型规模	FP16 权重	INT8/FP8	4bit 量化	单卡 96GB 可跑性
32B Dense	64 GB	32 GB	~18 GB	✅ FP16 都能装下
70B Dense	140 GB	70 GB	~38 GB	✅ 量化/INT8（博客实测口径）
235B MoE	~470 GB	~235 GB	~120 GB	❌ 需 2~4 卡
400B+/旗舰	—	~157 GB（如 DeepSeek-V4-Flash FP8+MXFP4）	—	❌ 4 卡起步

记住三条：权重决定"装不装得下"，KV Cache 决定"能带多少并发"，显存带宽决定"吐字多快"（decode 阶段是带宽瓶颈，不是算力瓶颈）。

0.2 三级方案总览（2026-11 行情）

级别	预算	显存总量	能跑什么	形态
个人/小团队	¥2 万~10 万	32~512 GB	7B~32B 量化；Mac 大内存可跑 400B 级量化（慢）	5090 主机 / Mac Studio
中小企业（基准）	¥28 万~65 万	192~384 GB	70B FP16、235B/400B 级量化，几十人并发	4U 机架服务器 2~4× RTX PRO 6000
大企业	¥200 万~数千万	TB 级（集群）	全尺寸旗舰、高并发 API 平台、多模型混部	HGX 8 卡机/多节点集群 + K8s

0.3 必懂的硬件概念

概念	一句话
显存带宽	RTX PRO 6000（GDDR7）≈1.6 TB/s；H200（HBM3e）≈4.8 TB/s——同显存容量下带宽差 3 倍，decode 速度差距明显
NVLink	卡间高速互联；RTX PRO 6000 没有 NVLink，多卡通信走 PCIe 5.0（~64 GB/s 双向），影响并行策略选择
被动散热	Server Edition 卡无风扇，靠机箱风道——不能装进普通工作站/塔式机箱
ECC	显存校验，7×24 生产服务的底线，GeForce 卡（5090）无 ECC
PCIe Switch	让多卡 P2P 通信不绕 CPU——384GB 级机器的瓶颈常在拓扑而非显存

📖 详细内容

一、基准方案：博客的 4× RTX PRO 6000 服务器（基础设施过一遍）

1.1 为什么是 RTX PRO 6000 Blackwell

核心规格（Server Edition，NVIDIA 官方/PNY 数据表）：

96 GB GDDR7 ECC 显存，512-bit，带宽 ≈1.6 TB/s
Blackwell 架构：24,064 CUDA 核心，752 个第五代 Tensor Core，FP32 ≈120 TFLOPS，FP4 峰值 ≈4 PFLOPS
PCIe 5.0 x16，双槽 FHFL 被动散热，最大 600 W
无 NVLink；国内另有 84GB RTX 6000D 特供版（规格接近、显存略小）

四卡合计 384 GB：单卡可完整加载 70B（INT8），四卡可跑 400B+ 旗舰开源模型。社区实测：4 卡原版 vLLM 直接部署 DeepSeek-V4-Flash（FP8+MXFP4，约 157 GB），单流解码 ~133 tok/s，并发 8 总吞吐 ~584 tok/s；也有现成 Docker 方案跑 GLM-5.2 NVFP4 量化版。相比 H100 单卡 80GB 十几万的价位，"显存总量/每块钱"占优。

1.2 完整硬件清单与价格（2026-11 行情）

建议直接买整机（联想 SR675/SR680 V3、超微、浪潮等 NVIDIA 合作伙伴系统），保 PCIe 拓扑、散热与供电的出厂验证：

部件	配置	单价参考（2026-11）	小计
GPU	4 × RTX PRO 6000 Blackwell Server Edition 96GB	~$16,000/卡 ≈ ¥11.5 万（首发 2025-10 为 $8,500，因显存缺货 2026-06 涨至 $13,250，8~10 月 ~$16,000；NVIDIA Marketplace/Newegg/B&H 均在此水位）	~¥46 万
CPU	单路 EPYC 9004/9005 或 Xeon 5，32 核+（管数据预处理与请求调度，不用堆猛）	¥1.5~2.5 万	~¥2 万
内存	512 GB DDR5 ECC（≥GPU 总显存 1~1.5 倍；涨价周期内偏高）	—	¥2~3 万
系统盘	2 × 960GB NVMe（RAID1）	~¥1,500	~¥3,000
模型盘	4~8 TB NVMe（一个 400B 级模型数百 GB）	—	¥5,000~8,000
电源	4 × 3000W+ 冗余（4 卡满载 2,400W，整机轻松 3.5kW+）	随机箱	—
机箱	4U GPU 服务器专用（风道压住被动卡 600W×4）	含主板/托架 ¥4~6 万	—
网络	双 25GbE	~¥4,000	—
整机参考价			≈ ¥55~65 万（GPU 占 70%+）

1.3 机房基础设施三铁律（博客强调，最容易翻车）

散热第一：被动卡全靠机箱风扇，风道不足会静悄悄降频——上线后盯着 nvidia-smi 的温度与 clocks 看；
PCIe 拓扑：选带 PCIe Switch 的平台，让 4 卡 P2P 不绕 CPU；
供电：整机 3.5kW+，机房三相电 16A 起步，否则跳闸是日常。

二、系统与驱动层：Ubuntu 26.04.1 LTS 全流程

博客原用 Ubuntu 24.04 LTS；本文按当前点版本 26.04.1 更新。26.04 LTS（代号 Resolute Raccoon，2026-04 发布）的最大红利：首个将 NVIDIA CUDA 原生收录进软件源的 Ubuntu，内核为 Linux 7.0 系列，NVIDIA 驱动开箱即用，vGPU 支持矩阵亦已覆盖。对生产环境仍建议显式锁定驱动/CUDA 版本，避免滚动升级引入不兼容（这正是博客"版本铁三角"踩坑的教训）。

2.1 安装系统

官网下载 ubuntu-26.04.1-live-server-amd64.iso，Ventor/rufus 写入 U 盘；
安装选最小化 Server + OpenSSH Server；
首次登录后更新并装基础工具：

bash

sudo apt update && sudo apt full-upgrade -y
sudo apt install -y build-essential vim curl git htop lm-sensors

2.2 初始化（关掉不安分的默认组件）

bash

# 服务器不需要 GUI 快照生态，按需禁用 snap 与云初始化（物理机可关 cloud-init）
sudo snap remove --purge lxd || true
# 创建运行用户（不要用 root 跑服务）
sudo adduser ai-runner && sudo usermod -aG sudo,docker ai-runner
sudo mkdir -p /data/models && sudo chown ai-runner:ai-runner /data/models

2.3 NVIDIA 驱动（Blackwell 必须 open 内核模块）

⚠️ RTX PRO 6000（Blackwell，sm_120）只被 open kernel module 驱动支持，legacy 驱动不认卡。26.04 上推荐驱动 580/595 分支 open 版（社区实测 595.84 可用，以 apt 实际提供为准）：

bash

# 1) 禁用 nouveau 开源驱动
sudo tee /etc/modprobe.d/blacklist-nouveau.conf <<'EOF'
blacklist nouveau
options nouveau modeset=0
EOF
sudo update-initramfs -u && sudo reboot

# 2) 装内核头文件（NVIDIA 官方指南对 Ubuntu 的明确要求）
sudo apt install -y linux-headers-$(uname -r)

# 3) 安装 open 驱动（26.04 起也可用 nvidia-driver-595-open；或 ubuntu-drivers 自动推荐）
sudo apt install -y nvidia-driver-580-open
sudo reboot

# 4) 验证：4 张卡、温度、功耗、时钟全在
nvidia-smi

2.4 CUDA Toolkit（可选，版本锁定）

纯推理场景 vLLM 的 pip 包自带 CUDA 运行时，Toolkit 主要给编译场景。要装就用版本化包锁定：

bash

sudo apt install -y cuda-toolkit-13-0   # CUDA 13.x 时代；以仓库实际版本号为准，避免 meta 包滚动升级

2.5 Docker + NVIDIA Container Toolkit（推荐）

bash

curl -fsSL https://get.docker.com | sudo sh
sudo apt install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker
sudo systemctl restart docker
# 冒烟测试：容器里能看到 4 张卡
docker run --rm --gpus all nvidia/cuda:13.0-base-ubuntu26.04 nvidia-smi

三、vLLM 部署层（博客流程还原）

3.1 为什么是 vLLM

PagedAttention（把 KV cache 当虚拟内存页管理）+ continuous batching，吞吐比朴素推理高几倍到几十倍；原生 OpenAI 兼容 API（业务代码只改 base_url）；Apache 2.0 商用无限制。

3.2 裸机安装（干净 venv）

vLLM 的 CUDA kernel 与特定 PyTorch/CUDA 版本强绑定，混进旧环境必出玄学问题：

bash

sudo apt install -y python3.12-venv python3-pip    # 版本随 26.04 默认
python3 -m venv /opt/vllm && source /opt/vllm/bin/activate
pip install -U vllm                                  # Blackwell 支持在 0.11 后成熟；以 pip 实际最新为准

3.3 四卡启动（张量并行 TP=4）

bash

vllm serve /data/models/Qwen3-235B-A22B-Instruct-GPTQ-Int4 \
  --tensor-parallel-size 4 \
  --served-model-name qwen3-235b \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.92 \
  --api-key sk-internal-xxxx \
  --host 0.0.0.0 --port 8000

启动日志重点看两行（官方建议）：

GPU KV cache size: XXX,XXX tokens              # 能缓存多少 token
Maximum concurrency for 32768 tokens per req: N  # 满上下文时能并发几个请求

低于业务需求 → 加卡或降 --max-model-len（并发与上下文长度是一对权衡）。

3.4 并行策略（无 NVLink 的实操）

TP=4 通常没问题：社区实测 DeepSeek-V4-Flash TP4 解码速度良好（ PCIe 5.0 扛得住）；
vLLM 官方提醒：无高速互联可考虑 pipeline parallel（按层切分、通信量小，但延迟更高）；模型切不均时也用 PP；
实操顺序：先 TP4 基准，吞吐不达标再试 --pipeline-parallel-size 组合。

3.5 验证 OpenAI 兼容接口

bash

curl http://127.0.0.1:8000/v1/chat/completions \
  -H "Authorization: Bearer sk-internal-xxxx" -H "Content-Type: application/json" \
  -d '{"model":"qwen3-235b","messages":[{"role":"user","content":"你好"}]}'

python

from openai import OpenAI
client = OpenAI(base_url="http://内网IP:8000/v1", api_key="sk-internal-xxxx")
r = client.chat.completions.create(model="qwen3-235b",
                                   messages=[{"role":"user","content":"你好"}])
print(r.choices[0].message.content)

3.6 Docker 方式（团队推荐）

bash

docker run -d --name vllm --restart unless-stopped \
  --gpus all --shm-size 32g \
  -v /data/models:/models -p 8000:8000 \
  vllm/vllm-openai:latest \
  --model /models/Qwen3-235B-A22B-Instruct-GPTQ-Int4 \
  --tensor-parallel-size 4 --max-model-len 32768 \
  --gpu-memory-utilization 0.92 --api-key sk-internal-xxxx

两个必带参数：--shm-size（多卡 NCCL 共享内存默认值太小会崩）、--api-key（内网鉴权）。再配 systemd/compose 守护与开机自启即可生产化。

3.7 384 GB 显存的模型选型（博客口径）

场景	模型	说明
通用问答/客服	Qwen3-235B / GLM-5.2 量化版	4 卡舒适运行，中文强
代码/Agent	DeepSeek-V4-Flash 系 FP8	有 4 卡零改动部署实录
轻量并发	Qwen3-32B / Llama 70B	单卡即跑，可一机多模型

3.8 踩坑清单（博客原版 5 条）

驱动与 vLLM 版本不匹配：Blackwell 要求驱动/CUDA 够新（vLLM 建议 CUDA 12.4+、驱动 550+，新卡更高）；
sm_120 早期支持不完善：vLLM 0.10/0.11 时代论坛踩坑者众，升级到新版本基本解决；
NCCL 共享内存不足：多卡报 NCCL 错误先加 --shm-size 或调 ulimit；
并发预期别拉太高：长上下文吃 KV cache，用日志 Maximum concurrency 估算实际承载；
散热与降频：nvidia-smi 盯温度与 clocks，被动卡风道不足会静悄悄掉性能。

四、三级方案扩展

4.1 个人用户 / 小团队（¥2 万~10 万）

方案 A：单卡 RTX 5090 32GB 主机（速度优先）

部件	配置	参考价（2026-11）
GPU	RTX 5090 32GB（MSRP $1,999，但 2026 显存危机德国已 6,000~6,800 欧元，国内现货约 ¥5.4 万；特供 5090D v2 约 ¥3.6~4 万）	¥3.6~5.4 万
整机	i9/R9 + 128GB DDR5 + 4TB NVMe + 1600W 金牌	¥1.5~2 万

能跑：7B~32B 量化（32B Q4 ≈18GB），70B Q4（~38GB）超单卡放不下；
技术栈：Ollama（一条命令起 OpenAI 兼容 API）/ LM Studio（GUI）/ vLLM 单卡；前端 Open WebUI；局域网内全家共享；
适合：重度开发调 API、生图、本地 RAG（配合 RAGFlow）。

方案 B：Mac Studio（容量优先，2026 的性价比黑马）

配置	参考价
M4/M5 Ultra 128GB 统一内存	~¥4 万+（国行 ¥46,999 起）
256GB	~¥7 万
512GB	~¥10 万（实测可跑满血 DeepSeek R1 的 420GB Q4 量化）

统一内存 = "超大显存"：512GB 能装下 5090 做梦都不敢想的模型；代价是带宽低于 GDDR7、生成速度慢，适合长上下文、挂机推理、追求静音省电（数百瓦 vs 3.5kW）；
技术栈：MLX 引擎（Apple 芯片原生）/ llama.cpp；LM Studio 一键开服务。

选型口诀：要速度/要 CUDA 生态（生图、微调）→ 5090；要容量/静音/跑超大模型量化 → Mac Studio；两者预算重叠时，社区 2026 年的天平正因显卡暴涨向统一内存倾斜。另有 NVIDIA DGX Spark 类 128GB 统一内存 ARM 小主机（~$3,999）作折中。

4.2 中小企业（¥28 万~65 万）

阶梯配置：

档位	配置	显存	参考总价	能跑
入门	2 × RTX PRO 6000 整机	192 GB	~¥28~32 万	70B FP16、235B 量化轻并发
基准（博客）	4 × RTX PRO 6000 整机	384 GB	~¥55~65 万	235B/400B 级量化，几十人并发（584 tok/s@8 并发实测口径）
平替	84GB RTX 6000D 特供版 ×4	336 GB	视渠道	同上略降规格
开发机	4 × 5090 工作站	128 GB	~¥26 万	无 ECC、功耗激进——只建议研发用，不建议生产

技术实现栈（可直接复现）：

[业务侧] Open WebUI / Dify 编排 / 内部应用（OpenAI SDK）
              │ 内网 HTTPS
[网关层]  Nginx/Traefik（TLS 终结）+ LiteLLM（模型路由/预算/调用日志/api-key 管理）
              │
[推理层]  vLLM ×N 容器（Docker Compose，--restart unless-stopped）
              │ systemd 守护
[主机层]  Ubuntu 26.04.1 + 580/595-open 驱动 + Container Toolkit
[监控层]  Prometheus + dcgm-exporter（温度/功耗/显存/clocks）
          + vLLM 自带 /metrics（TTFT、吞吐、并发）+ Grafana 看板 + 告警

yaml

# docker-compose.yml 骨架（推理+网关+UI 三件套）
services:
  vllm:
    image: vllm/vllm-openai:latest
    restart: unless-stopped
    gpus: all
    shm_size: "32gb"
    volumes: ["/data/models:/models"]
    command: >
      --model /models/Qwen3-235B-A22B-Instruct-GPTQ-Int4
      --tensor-parallel-size 4 --max-model-len 32768
      --gpu-memory-utilization 0.92 --api-key sk-vllm-internal
    ports: ["8000:8000"]
  litellm:
    image: ghcr.io/berriai/litellm:main-latest
    restart: unless-stopped
    volumes: ["./litellm-config.yaml:/app/config.yaml"]
    command: ["--config", "/app/config.yaml", "--port", "4000"]
    ports: ["4000:4000"]
  openwebui:
    image: ghcr.io/open-webui/open-webui:main
    restart: unless-stopped
    environment:
      - OPENAI_API_BASE_URL=http://litellm:4000/v1
    ports: ["3000:8080"]

运维清单（运维背景重点关照）：nvidia-smi 定时巡检（温度/clocks/降频）、模型目录与 compose/git 配置化备份、日志轮转、断电自恢复（BIOS 通电自启 + --restart）、防火墙仅放内网网段访问 8000/4000 端口（策略做法直接参考 14-防火墙访问控制）、每月除尘检查风道。

4.3 大企业（¥200 万~数千万）

算力底座选型：

方案	配置	参考价（2026-11）	适用
单节点旗舰	HGX H200 8 卡（141GB HBM3e/卡，NVLink 全互联，4.8TB/s）	新机约 ¥300~500 万（历史参考 8×A100 ≈¥300 万，H200/B200 需厂商询价）	全尺寸旗舰模型高并发
单节点次旗舰	HGX B200 8 卡（双 Xeon 5，10U）	高于 H200；租用 8×B200 ≈$44/时（≈¥30 万+/月）	同上，可先租后买
二手/过渡	8×H100 整机	二手 $15~18 万（≈¥110~130 万）	预算敏感的推理场景
机柜横向扩展	N × 4U 4×RTX PRO 6000 + 推理网关	~¥60 万/节点	吞吐型业务（多条中小模型）性价比首选，无 NVLink 不影响多实例横向扩

2026 年的行业背景：推理算力需求已达训练的 3~4 倍，市场一卡难求；RTX PRO 6000 裸金属租用约 $1,382/月/台、H200 约 $3.56/时/卡——先租后买/租买混合是主流决策模型。

技术实现栈（K8s 平台化）：

调度层：Kubernetes + NVIDIA GPU Operator + KubeAI/KServe（CRD 声明式管理模型服务，自动拉起 vLLM Pod、支持多模型混部分时复用）；
网关层：Envoy AI Gateway / LiteLLM 企业版——大小模型路由（简单问答走小模型、复杂推理走旗舰）、按部门配额与预算、全量调用审计；
弹性层：按队列深度/GPU 利用率 HPA 扩缩推理副本；白天推理、夜间批量的混部策略；
网络层：节点间 400G IB/RoCE（HGX 平台标配），跨机房走专线 + IPsec（衔接 13-防火墙VPN互联）；
可观测：DCGM exporter + vLLM /metrics + Loki 日志 + Grafana 统一看板：TTFT P99、tokens/s、GPU 温度/降频、显存水位、失败率；
安全合规：模型准入评审（License/安全评测）、数据不出域（全私有化链路）、审计日志留存 ≥6 个月（等保，同 12-防火墙阶段⑤要求）、提示注入防护在网关层做。

成本决策速查：

模式	何时选
云 API 直连	冷启动、波动业务、数据敏感度低
裸金属租用	中期项目、现金流优先（$1,382/月即可验证 384GB 方案）
自建采购	调用量稳定 >盈亏平衡点（通常按 7×24 满载 1~2 年折算）、数据强合规

五、容量规划与上线 Checklist

吞吐速算：以博客实测为锚——384GB 四卡、DeepSeek-V4-Flash，单流 133 tok/s、8 并发总吞吐 584 tok/s。一个"几十人公司内部助手"按峰值 10 并发、人均回复 500 token 估算，584 tok/s 绰绰有余；对外 API 业务按 QPS×平均输出 token 反推副本数。

上线 Checklist：

[ ] nvidia-smi 四卡可见、温度/clocks 正常、满载 30 分钟不降频
[ ] 容器内 GPU 直通正常（nvidia-container-toolkit 冒烟）
[ ] KV cache 日志的 Maximum concurrency ≥ 业务峰值并发
[ ] OpenAI SDK 换 base_url 全业务跑通
[ ] --api-key + 防火墙仅内网可达
[ ] 监控看板有温度/功耗/TTFT/吞吐四张图，告警接通
[ ] 断电重启演练：BIOS 通电自启 → compose 自启 → 服务健康检查通过

💡 重点难点

推理瓶颈是显存带宽不是算力：同为 96GB 级，GDDR7 1.6TB/s 与 H200 4.8TB/s 的 decode 速度差数倍——预算够且要速度上 HBM，要容量性价比上 RTX PRO 6000；
无 NVLink 的并行代价：TP 通信全走 PCIe，TP4 实测可用，PP 是吞吐不达标时的备选，先基准后调参；
并发上限由 KV Cache 决定，不由显存总量决定——max-model-len 拉高直接吃并发；
版本铁三角（驱动/CUDA/vLLM）：Blackwell sm_120 必须 open 驱动 + 够新的 vLLM，三者锁版本、禁滚动升级；
Server Edition 被动散热 ≠ 工作站卡：600W 被动卡放进塔式机箱=降频机器，必须服务器机箱风道；
内存按 GPU 总显存 1~1.5 倍配（384GB 显存 → 512GB 内存起步）；
价格剧烈波动：RTX PRO 6000 一年从 $8,500 涨到 $16,000，5090 涨 132%——采购前重询价，方案预算留 20% 浮动；显存危机期"先租后买"是理性策略；
量化不是免费的：4bit 对知识密集任务有可感知损失，生产建议 FP8/INT8 起步，4bit 先过业务评测；
Mac 统一内存改变了个人级游戏规则：容量巨大但带宽低，"跑得动"不等于"跑得快"，按场景选；
整机功率 3.5kW+：机房三相供电、PDU、UPS 容量都要前置确认，别让电工成为项目瓶颈。

🔗 延伸拓展

微调平台：同一批 GPU 夜间跑 LoRA 微调（LLaMA-Factory/Axolotl），推理训练混部；
推理进阶：speculative decoding（投机解码）、chunked prefill、AWQ/GPTQ/HQQ 量化对比；
平台化：KubeAI 多租户、vLLM 生产部署参数全集（--enable-prefix-caching 等）；
联动本文件夹：vLLM 起好后，Dify/RAGFlow 的模型后端直接指向 http://内网IP:8000/v1 即完成本地化 AI 应用闭环（00-AI基础知识全景第 3.5 节的部署形态）；
监控专项：dcgm-exporter 指标解读（SM 活跃/显存带宽利用率/降频事件），与现有 Prometheus 体系并轨。

面试/选型高频问答

推理服务器怎么快速估算显存？ 权重（参数×精度字节）+ KV Cache（并发×上下文×单位缓存）+ 10% 开销；先算"装得下"，再用日志 Maximum concurrency 验"带得动"。
TP 和 PP 怎么选？ 有 NVLink 无脑 TP；无 NVLink 时 PCIe 5.0 下 TP4 仍通常可行，切不均或通信受限时上 PP，两者可组合。
vLLM 为什么快？ PagedAttention 消除 KV cache 显存碎片 + continuous batching 全程满批，配合前缀缓存复用。
RTX PRO 6000 和 H100/H200 的本质差距？ 显存容量便宜但带宽低 3 倍、无 NVLink、无 HBM——容量性价比选前者，速度与互联选后者。
Blackwell 卡装驱动有什么坑？ sm_120 仅 open kernel module 支持；驱动/CUDA/vLLM 三者版本要对齐，legacy 驱动直接不识别。
为什么容器要 --shm-size？ 多卡 TP 的 NCCL 靠共享内存通信，Docker 默认 64MB 必崩。
几十人的公司买什么配置？ 4×RTX PRO 6000（384GB）整机 ~¥60 万，跑 235B 级量化，584 tok/s@8 并发，是社区验证过的甜点配置。
个人 2026 还值得买 5090 吗？ 现货已炒到 ¥5 万+ 且持续缺货；重 CUDA 生态可等 5090D，跑大模型优先考虑 Mac 统一内存方案。
自建还是租？ 调用量稳定且数据敏感→自建；验证期用裸金属（384GB 方案 ~$1,382/月）先跑通再采购。
Ubuntu 26.04 对 AI 有什么红利？ 首个原生收录 CUDA 的 Ubuntu、Linux 7.0 内核、NVIDIA 驱动开箱即装，驱动链路比旧版本省一半手工活。

记忆口诀

选型三问：装不装得下（权重），带不带得动（KV Cache），跑不跑得快（带宽）；
显存速算：FP16 乘二，八比特乘一，四比特减半，再加一成开销；
部署链路：先驱动后 Docker，干净 venv 装 vLLM，TP4 起服看日志，并发不够降长度；
采购时机：显存缺货价狂飙，先租后买不吃亏，预算留足两成浮；
三级方案：个人 Mac 堆容量，中小四卡 384G，企业 HGX 加 K8s。

参考来源

基准实践与官方文档：

来源	链接	对应章节
weisunit：四卡 RTX PRO 6000 本地 AI 主机（本笔记基准）	https://www.weisunit.com/article/rtx-pro-6000-vllm-guide	全篇
NVIDIA RTX PRO 6000 Blackwell 官方页	https://www.nvidia.com/zh-tw/products/workstations/professional-desktop-gpus/rtx-pro-6000-family	1.1
vLLM 官方文档：Parallelism and Scaling	https://docs.vllm.ai/en/latest/serving/parallelism_scaling.html	3.4
NVIDIA CUDA Installation Guide for Linux	https://docs.nvidia.com/cuda/cuda-installation-guide-linux/	2.3/2.4

系统与行情（2026-11 检索）：

来源	链接	对应章节
Canonical 官方：Ubuntu 26.04 LTS 发布（CUDA 原生收录）	https://cn.ubuntu.com/blog/canonical-releases-ubuntu-26-04-lts-resolute-raccoon_cn	第二章
新浪科技：Ubuntu 26.04 LTS Linux 7.0 内核	https://finance.sina.com.cn/tech/digi/2026-04-24/doc-inhvqmqk3280832.shtml	第二章
Thunder Compute：RTX PRO 6000 2026-10 价格汇总	https://www.thundercompute.com/blog/nvidia-rtx-pro-6000-pricing	1.2
知乎：RTX PRO 6000 涨至 $16,000 分析	https://zhuanlan.zhihu.com/p/2071134139332420420	1.2
新浪财经：RTX 5090 涨价 132%	https://finance.sina.com.cn/tech/roll/2026-10-08/doc-iniunmii7644448.shtml	4.1
Apple 官网：Mac Studio	https://www.apple.com.cn/shop/buy-mac/mac-studio	4.1
CSDN：512GB Mac Studio 跑满血 DeepSeek R1	https://blog.csdn.net/csdnnews/article/details/146109880	4.1
爱范儿：4 台 Mac Studio 串联跑双 DeepSeek	https://www.ifanr.com/1633226	4.1
知乎：2026 上半年 GPU 算力租赁行情	https://zhuanlan.zhihu.com/p/2058211180783597073	4.3
Bitdeer：GPU 算力定价（8×B200 $44/h）	https://www.bitdeer.ai/zh/pricing/gpu-compute	4.3

说明：①价格均为 2026-11 参考行情，显存涨价周期波动极大，采购前务必重新询价；②vLLM/CUDA 具体版本号随时间演进，文中已尽量以"分支/锁版本"表述，动手时以官方仓库当期版本为准；③博客原文基于 Ubuntu 24.04 + 其当期驱动/vLLM 版本，本笔记升级到 26.04.1 后的命令差异点已逐一标注。

本地大模型服务器搭建实战：RTX PRO 6000 + Ubuntu + vLLM（个人/中小企业/大企业三级方案） ​

📌 核心概念 ​

0.1 推理服务器的第一性原理：显存测算 ​

0.2 三级方案总览（2026-11 行情） ​

0.3 必懂的硬件概念 ​

📖 详细内容 ​

一、基准方案：博客的 4× RTX PRO 6000 服务器（基础设施过一遍） ​

1.1 为什么是 RTX PRO 6000 Blackwell ​

1.2 完整硬件清单与价格（2026-11 行情） ​

1.3 机房基础设施三铁律（博客强调，最容易翻车） ​

二、系统与驱动层：Ubuntu 26.04.1 LTS 全流程 ​

2.1 安装系统 ​

2.2 初始化（关掉不安分的默认组件） ​

2.3 NVIDIA 驱动（Blackwell 必须 open 内核模块） ​

2.4 CUDA Toolkit（可选，版本锁定） ​

2.5 Docker + NVIDIA Container Toolkit（推荐） ​

三、vLLM 部署层（博客流程还原） ​

3.1 为什么是 vLLM ​

3.2 裸机安装（干净 venv） ​

3.3 四卡启动（张量并行 TP=4） ​

3.4 并行策略（无 NVLink 的实操） ​

3.5 验证 OpenAI 兼容接口 ​

3.6 Docker 方式（团队推荐） ​

3.7 384 GB 显存的模型选型（博客口径） ​

3.8 踩坑清单（博客原版 5 条） ​

四、三级方案扩展 ​

4.1 个人用户 / 小团队（¥2 万~10 万） ​

4.2 中小企业（¥28 万~65 万） ​

4.3 大企业（¥200 万~数千万） ​

五、容量规划与上线 Checklist ​

💡 重点难点 ​

🔗 延伸拓展 ​

面试/选型高频问答 ​

记忆口诀 ​

参考来源 ​

本地大模型服务器搭建实战：RTX PRO 6000 + Ubuntu + vLLM（个人/中小企业/大企业三级方案）

📌 核心概念

0.1 推理服务器的第一性原理：显存测算

0.2 三级方案总览（2026-11 行情）

0.3 必懂的硬件概念

📖 详细内容

一、基准方案：博客的 4× RTX PRO 6000 服务器（基础设施过一遍）

1.1 为什么是 RTX PRO 6000 Blackwell

1.2 完整硬件清单与价格（2026-11 行情）

1.3 机房基础设施三铁律（博客强调，最容易翻车）

二、系统与驱动层：Ubuntu 26.04.1 LTS 全流程

2.1 安装系统

2.2 初始化（关掉不安分的默认组件）

2.3 NVIDIA 驱动（Blackwell 必须 open 内核模块）

2.4 CUDA Toolkit（可选，版本锁定）

2.5 Docker + NVIDIA Container Toolkit（推荐）

三、vLLM 部署层（博客流程还原）

3.1 为什么是 vLLM

3.2 裸机安装（干净 venv）

3.3 四卡启动（张量并行 TP=4）

3.4 并行策略（无 NVLink 的实操）

3.5 验证 OpenAI 兼容接口

3.6 Docker 方式（团队推荐）

3.7 384 GB 显存的模型选型（博客口径）

3.8 踩坑清单（博客原版 5 条）

四、三级方案扩展

4.1 个人用户 / 小团队（¥2 万~10 万）

4.2 中小企业（¥28 万~65 万）

4.3 大企业（¥200 万~数千万）

五、容量规划与上线 Checklist

💡 重点难点

🔗 延伸拓展

面试/选型高频问答

记忆口诀

参考来源