博文

目前显示的是 十一月, 2026的博文

Ollama 入门:十分钟跑起第一个本地模型

Ollama 是上手本地大模型最快的一条路:一条命令装好,再一条命令就能跟模型对话。下面以本站第一台(Ubuntu 24.04 + RTX 3080 / 2060)为准。 安装 curl -fsSL https://ollama.com/install.sh | sh 装完检查一下: ollama --version 跑第一个模型 ollama pull qwen3:8b ollama run qwen3:8b 第一行把模型下载到本地,第二行直接开聊。输入问题回车,模型就在你的显卡上生成回答,不联网也能用。 常用命令 命令 干什么 ollama list 看本地已下载的模型 ollama ps 看正在跑的模型和显存占用 ollama run 模型名 开始 / 切换到一个模型对话 ollama stop 模型名 停掉一个正在跑的模型,释放显存 ollama rm 模型名 删除本地模型 让局域网其他设备也能用 默认 Ollama 只监听本机。想让手机、另一台电脑访问,启动时指定监听地址: OLLAMA_HOST=0.0.0.0 ollama serve 然后在其他设备上访问 http://你的服务器IP:11434。注意:这样会把服务暴露给整个局域网,只在可信的家庭 / 办公网络里开。 新手常问 模型存在哪?默认在 ~/.ollama/models,换盘或备份拷这个目录就行。 显存不够会怎样?模型会一部分溢到内存,速度明显变慢——先看本站的实测表,确认你的卡能跑多大的模型。 想换模型?ollama pull 模型名 就行,qwen3:8b、qwen3:14b、gemma3:12b 这些都可以直接拉。 下一步:Ollama 跑通后,本站会用 llama.cpp 做双卡 32B 的部署,那是另一篇。 Ollama in 10 Minutes: Run Your First Local Model Ollama is the fastest way into local LLMs: one command to install, one more to start chatting with a model. This guide uses this site's first node (Ubuntu 2...

显存带宽为什么比算力重要:本地推理速度的由来

跑本地大模型,很多人先看算力(TFLOPS),其实生成速度的瓶颈在显存带宽。下面是本站的理解:数字是粗算的理论上限,不是实测。 生成一个 token,权重就要读一遍 大模型生成文字是逐个 token 往外吐的。每吐一个 token,都要把整个模型的权重从显存里读一遍、算一遍。所以速度上限有一条很直的公式: 速度上限 ≈ 显存带宽 ÷ 模型权重大小 算力只在“预处理输入”(prefill)那一下占大头,生成阶段基本是带宽说了算。这就是为什么游戏显卡跑推理常常比纸面算力看起来更能打——以及为什么显存带宽翻倍,速度差不多也翻倍。 拿本站的卡算一笔账 显卡 显存带宽 Qwen3 8B(Q4 约 4.9GB)速度上限 本站估计 RTX 2060 12G 336 GB/s 约 68 token/s 约 36–45 token/s RTX 3080 760 GB/s 约 155 token/s 约 60–100 token/s 上限是理论值,实际还要扣掉注意力计算、内核开销、CPU 参与的部分,所以估计值只有上限的一半左右,这很正常。关键是比例关系:3080 带宽是 2060 的 2.3 倍,速度也差不多是 2 倍多。 再算 32B:为什么 V100 不快 显卡 显存带宽 Qwen3 32B(Q4 约 19GB)速度上限 参考 / 估计 V100 32G 900 GB/s 约 47 token/s 公开参考约 24 token/s RTX 3090 24G 936 GB/s 约 49 token/s 公开参考约 41 token/s V100 的 32GB 大显存解决的是“装得下”,不是“跑得快”:它的带宽 900 GB/s 只比 3090 的 936 GB/s 略低,但架构老、内核效率低,实测只有 24 token/s。买卡只看显存容量会吃亏,容量和带宽要一起看。 内存 offload 为什么慢 模型装不进显存、溢到内存时,权重走的是内存带宽,比显存带宽慢一个量级,所以 70B 混合跑只有几 token/s。加内存能解决“跑起来”,解决不了“跑得快”——速度还是要靠显卡带宽。 一句话:选推理卡,先看显存够不够装,再看带宽够不够快,算力排第三。以上为理论推算,本站实测出来后会逐项验证。 Why VRAM Bandwidth Mat...

跑更大模型:四级台阶,从 14B 到 235B

从 14B 到 235B,不用一次到位。按成本从低到高,一级一级上。 台阶 ① 加内存 一台装 8 条 32GB,共 256GB:70B 可以显卡+内存混合跑;Qwen3-235B MoE 的 Q4 量化约 145GB,一台就装得下。32GB 条约 ¥600–1,100,配满一台约 ¥5,000–8,000。注意:别再买 8GB 条占槽,槽位比条子贵。 台阶 ② 换 MoE 思路 MoE 模型参数大、计算省:Qwen3-235B 每次生成只激活约 22B 参数。显存/内存装得下权重,速度就不会按 235B 的体量掉——这是大内存机器跑超大模型的关键。 台阶 ③ 加显卡 3090 24G 约 ¥5,500–8,000,或 V100 32G 约 ¥3,700–4,500(对比见本站选购篇)。多一张卡,32B 级模型的速度和上下文都宽裕一截。 台阶 ④ 五台 RPC 分布式 用 llama.cpp 的 RPC 把 5 台拼成一个整体跑超大模型。注意两笔账:板载只有千兆网口,分布式最好上万兆;5 台满载功耗 3–4kW,电费和散热要先算清。 价格为 2026-11-23 二手行情参考,不构成购买建议。 Running Bigger Models: Four Steps from 14B to 235B From 14B to 235B, no need to get there in one jump. Four steps, cheapest first. Step 1 · Add memory 8 × 32GB sticks per node = 256GB: 70B can run as a GPU + memory mix, and a Q4 quant of Qwen3-235B MoE is about 145GB — it fits on a single node. 32GB sticks run ~¥600–1,100 each, so filling a node costs ~¥5,000–8,000. Don't buy more 8GB sticks to fill slots — slots are worth more than sticks. Step 2 · Think MoE MoE model...

选购:下一张卡买什么——V100 32G vs RTX 3090 24G

集群缺一张大显存卡。候选只有两个,都还没买,参数与行情如下。价格为 2026-11-23 二手行情,购买前请重新核价。 对比 对比项 V100 32G RTX 3090 24G 显存 32GB HBM2 24GB GDDR6X Qwen3 32B 速度(参考) 约 24 token/s 约 41 token/s 软件支持 在收尾:CUDA 13 不再为其编译,PyTorch 只剩 cu126 主流支持,驱动与框架跟进正常 散热 / 输出 被动散热,要自己加风道;无视频输出 常规风冷,有视频输出 二手风险 数据中心退役卡,成色参差 矿卡多,到手必须测显存;电源 850W 起 行情(2026-11-23) 约 ¥3,700–4,500 约 ¥5,500–8,000 V100 今年 6 月还只要约 ¥1,000–2,200,已经涨了一轮。 一句话 图便宜大碗、只跑推理选 V100;想省心、还要兼顾训练和新框架选 3090。本站的结论等第一台实测数据出来后再下。 价格为二手行情参考,不构成购买建议。数据更新日期:2026-11-23。 Buying: Which Card Next — V100 32G vs RTX 3090 24G The cluster needs one big-VRAM card. Two candidates, neither bought yet. Specs and market prices below. Prices are second-hand market rates as of 2026-11-23 — re-check before buying. Head to head Item V100 32G RTX 3090 24G VRAM 32GB HBM2 24GB GDDR6X Qwen3 32B speed (reference) ~24 tokens/s ~41 tokens/s Software support Winding down: CUDA 13 no longer builds for it, PyTorch only up to cu126 Mainstream support, drivers and frameworks keep up Cooling ...

第一台装机指南(精简版):清单、三个坑、两步验证

双路 EPYC 7532 + 超微 H11DSi 的第一台:清单、三个大坑、验证两步、排错要点。完整版装机记录会在第一台装完后发。 硬件清单 部件 规格 / 要求 主板 超微 H11DSi,必须是 2.x 版(见坑 1) CPU EPYC 7532 × 2,必须是无锁版(见坑 2) 内存 DDR4 ECC RDIMM 8GB × 8,共 64GB,4+4 分给两颗 CPU(见坑 3) 显卡 RTX 2060 12G + RTX 3080 电源 1200W(双路 CPU + 双卡留足余量) 系统 Ubuntu 24.04 装机前先躲开三个坑 坑 1 · 主板版本 H11DSi 必须是 2.x 版才支持 EPYC 7532(7002 系列)。1.x 版点不亮,买板先看 PCB 上的版本号。 坑 2 · CPU 锁 EPYC 有厂商 PSB 锁:戴尔、联想锁版的 CPU 只能在原厂机器上用,装到超微板上点不亮。买 U 必须确认无锁版。 坑 3 · 内存类型 必须是 ECC RDIMM 服务器条,普通台式机 UDIMM 插上不认。本站用的是 DDR4-2666 ECC RDIMM。 装好之后:两步验证 第一步,用 Ollama 跑通小模型,确认系统、驱动、显卡都正常: ollama pull qwen3:8b ollama run qwen3:8b 第二步,用 llama.cpp 双卡跑 32B,验证两张卡拼显存工作正常: llama-server -m Qwen3-32B-Q4_K_M.gguf -c 8192 -ngl 99 --port 8080 排错要点 点不亮 → 先查主板是不是 2.x 版,再查 CPU 是不是锁版。 只认一颗 CPU → 内存没分对:每颗 CPU 必须分到 4 条,4+4 插满对应通道。 认不到显卡 → 进 BIOS 打开 Above 4G Decoding。 数据更新日期:2026-11-23。 First-Node Build Guide (Condensed): Checklist, Three Pitfalls, Two Verification Steps The first node: dual-socket EPYC 7532 + Supermicro H11DS...

实测数据:这几张卡能跑多大的模型、每秒多少 token

先说清口径,再看数字 下表速度为估计值 / 公开测试参考值,第一台尚未装完,本站自己的实测还没开始。机器点亮后会逐项替换为本站实测并标注测试条件。本页更新日期:2026-11-23。 RTX 2060 12G —— 天花板 14B 模型 生成速度(估计) Qwen3.5 9B 约 37 token/s Qwen3 8B 约 36–45 token/s Gemma 4 12B 约 30 token/s Qwen3 14B 约 20 token/s 12GB 显存装 14B 的 4-bit 量化已接近上限;再往上只能靠内存 offload,速度会断崖下跌。 RTX 3080 —— 带宽决定速度 本地推理的生成速度主要吃显存带宽:3080 带宽 760 GB/s,2060 为 336 GB/s,所以 3080 的速度大约是 2060 的 2 倍多。天花板看版本:10G 版到 12B,12G 版到 14B——站长这张是哪个版本,待确认。 双卡拼显存(2060 + 3080,llama.cpp) 两张卡用 llama.cpp 拼出 22–24GB 显存,可跑 Qwen3 32B / 27B / 30B MoE,速度约 15–25 token/s。这是第一台装好后的第二个验证目标。 V100 32G —— 公开测试参考(未持有) 模型 / 场景 显存占用 生成速度(参考) Qwen3 32B 4-bit · 8K 上下文 约 23GB 约 24 token/s Qwen3 32B 4-bit · 40K 上下文 约 31.6GB — Qwen3 30B MoE · 4K 上下文 — 约 106 token/s Qwen3 30B MoE · 256K 上下文 — 约 59 token/s Qwen3 27B 稠密 · 32K 上下文 — 约 29 token/s 同跑 Qwen3 32B:V100 约 24 token/s,RTX 3090 约 41 token/s。V100 的强项是 32GB 大显存装得下,弱项是架构老、软件支持在收尾。 第一台的速度预期 组合 模型 预期速度 3080 单卡 Qwen3 8B 约 60–100 token/s 3080 单卡(须为 12G 版) Qwen3 14B 约 20–40 ...

我的集群:五节点 EPYC 7532,从零装起

一座正在从零装起的集群 本站记录一座五节点 EPYC 集群从装机到跑起大模型的全过程:每块显卡能跑多大的模型、每秒多少 token、每一步踩过什么坑,都用自己的机器测出来再写。 硬件清单截至 2026-11-23,全部为站长自有设备。不确定的地方如实标注,不猜。 硬件清单 部件 规格 状态 主板 超微 H11DSi 双路 × 5 已持有 CPU AMD EPYC 7532(32 核 64 线程)× 10,全集群共 320 核 / 640 线程 已持有 内存 DDR4-2666 ECC RDIMM 8GB × 24 条,共 192GB —— 其中 8 条已确认,另 16 条待站长回家核实总数 16 条待核实 显卡 RTX 2060 12G × 1 已持有 显卡 RTX 3080 × 1(10G 还是 12G 版本未确认) 版本待确认 候选显卡 V100 32G、RTX 3090 24G —— 正在比较的购买选项 未持有 当前状态:第一台正在装 内存若确为 24 条,只够装 3 台(每台 8 条 64GB、4+4 分给两颗 CPU),剩下 2 台缺内存——这是集群全员到齐前要先解决的事。 下一步:第一台点亮后,本站会陆续发实测数据,替换掉目前的估计值,并公布内存核实结果和 3080 的版本确认。 数据更新日期:2026-11-23。 My Cluster: Five EPYC 7532 Nodes, Built from Scratch A cluster being built from scratch This site documents a five-node EPYC cluster going from bare hardware to running large models locally: how big a model each card can run, how many tokens per second, and every pitfall along the way — all measured on my own machines. Hardware list as of 2026-11-23. Everything listed is hardware I own. Where somethi...