Ollama 入门:十分钟跑起第一个本地模型
Ollama 是上手本地大模型最快的一条路:一条命令装好,再一条命令就能跟模型对话。下面以本站第一台(Ubuntu 24.04 + RTX 3080 / 2060)为准。 安装 curl -fsSL https://ollama.com/install.sh | sh 装完检查一下: ollama --version 跑第一个模型 ollama pull qwen3:8b ollama run qwen3:8b 第一行把模型下载到本地,第二行直接开聊。输入问题回车,模型就在你的显卡上生成回答,不联网也能用。 常用命令 命令 干什么 ollama list 看本地已下载的模型 ollama ps 看正在跑的模型和显存占用 ollama run 模型名 开始 / 切换到一个模型对话 ollama stop 模型名 停掉一个正在跑的模型,释放显存 ollama rm 模型名 删除本地模型 让局域网其他设备也能用 默认 Ollama 只监听本机。想让手机、另一台电脑访问,启动时指定监听地址: OLLAMA_HOST=0.0.0.0 ollama serve 然后在其他设备上访问 http://你的服务器IP:11434。注意:这样会把服务暴露给整个局域网,只在可信的家庭 / 办公网络里开。 新手常问 模型存在哪?默认在 ~/.ollama/models,换盘或备份拷这个目录就行。 显存不够会怎样?模型会一部分溢到内存,速度明显变慢——先看本站的实测表,确认你的卡能跑多大的模型。 想换模型?ollama pull 模型名 就行,qwen3:8b、qwen3:14b、gemma3:12b 这些都可以直接拉。 下一步:Ollama 跑通后,本站会用 llama.cpp 做双卡 32B 的部署,那是另一篇。 Ollama in 10 Minutes: Run Your First Local Model Ollama is the fastest way into local LLMs: one command to install, one more to start chatting with a model. This guide uses this site's first node (Ubuntu 2...