什么是Ollama?为什么用它部署DeepSeek?
红烁AI 培训,红烁 AI 中转站为您整理:DeepSeek凭借媲美GPT-4的性能和完全开源的特性,成为目前最受关注的国产大模型之一。但很多人面临同一个问题:如何在自己的电脑上本地运行DeepSeek,而不依赖云端API?
这正是Ollama的价值所在。Ollama是一个开源的本地大模型运行框架,它把复杂的模型加载、推理引擎、API服务全部封装好,用户只需要一条命令就能拉取并运行各类开源大模型,包括DeepSeek全系列。
选择Ollama部署DeepSeek有以下几个核心优势:
- 安装极简:一个安装包搞定,无需配置Python环境或CUDA依赖
- 数据私有:模型完全在本地运行,对话内容不上传任何服务器
- 兼容OpenAI API格式:可以直接替换现有项目中的OpenAI调用
- 模型管理方便:支持一键下载、切换、删除多个模型
- 跨平台支持:Windows、macOS、Linux全平台可用
安装前的硬件要求
在开始之前,先确认你的机器是否满足基本要求。DeepSeek有多个参数规模的版本,硬件门槛差异较大:
- DeepSeek-R1:1.5b:最低4GB内存,适合入门体验,普通笔记本即可运行
- DeepSeek-R1:7b:建议8GB内存,有独立显卡效果更佳
- DeepSeek-R1:14b:建议16GB内存或8GB以上显存
- DeepSeek-R1:32b:需要32GB内存或24GB显存,适合高配工作站
没有独立GPU也没关系,Ollama支持纯CPU推理,只是速度会慢一些。对于日常使用,7b模型在CPU模式下的响应速度完全可以接受。
Ollama安装步骤(Windows / macOS / Linux)
Windows安装
访问 ollama.com 官网,点击”Download for Windows”下载安装包(.exe格式),双击运行后按提示完成安装。安装完成后,Ollama会自动在后台启动服务,默认监听 http://localhost:11434。
打开命令提示符(CMD)或PowerShell,输入以下命令验证安装是否成功:
ollama --version
看到版本号输出即表示安装成功。
macOS安装
同样在官网下载 macOS 版本(.dmg格式),拖入Applications文件夹后启动。也可以通过Homebrew安装:
brew install ollama
启动服务:
ollama serve
Linux安装
Linux用户可以使用官方提供的一键安装脚本:
curl -fsSL https://ollama.com/install.sh | sh
安装完成后,Ollama会自动注册为系统服务并启动。
下载并运行DeepSeek模型
Ollama安装完成后,下载DeepSeek模型只需一条命令。以最常用的7b版本为例:
ollama run deepseek-r1:7b
Ollama会自动从模型库拉取文件,下载完成后直接进入交互式对话界面。你可以立刻开始提问,就像使用网页版ChatGPT一样。
如果只想下载模型而不立即运行,使用pull命令:
ollama pull deepseek-r1:7b
查看本地已安装的所有模型:
ollama list
删除不需要的模型释放磁盘空间:
ollama rm deepseek-r1:7b
通过API调用DeepSeek(开发者必看)
Ollama在本地启动后会提供一个兼容OpenAI格式的REST API,开发者可以直接在代码中调用,无需修改太多现有逻辑。
使用curl测试API
curl http://localhost:11434/api/chat \
-d '{
"model": "deepseek-r1:7b",
"messages": [
{ "role": "user", "content": "用Python写一个快速排序算法" }
]
}'
Python调用示例
安装OpenAI SDK后,只需修改base_url即可指向本地Ollama服务:
from openai import OpenAI
client = OpenAI(
base_url="http://localhost:11434/v1",
api_key="ollama" # 本地模式下api_key可填任意值
)
response = client.chat.completions.create(
model="deepseek-r1:7b",
messages=[
{"role": "user", "content": "解释一下什么是Transformer架构"}
]
)
print(response.choices[0].message.content)
配合Open WebUI使用
如果你更喜欢图形界面,可以搭配Open WebUI使用。它提供了类似ChatGPT的网页界面,支持对话历史、多模型切换等功能。通过Docker一键部署:
docker run -d -p 3000:8080 \
--add-host=host.docker.internal:host-gateway \
-v open-webui:/app/backend/data \
ghcr.io/open-webui/open-webui:main
启动后访问 http://localhost:3000 即可使用图形界面与DeepSeek对话。
常见问题FAQ
Q:下载模型速度很慢怎么办?
Ollama的模型存储在Hugging Face和官方CDN上,国内访问速度可能受限。建议使用代理工具,或者在有良好网络条件的环境下下载。部分镜像站也提供了Ollama模型的加速下载服务。
Q:运行模型时提示内存不足怎么处理?
优先选择更小参数量的模型,比如从7b降到1.5b。也可以通过设置环境变量 OLLAMA_NUM_GPU=0 强制使用CPU模式,减少显存占用。另外关闭其他占用内存的程序也有帮助。
Q:Ollama支持GPU加速吗?
支持。Ollama会自动检测系统中的NVIDIA GPU(需要安装CUDA驱动)和AMD GPU(ROCm),以及Apple Silicon的Metal加速。无需额外配置,安装好驱动后Ollama会自动启用GPU推理。
Q:如何让Ollama在局域网内其他设备访问?
默认情况下Ollama只监听本地回环地址。设置环境变量 OLLAMA_HOST=0.0.0.0 后重启服务,即可允许局域网内其他设备通过IP地址访问你的Ollama服务。
Q:DeepSeek-R1和DeepSeek-V3有什么区别?
DeepSeek-R1是推理增强版本,内置思维链(Chain of Thought)能力,擅长数学、逻辑推理和代码生成;DeepSeek-V3是通用对话模型,响应速度更快,适合日常问答和文本处理任务。两者都可以通过Ollama部署。
总结
通过Ollama部署DeepSeek的整个流程可以概括为三步:安装Ollama → 执行 ollama run deepseek-r1:7b → 开始对话。整个过程对技术背景要求极低,普通用户也能在10分钟内完成配置。
对于开发者来说,Ollama提供的OpenAI兼容API让本地模型可以无缝接入现有项目,是构建私有AI应用的理想基础设施。随着DeepSeek模型持续迭代,本地部署的性价比只会越来越高。现在就动手试试,把AI能力真正掌握在自己手中。
想了解更多AI工具和技巧?欢迎访问红烁AI 培训,红烁 AI 中转站,获取最新AI资讯和实用教程。
