Ollama本地AI部署教程

一、硬件和系统前置要求

Ollama门槛不算高，家用电脑或者普通云服务器都可以装，能不能流畅跑主要看模型大小。

• 本地电脑：Win10 22H2以上、Win11都可以，原生安装不需要WSL
• 云服务器：CentOS7、CentOS9、Ubuntu、Debian都兼容
• 内存参考：1.5B、3B小模型4G内存就能跑；7B模型建议8G以上；13B尽量16G往上
• 显卡：N卡有加速，速度更快；没有显卡用CPU也能跑，只是回复慢一些
• 磁盘：单个模型2G~8G，建议预留10G以上空间

二、Windows电脑安装Ollama

去Ollama官网下载OllamaSetup.exe，双击一路默认安装，不用改设置。装好之后后台自动启动，右下角托盘能看到图标。

打开CMD或者PowerShell，输入下面命令验证：

输出版本号就是正常。拉一个中文模型测试：

第一次会自动下载模型，下载完直接对话，输入 /bye 退出。

只自己本机使用，不用改监听地址，默认127.0.0.1就够用，也更安全。

三、云服务器安装Ollama

SSH连上服务器，直接执行官方一键脚本：

脚本跑完自动设置开机自启，查看状态：

显示active(running)代表服务正常，同样拉模型测试：

四、Ollama常用命令

五、监听地址设置（本地/局域网/外网区分）

很多人面板打不开、外网连不上，问题基本都在这里。

Windows自己本机用：不用改动，默认127.0.0.1。

Windows局域网（手机、别的电脑同WiFi访问）：系统环境变量新建OLLAMA_HOST，值填0.0.0.0，退出托盘Ollama重新打开才生效。

云服务器要外网访问，必须改成0.0.0.0，SSH输入：

测试连通，把IP换成你服务器公网IP：

提醒：不要直接裸放11434端口到公网，有风险，后面建议套反向代理加验证。

六、Open WebUI可视化面板详细部署

WebUI是网页面板，可以保存对话、切换模型、调参数，比命令行好用很多，依赖Docker。

云服务器先装Docker，复制这条：

Windows这边需要自己下载安装Docker Desktop，装好之后启动Docker。注意Windows家庭版装Docker容易报错，优先专业版。

Windows本地部署WebUI

Docker跑起来之后，CMD执行下面命令拉取启动容器：

访问地址：本机 http://localhost:3000；同局域网其他设备用电脑内网IP:3000。家用宽带一般没有公网IP，这套方案不支持外网访问。

云服务器部署WebUI（支持外网访问）

同样执行上面那条docker run命令，启动容器。

重点：一定要放行两处端口。云厂商后台安全组放行3000端口，服务器系统防火墙也要开放3000。

CentOS放行防火墙：

Ubuntu放行防火墙：

外网访问地址：http://服务器公网IP:3000

第一次打开页面，直接注册管理员账号，邮箱随便填符合格式就行，密码自己记好。正常情况下面板会自动识别本机11434的Ollama，不用手动填API地址，首页下拉就能切换模型。

面板能打开但是连不上Ollama的备用启动命令（容器网络修复）：

长期用建议Nginx反向代理3000，绑定域名加上HTTPS，不要一直用IP加端口访问。

七、模型选择

• qwen2.5:1.5b，轻量，适合低配机器、CPU云服务器
• qwen2.5:7b，均衡，中文效果不错，大多数场景够用
• deepseek-r1:7b，推理和写代码更好一点
• llama3.2，英文表现更好

八、常见问题

• 模型、Docker镜像下载慢：配置国内镜像源，或者本地下好传到服务器导入
• 运行闪退：内存不够，换更小的模型，关闭服务器其他占用内存程序
• 外网面板打不开：优先查安全组，再查系统防火墙，最后确认Ollama监听0.0.0.0
• CPU推理慢：没有显卡加速属于正常情况
• Docker安装完启动失败：重装或者换国内Docker源