方案

在ubuntu中安装ollama，将下载完的deepseek模型部署到ollama中，完成部署。ui采用open-webui，通过docker部署，以防服务器8080端口冲突，再连接ollama的api端口，即可实现在网页端使用deepseek语言模型。

一、安装ollama

Ollama的官网地址为：https://ollama.com 可直接从官网下载适合自己本地环境的版本，Linux、Windows和MacOS都有相应的支持。可在选择好后，点击下载，在下载中暂停下载，右键复制链接到ubuntu命令行中，通过wget http://example.com/file.zip指令下载文件。

二、部署模型

方案一： ollama pull deepseek-r1:14b直接部署需要的模型，操作有些类似docker，但是他的模型有限，不能安装精简版本的，如DeepSeek-8B-Q4.Modelfile，等缩水模型.

方案二：
可前往https://huggingface.co/TheBlokeHuggingFace模型库搜索DeepSeek-R1-Distill-Llama-8B-GGUF，找到类似deepseek-r1-distill-llama-8b.Q4_K_M.gguf的文件并下载至服务器。

创建Ollama Modelfile
新建文件DeepSeek-8B-Q4.Modelfile，内容如下：

FROM /models/deepseek-r1-distill-llama-8b.Q4_K_M.gguf  # 替换为你的GGUF路径
PARAMETER num_keep 24
PARAMETER stop "<|im_end|>"
PARAMETER stop "<|im_start|>"
PARAMETER num_threads 8  # 设置为CPU物理核心数（i3-12100为4核8线程，建议设为8）
```  

 构建并运行自定义模型

构建模型（命名为deepseek-8b-q4）

ollama create deepseek-8b-q4 -f DeepSeek-8B-Q4.Modelfile

启动推理

ollama run deepseek-8b-q4


### 三、UI界面

docker安装
`docker run -d -p 3000:8080 -e OLLAMA_BASE_URL=http://sv.laohu.space:11434 -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main`