ollama部署小模型

碎碎念

为了批量生产提示词，也有必要部署一个语言模型，之前搞过

分两种模式部署

手动

首先,確保您的系統是最新的:

sudo apt update && sudo apt upgrade -y

3.2 安裝必要的依賴項

Ollama通常不需要額外的依賴項,但確保系統有curl工具:

sudo apt install curl -y

3.3 下載Ollama安裝腳本

使用curl下載官方安裝腳本:

curl -fsSL https://ollama.ai/install.sh | sh

3.4 執行安裝腳本

上一步驟中的命令會自動執行安裝腳本。如果沒有,你可以手動執行:

sh install.sh

3.5 驗證安裝

安裝完成後,驗證Ollama是否正確安裝:

ollama --versiono

4. 配置Ollama

4.1 基本配置

Ollama通常不需要額外的配置即可運行。但您可以根據需要修改配置文件,通常位於 ~/.ollama/config.json。

4.2 設置環境變數

如果需要,可以設置OLLAMA_HOST環境變數來指定Ollama的運行地址:

export OLLAMA_HOST=0.0.0.0:11434

5. 使用Ollama

5.1 啟動Ollama

直接在終端中輸入以下命令啟動Ollama:

ollama run llama2

5.2 基本命令介紹

• ollama run <model>: 運行指定的模型

• ollama list: 列出已下載的模型

• ollama pull <model>: 下載新模型

5.3 簡單的使用示例

啟動Ollama後,您可以直接與模型對話:

> 你好,請介紹一下自己

6. 故障排除

• 如果遇到權限問題,嘗試使用sudo運行命令

• 確保您的防火牆設置允許Ollama的網絡訪問

• 如果遇到內存不足的錯誤,考慮增加系統的交換空間

snap

sudo snap install ollama

跑模型

ollama run dolphin-mixtral:8x7b-v2.5

ollama run dolphin-mixtral:8x22b

推荐这个模型，好处就是没有监管