本地AI模型部署接入以及使用教程

使用ollama 下载、管理、运行本地模型,快速接入若手软件多个产品

总体步骤为:安装ollama → 设置模型下载路径(可跳过)→ 下载模型 →接入软件

第一步:下载安装ollama

下载地址:https://ollama.com/download

点击“Download for Windows”下载Windows版本


设置模型下载路径

  1. 右键”电脑/计算机/我的电脑”图标
  2. 属性
  3. 高级系统设置
  4. 环境变量
  5. 一路确定保存设置

设置桌面显示”我的电脑”方法:桌面鼠标右键 → 个性化 → 主题 → 桌面图标设置 → 勾选”计算机”→ 确定

设置桌面显示”我的电脑”方法


设置 ollama 的模型下载路径

最后:重启ollama (右下角退出,再重新运行)不重启自定义模型路径不会生效!!


第二步:下载模型

地址:https://ollama.com/search

网页复制命令,初次运行会自动下载模型,下载完成之后,就可以直接对话了。

image.png


补充说明

  • 1.5b、7b、8b、14b、32b、70b、671b 这些是模型参数
  • 参数越多(大)效果越好,对应越大的模型越吃电脑配置
  • 根据电脑配置选择,一般7B就够用了


第三步:接入软件

软件接入使用时,只要右下角托盘ollama在运行就可以了,不需要运行命令启动对话。


默认API请求地址:http://localhost:11434/v1/chat/completions


接入方法:设置厂商名称 → 填写模型名称 → 填写API地址 → 填写API KEY

image.png


填写完成后,点击测试按钮,成功返回内容后可保存(或设置提示词路径,进行批量创作)