本地端侧AI引擎DLC指引
· 在硬件条件充足的情况下,可采用本地部署AI的方案,具有低延迟、低风险、低依赖、低漏洞、低限制、低成本的优势。获取DLC,开启本地端侧AI引擎,数据无需上传云端。下述DLC均为免费的开源项目,不仅支持对接AI虚拟伙伴,也支持对接第三方软件,或遵循开源协议自由二次开发应用。
本地对话大语言模型类
Qwen整合包:整合了大语言模型API服务器、阿里的Qwen2.5-0.5B大语言模型和Python运行环境。仅支持CPU运行,速度较慢,供入门学习。
免费获取 ↓ 1G 开源地址 配置教程
RWKV运行器整合包:RWKV为国产大语言模型架构,本整合包自带RWKV6-1.6B。支持CPU、GPU运行。
免费获取 ↓ 2.33G 开源地址
Ollama框架:支持用命令行一键下载安装市面上的主流大模型,无图形界面。支持CPU、N卡、A卡运行,智能动态分配计算资源,非常推荐。
免费获取 开源地址 配置教程
LM Studio框架:支持运行市面上的主流的GGUF大模型,有图形界面,模型需手动下载。支持CPU、N卡运行。
免费获取 开源地址 配置教程
OpenVINO框架整合包:整合了Intel的OpenVINO框架、面壁的MiniCPM-2B OV版大语言模型和Python运行环境。支持通用CPU、Intel GPU、Intel NPU运行,可供i卡和Intel Ultra系列AIPC用户尝鲜。
免费获取 ↓ 1.82G 开源地址
AnythingLLM知识库:允许用户上传知识库(任何文档、资源或内容片段)转化为大语言模型在聊天中可利用的相关上下文。支持对接Ollama。
免费获取 开源地址 配置教程
Dify聊天助手知识库:开源的LLM应用开发平台,支持用户上传知识库。功能强大,部署难度较高,需要熟悉虚拟机、Linux系统、Docker。开源地址
本地语音合成大模型类
GPT-SoVITS整合包:整合语音合成大模型API服务器、RVC-Boss(花儿不哭)大佬开发的GPT-SoVITS语音合成大模型v2-240807和Python运行环境。支持CPU、N卡运行。具有低显存占用且速度快的优势,非常推荐。
免费获取 ↓ 6.5G 适配官方整合包v2补丁 ↓ 887KB 多字漏字v2补丁 ↓ 2KB
开源地址 配置教程
CosyVoice整合包:整合了语音合成大模型API服务器、阿里FunAudioLLM开发的CosyVoice语音合成大模型1代300M/2代0.5B和Python运行环境。支持CPU、N卡运行。
免费获取1代 ↓ 4.98G 免费获取2代 ↓ 6.17G 开源地址 配置教程
Index-TTS整合包:整合了语音合成大模型API服务器、B站开发的Index-TTS语音合成大模型和Python运行环境。支持CPU、N卡运行。
免费获取 ↓ 6.37G 开源地址
Spark-TTS整合包:整合了语音合成大模型API服务器、SparkAudio团队开发的Spark-TTS语音合成大模型-0.5B和Python运行环境。仅支持N卡运行。
免费获取 ↓ 6.81G 开源地址
Kokoro-TTS整合包:整合了语音合成轻量级大模型API服务器、hexgrad开发的Kokoro-TTS语音合成轻量级大模型v1-82M和Python运行环境。仅支持CPU运行。由于轻量级,速度非常快,但中文效果一般,仅供尝鲜。
免费获取 ↓ 383M 开源地址 配置教程
本地多模态图像识别/生成类
Ollama VLM指引:下载安装大模型引擎Ollama后,在命令行输入“ollama pull gemma3:4b”或“ollama pull minicpm-v:8b”,等待下载完成,然后在AI虚拟伙伴的软件设置修改对应Ollama多模态名称,保存重启软件后左侧图像识别引擎中选择“本地Ollama VLM”。占用显存中等,效果较好,非常推荐。配置教程
Qwen-VL整合包:整合了多模态大模型API服务器、阿里的Qwen2.5-VL-3B多模态大模型和Python运行环境。仅支持N卡运行。占用显存较低,效果较好,比较推荐。
免费获取 ↓ 5.26G 开源地址 配置教程
GLM-Edge-V整合包:整合了多模态大模型API服务器、智谱的GLM-Edge-V-2B多模态大模型和Python运行环境。支持CPU、N卡运行。占用显存中等,效果中等。
免费获取 ↓ 5.64G 开源地址 配置教程
Janus-Pro整合包:整合了多模态大模型API服务器、DeepSeek的Janus-Pro-1B多模态大模型和Python运行环境。支持CPU、N卡运行。占用显存中等,效果良好。不仅支持图像识别,还支持图像生成AI绘画。
免费获取 ↓ 5.66G 开源地址 配置教程