本地端侧AI引擎DLC指引

发表于2024-03-13更新于2025-12-10阅读次数

​ · 在硬件条件充足的情况下，可采用本地部署AI的方案，具有低延迟、低风险、低依赖、低漏洞、低限制、低成本的优势。获取DLC，开启本地端侧AI引擎，数据无需上传云端。下述DLC均为免费的开源项目，不仅支持对接AI虚拟伙伴，也支持对接第三方软件，或遵循开源协议自由二次开发应用。

本地对话大语言模型类

​ Transformers整合包：整合了HF的Transformers框架API服务器、阿里的Qwen3-0.6B大语言模型和Python运行环境。仅支持CPU运行，速度较慢，供入门学习。
免费获取 ↓ 1.42G 开源地址 配置教程
​ Ollama框架：支持用命令行一键下载安装市面上的主流大模型，基于llama.cpp框架，有简易的图形界面。支持CPU、N卡、A卡运行，智能动态分配计算资源，非常推荐。
免费获取 开源地址 配置教程
​ LM Studio框架：支持运行市面上的主流的GGUF大模型，基于llama.cpp框架，有丰富的图形界面。支持CPU、N卡、A卡、Vulkan核显运行。
免费获取 开源地址 配置教程
​ AnythingLLM知识库：允许用户上传知识库(任何文档、资源或内容片段)转化为大语言模型在聊天中可利用的相关上下文。支持对接OpenAI兼容接口的大模型。
免费获取 开源地址 配置教程
​ Dify聊天助手知识库：开源的LLM应用开发平台，支持用户上传知识库。功能强大，部署难度较高，需要熟悉虚拟机、Linux系统、Docker。开源地址 配置教程
​ RKLLM框架整合包：(仅适用于运行于RK3588/3576芯片上的AI虚拟伙伴Linux版)Rockchip推出的工具链，用于将LLM高效部署到其支持NPU的平台，支持模型转换与量化(如w4a16、w8a8)，实现硬件加速推理。
免费获取 ↓ 2M 开源地址 配置教程

本地语音合成大模型类

​ GPT-SoVITS整合包：RVC-Boss(花儿不哭)大佬团队开发的GPT-SoVITS语音合成大模型v2ProPlus-250604官方API整合包。支持CPU、N卡运行，并且适配最新的50系N卡。具有低显存占用且速度快的优势，非常推荐。
免费获取 ↓ 8.19G GPT-SoVITS适配AI虚拟伙伴补丁 ↓ 126KB 开源地址 配置教程
​ CosyVoice整合包：整合了语音合成大模型API服务器、阿里FunAudioLLM开发的CosyVoice语音合成大模型1代300M/2代0.5B和Python运行环境。支持CPU、N卡运行。
免费获取1代 ↓ 4.98G 免费获取2代 ↓ 6.17G 开源地址 配置教程
​ Index-TTS整合包：整合了语音合成大模型API服务器、B站开发的Index-TTS语音合成大模型和Python运行环境。支持CPU、N卡运行。
免费获取 ↓ 6.37G 开源地址 配置教程
​ VoxCPM整合包：整合了语音合成大模型API服务器、OpenBMB团队开发的VoxCPM语音合成大模型1.5-0.5B和Python运行环境。仅支持N卡运行。
免费获取 ↓ 4.68G 开源地址 配置教程

本地多模态图像识别/生成类

​ Ollama VLM指引：下载安装大模型引擎Ollama后，在命令行输入“ollama pull qwen3-vl:2b-instruct”，等待下载完成，然后在AI虚拟伙伴的软件设置修改对应Ollama多模态名称，保存重启软件后左侧图像识别引擎中选择“本地Ollama VLM”。占用显存中等，效果较好，非常推荐。配置教程
​ LM Studio VLM指引：下载安装大模型引擎LM Studio后，进入并下载想要运行的VLM模型后，开启API服务器，然后在AI虚拟伙伴的左侧图像识别引擎中选择“本地LM Studio”。
​ Qwen-VL整合包：整合了多模态大模型API服务器、阿里的Qwen2.5-VL-3B多模态大模型和Python运行环境。仅支持N卡运行。占用显存较低，效果较好。
免费获取 ↓ 5.26G 开源地址 配置教程
​ Janus-Pro整合包：整合了多模态大模型API服务器、DeepSeek的Janus-Pro-1B多模态大模型和Python运行环境。支持CPU、N卡运行。占用显存中等，效果良好。不仅支持图像识别，还支持图像生成AI绘画。
免费获取 ↓ 5.66G 开源地址 配置教程

其他本地端侧AI引擎(独立运行,不支持对接AI伙伴)

​ Qwen2.5-Omni整合包：整合了阿里的Qwen2.5-Omni-3B端到端全模态大模型和Python运行环境。需要至少16G显存的N卡运行。输入支持视频、图像、语音、文字，输出支持语音、文字。
免费获取 ↓ 11.7G 开源地址 使用教程
​ MNN Chat手机安装包：采用了阿里开源的端侧轻量级AI推理引擎MNN框架，手机也能畅玩本地多模态大模型，支持Qwen、DeepSeek、MiniCPM等模型。
免费获取(Android) ↓ 开源地址 使用教程