本地端侧AI引擎整合包

发表于2024-03-13更新于2024-09-12阅读次数

​ 本地端侧AI引擎全部开源，整合包包括本地大语言模型服务器、本地语音合成大模型服务器和本地图像识别模型服务器。使用本地端侧AI引擎，可实现本地运行AI，数据无需上传云端。本地AI引擎配置教程

本地大语言模型服务器

​ 本整合包整合了本地大语言模型API服务器、阿里的Qwen2-0.5B大语言模型和Python运行环境。用户可方便地使用本整合包运行本地大语言模型。AI虚拟伙伴软件已对接本服务器。推荐运行内存16G或以上。
​ 服务器运行方法：根据是否需要上下文记忆对话的需求，双击“运行大语言模型API服务器.bat”或“运行大语言模型API服务器(上下文记忆版).bat”即可运行。（请注意，两者不能同时运行，否则会导致端口冲突）。
​ 测试客户端运行方法：双击“运行大语言模型测试客户端.bat”，随后使用键盘在命令行输入提问，按下回车键，等待AI回答。
​ API使用示例（GET）：（参数说明：p为大语言模型Prompt设定词，q为用户的提问）
​ 浏览器输入：http://127.0.0.1:8088/llm/?p=你是一个有用的助手&q=你好
​ 输出：{“answer”: “你好，有什么我可以帮助你的吗？”}
免费获取Qwen整合包 ↓ 1G 开源地址
​ AI虚拟伙伴桌面版还支持对接RWKV运行器整合包(自带RWKV6-1.6B)，RWKV为国产大语言模型架构。
免费获取RWKV运行器整合包 ↓ 2.33G
​ AI虚拟伙伴软件对接的本地大语言模型服务器还支持LM Studio、Ollama和AnythingLLM知识库，这三个相比上述整合包，部署难度略有提升，不过扩展性更强。
免费获取LM Studio LM Studio配置教程 免费获取Ollama Ollama配置教程 免费获取AnythingLLM

本地语音合成大模型服务器v2-240807

​ 本整合包整合了本地语音合成大模型API服务器、RVC-Boss团队开发的GPT-SoVITS语音合成大模型v2-240807和Python运行环境。用户可方便地使用本整合包运行本地语音合成大模型。AI虚拟伙伴软件已对接本服务器。推荐运行内存16G或以上。
​ 服务器运行方法：双击“运行GPT-SoVITS语音合成API服务器.bat”。
​ API使用示例（GET）：
​ 浏览器输入：http://127.0.0.1:9880/?text=你好，很高兴遇见你&text_language=zh
​ 输出为wav格式的音频文件。
免费获取v2 ↓ 6.5G 免费获取v1 ↓ 5.43G 开源地址

本地图像识别模型服务器

​ 多模态图像识别：使用基于Ollama的moondream2-1.8B多模态VLM，运行命令：ollama pull moondream:1.8b
​ 传统图像识别(已停止支持)：本整合包整合了本地图像识别模型API服务器、THU-MIG开发的YOLOv10图像物品识别模型、JaidedAI开发的EasyOCR图像文字识别模型和Python运行环境。用户可方便地使用本整合包运行本地图像识别模型。AI虚拟伙伴桌面版软件已对接本服务器。推荐运行内存16G或以上。
​ 服务器运行方法：双击“运行图像识别模型API服务器.bat”。
​ 测试客户端运行方法：双击“运行图像识别模型测试客户端.bat”，随后使用键盘在命令行根据提示来按键操作，等待图像识别结果。
​ API使用示例（GET）：
​ 对于摄像头/屏幕物品识别模型，浏览器输入：http://127.0.0.1:8089/yolo 或 http://127.0.0.1:8089/yoloscreen/
​ 输出：{“answer”: “1台显示器、1个人”}
​ 对于图像文字识别模型，浏览器输入：http://127.0.0.1:8089/ocr
​ 输出：{“answer”: “屏幕识别结果”}
免费获取传统图像识别服务器 ↓ 537M 开源地址