AnythingLLM

开源的全栈 AI 客户端，支持本地部署和API集成

标签：

反馈

访问官网

相关摘要:开源的全栈 AI 客户端，支持本地部署和API集成

AnythingLLM是什么

AnythingLLM 是开源免费且支持多模态交互的全栈 AI 客户端。AnythingLLM支持文本、图像和音频等多种输入方式，将任何文档或内容转化为上下文，供各种语言模型（LLM）在对话中使用。AnythingLLM支持本地运行和远程部署，提供多用户管理、工作区隔离、丰富的文档格式支持以及强大的 API 集成。所有数据默认存储在本地，确保隐私安全。AnythingLLM支持多种流行的 LLM 和向量数据库，适合个人用户、开发者和企业使用。

AnythingLLM的主要功能

多模态交互：支持文本、图像和音频等多种输入方式，提供更丰富的交互体验。
文档处理与上下文管理：将文档划分为独立的“工作区”，支持多种格式（如PDF、TXT、DOCX等），保持上下文隔离，确保对话的清晰性。
多用户支持与权限管理：Docker版本支持多用户实例，管理员能控制用户权限，适合团队协作。
AI代理与工具集成：支持在工作区内运行AI代理，执行网页浏览、代码运行等任务，扩展应用的功能。
本地部署与隐私保护：默认情况下，所有数据（包括模型、文档和聊天记录）存储在本地，确保隐私和数据安全。
强大的API支持：提供完整的开发者API，方便用户进行自定义开发和集成。
云部署就绪：支持多种云平台（如AWS、GCP等），方便用户根据需求进行远程部署。

AnythingLLM的项目地址

项目官网：https://anythingllm.com/
GitHub仓库：https://github.com/Mintplex-Labs/anything-llm

获取AnythingLLM安装包，扫码关注回复：AnythingLLM

AnythingLLM的技术原理

前端：用ViteJS和React构建，提供简洁易用的用户界面，支持拖拽上传文档等功能。
后端：基于NodeJS和Express，负责处理用户交互、文档解析、向量数据库管理及与LLM的通信。
文档处理：基于NodeJS服务器解析和处理上传的文档，将其转化为向量嵌入，存储在向量数据库中。
向量数据库：用LanceDB等向量数据库，将文档内容转化为向量嵌入，便于在对话中快速检索相关上下文。
LLM集成：支持多种开源和商业LLM（如OpenAI、Hugging Face等），用户根据需求选择合适的模型。
AI代理：在工作区内运行AI代理，代理能执行各种任务（如网页浏览、代码执行等），扩展应用的功能。

AnythingLLM支持的模型和数据库

大型语言模型（LLMs）：支持多种开源和闭源模型，如 OpenAI、Google Gemini Pro、Hugging Face 等。
嵌入模型：支持 AnythingLLM 原生嵌入器、OpenAI 等。
语音转文字和文字转语音：支持多种语音模型，包括 OpenAI 和 ElevenLabs。
向量数据库：支持 LanceDB、Pinecone、Chroma 等。

AnythingLLM的使用和部署

桌面版：
- 系统要求：
  - 操作系统：支持 Windows、MacOS 和 Linux。
  - 硬件要求：建议至少 8GB 内存，推荐 16GB 或更高。
- 下载和安装：访问 AnythingLLM 官方网站。根据操作系统选择对应的安装包。
- 安装程序：
  - Windows：双击安装程序并按照提示完成安装。
  - MacOS：双击 DMG 文件，将应用程序拖入“应用程序”文件夹。
  - Linux：基于包管理器安装 DEB 或 RPM 文件。
- 启动应用：安装完成后，打开 AnythingLLM 应用。
- 初始化设置：
  - 选择模型：首次启动时，选择一个语言模型（LLM）。
  - 配置向量数据库：选择默认的向量数据库（如 LanceDB）或配置其他支持的数据库。
- 创建工作区：点击“新建工作区”，为项目或文档创建一个独立的工作区。上传文档（如 PDF、TXT、DOCX 等），应用自动解析并生成向量嵌入，存储在向量数据库中。
- 开始对话：
  - 在工作区内输入问题或指令，应用根据上传的文档内容生成智能回答。
  - 支持多模态交互，上传图片或音频文件，应用根据内容进行处理。
Docker 版：
- 系统要求：
  - 操作系统：支持 Linux、Windows（WSL2）和 MacOS。
  - 硬件要求：建议至少 8GB 内存，推荐 16GB 或更高。
  - Docker 环境：需要安装 Docker 和 Docker Compose。
- 部署步骤：
  - 访问 GitHub 仓库：前往 AnythingLLM GitHub 仓库。
  - 克隆仓库：

git clone https://github.com/Mintplex-Labs/anything-llm.git
cd anything-llm

- 配置环境变量：
  - 在项目根目录下运行以下命令，生成 .env 文件：

yarn setup

- - 编辑 server/.env.development 文件，配置 LLM 和向量数据库的参数。
- 启动 Docker 容器：

docker-compose up -d

- 访问应用：打开浏览器，访问 http://localhost:3000，进入 AnythingLLM 的 Web 界面。
- 使用方法：
  - 创建工作区：与桌面版类似，创建工作区并上传文档。
  - 多用户管理：Docker 版支持多用户登录和权限管理，管理员在后台设置用户权限。
  - 嵌入式聊天小部件：Docker 版支持生成嵌入式聊天小部件，支持嵌入到网站中。
- 高级功能：
  - 自定义集成：基于 API 和插件扩展应用功能。
  - 云平台部署：支持在 AWS、GCP、Digital Ocean 等云平台上部署。

AnythingLLM的应用场景

企业内部知识管理与问答：企业将内部文档（如知识库、手册、项目文档等）上传到 AnythingLLM 的工作区中，员工用对话形式快速查询和获取相关信息，提高工作效率。
学术研究与文献整理：研究人员将大量学术文献、论文等上传到工作区，快速提取关键信息、总结观点，辅助研究工作。
个人学习与资料整理：学生或个人学习者将学习资料（如电子书、笔记等）导入，用对话形式复习和巩固知识，提升学习效率。
内容创作：内容创作者获取创意灵感、润色文本或生成大纲，辅助创作过程。
多语言文档翻译与理解：用户上传多语言文档，快速获取文档内容的翻译版本或关键信息，打破语言障碍。