晨的博客
来去如一，真性湛然。风收云散，月在青天。
目 录CONTENT
以下是
AI大模型
相关的文章
-
置顶 大模型 RAG 本地知识库 **RAG（Retrieval-Augmented Generation）**是一种结合信息检索和生成模型的技术，通过从外部知识库中检索关键信息并传递给大模型，以提高生成质量和准确性。RAG的主要流程包括索引、检索和生成三个步骤：首先将知识库文档分割成块并编码成向量存储；然后根据用户问题的向量找到最相关的文档块；最后将这些块与用户问题一起输入到大语言模型中生成答案。 RAG相比直接使用大语言模型具有以下优势： 1. **时效数据**：利用外部知识库确保回答的时效性。 2. **私域数据**：支持特定领域的问题解答，缓解大模型幻觉。 3. **长期记忆**：通过参考知识库提高多轮交互回答的准确性。 构建一个完整的RAG系统需要大语言模型（如DeepSeek-R1-Distill-Qwen-32B-Q4_K_M）、信息检索模型（如bge-m3用于语义向量表示）以及重排模型（如bge-reranker-v2-m3）等组件。此外，还需选择合适的RAG框架来连接和调度这些模块，例如轻量级的OpenWebUI或专业级的Dify。 在实际部署中，可以依据项目需求选择适合的RAG架构和技术栈，对于小规模文本知识库或极简项目推荐使用OpenWebUI + Ollama组合，而大规模知识库或企业应用则更适合Dify + Ollama + Xinference方案。 -
-
-
