澳八机器人 用‌Ollama + AnythingLLM‌组合,全程本地运行

结合你此前关注AI知识库搜不准的三层筛选方法、本地RAG搭建的相关背景,这套方案完全满足10

分钟快速搭建、75%以上搜索命中率、数据全本地留存的要求,全程无需调用外部大模型接口。


一、核心选型


直接用‌Ollama + AnythingLLM‌组合,全程本地运行,所有文档、向量数据100%留在本地磁盘,无任何数据外泄风险。


大模型选7B参数级别的Qwen2:7B,嵌入模型选bge-small-zh,二者均可在普通家用PC上流畅运行。

二、10分钟快速搭建步骤

安装Ollama,执行命令拉取Qwen2:7B和bge-small-zh两个模型,耗时约3分钟。

一键启动AnythingLLM服务,浏览器打开本地管理后台,选择本地Ollama作为LLM和嵌入源。

批量上传本地文档,系统自动完成切分、向量化入库,全程无需手动配置。

开启语义检索模式,直接测试问答,即可达到75%以上的搜索命中率。

三、命中率优化小技巧


把文档切分块大小设置为512字符,重叠度设为64,开启检索结果重排序,就能轻松把搜索命中率稳定在75%以上,完全满足日常本地知识库使用需求。


需要我为你整理这套本地AI知识库的一键部署脚本吗?帮你省去手动配置的步骤。