基于 Flutter × HarmonyOS 6.0 开发的文本净化工具 ——「TextCleaner」
2026/1/16 16:14:52
本文通过鸡哥的故事引入RAG（检索增强生成）技术，介绍其工作原理：先从知识库检索相关信息，再结合问题输入大语言模型生成更准确回答。文章详细讲解了实现RAG的关键技术，包括文本向量化、文档切分和向量数据库应用，有效解决了大模型处理长文档信息过载的问题，提高了回答的准确性。
鸡哥是一个优秀且苦逼的程序员，每天都被领导无情地摧残着，就在他感觉身体即将被掏空时，领导又让他充当交际花，利用美色从某个女老板手里拿到投资。正所谓工欲善其事，必先利其器，领导给鸡哥一份文档，是从女老板秘书手里买来的，里面记录了女老板近一年的生活轨迹等，让鸡哥在脑海中构建女老板的画像。
没过多久，女老板要求在饭桌上洽谈合作的事情，那么鸡哥自然要打扮一番，可是该穿什么样的衣服呢？于是他询问大语言模型。
鸡哥发现大模型的回答很官方，都是一堆正确的废话，不是自己想要的答案。但鸡哥很快又想到了新的办法，把文档和问题一起发给大语言模型不就行了。
鸡哥按照大模型的建议，一上来就给女老板留下了好印象，然后又凭借三寸不烂之舌侃侃而谈，哄得女老板面色红润、手舞足蹈，最终顺利拿下了 1000 万的投资。而领导为了表扬鸡哥的功绩，大手一挥，送给他一面锦旗和 500 块钱奖金。
正所谓逮住蛤蟆攥出尿，领导又让鸡哥去从另一个女老板手里拿到投资。鸡哥还是像之前一样先从穿搭入手，但这次大语言模型却没有给出精确的回答，因为文档太大了，信息太多、太杂，而答案可能只隐藏在文档的一个不起眼的角落，导致大模型没有抓住重点。
于是聪明的鸡哥又想到了，那能否不把整个文档发过去，而是只发和问题相关的部分呢？显然是可以的，这就是 RAG（Retrieval Augmented Generation）要解决的问题。所以 RAG 的中文翻译是检索增强生成，它是一种结合了信息检索和文本生成的 AI 技术架构，其核心思想是在生成回答之前，先从外部知识库中检索相关信息，然后基于这些检索到的信息来生成更准确、更有根据的回答。
简单来说，RAG 的工作原理如下：
- 检索 (Retrieval)： 当用户提出一个问题或给出一段提示时，RAG 系统首先会从外部的知识库中检索相关信息。这个知识库可以包含各种数据，例如公司的内部文档、产品手册、最新的新闻文章、数据库记录等等。
- 增强 (Augmented)： 检索到的相关信息会和用户的原始问题一起，被 “增强” 或 “补充” 到输入给大语言模型的内容中。
- 生成 (Generation)： 大语言模型在接收到这些增强的上下文信息后，会生成一个更加准确、相关和基于事实的答案。
那么问题来了，只发和问题相关的部分说起来简单，但相关这两个字要如何量化呢？或者说我们要怎么判断一段文字和用户的问题是否有关系呢？如果你对机器学习有所了解的话，很容易想到可以像 k 近邻算法一样，将文本抽象成空间中的一个点，通过计算两个点的距离，来判断它们之间是否相关。
比如有以下四句话：
- “鸡哥的穿衣风格咋样？”，将这句话映射之后的点记作 A。
- “鸡哥穿衣很时尚、很有品味”，将这句话映射之后的点记作 B。
- “鸡哥很注重穿搭”，将这句话映射之后的点记作 C。
- “鸡哥的宝剑也未尝不锋利”，将这句话映射之后的点记作 D。
显然 AB 的距离最近，其次是 AC，最后是 AD。
所以我们需要一种新的模型，它的输入也是一段文字，但输出是一个数组，存储了映射之后的点在空间中的坐标，这种模型叫做 Embedding 模型。比如 OpenAI 的 text-embedding-3-small 模型会将文本映射成长度为 1536 的数组，text-embedding-3-large 模型会将文本映射成长度为 3072 的数组，而数组的长度就是空间的维度，维度越高，理论上能够捕捉到的语义信息就越丰富和细致。
不难发现，数组就是文本的一种量化，当然这个过程是有损失的，数组长度越短，损失的信息就越多。
文本越相似，它们在空间中的距离就越近，通过两段文字的距离即可判断它们是否相关。
回到之前的问题，如果文档太长了，大语言模型不好处理该怎么办？显然这个问题的解决方案已经有了。
- 1）将文档进行切分，至于方式可以按字数切分、按段落切分、按句子切分等等，这个过程叫做 Chunking。
- 2）对 Chunking 后的每一段文字都做 Embedding，得到固定长度的数组，更专业的说法叫向量，因此这个过程叫做"向量化"或"嵌入"。
- 3）将原始文本和对应的向量保存在向量数据库中，当输入一个向量时，数据库就会返回和输入向量最近的 n 条数据。
这样当用户输入问题时，先用同样的 Embedding 模型将问题转成向量，然后再从向量数据库中选择距离最近的 n 条数据，将对应的内容和问题一起发给大模型。到此，一个完整的 RAG 架构就完成了。
如何系统的学习大模型 AI ？
由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。
但是具体到个人，只能说是：
“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。
这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
一直在更新，更多的大模型学习和面试资料已经上传带到CSDN的官方了，有需要的朋友可以扫描下方二维码免费领取【保证100%免费】👇👇
01.大模型风口已至：月薪30K+的AI岗正在批量诞生
2025年大模型应用呈现爆发式增长，根据工信部最新数据：
国内大模型相关岗位缺口达47万
初级工程师平均薪资28K（数据来源：BOSS直聘报告）
70%企业存在"能用模型不会调优"的痛点
真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！
02.大模型 AI 学习和面试资料
1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工
📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
- 硬件选型
- 带你了解全球大模型
- 使用国产大模型服务
- 搭建 OpenAI 代理
- 热身：基于阿里云 PAI 部署 Stable Diffusion
- 在本地计算机运行大模型
- 大模型的私有化部署
- 基于 vLLM 部署大模型
- 案例：如何优雅地在阿里云私有部署开源大模型
- 部署一套开源 LLM 项目
- 内容安全
- 互联网信息服务算法备案
- …
学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。
如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。