从零开始写算法——二叉树篇6:二叉树的右视图 + 二叉树展开为链表
2026/1/16 5:07:00
PaddlePaddle文本相似度计算：余弦距离与欧氏距离
在智能客服、推荐系统和语义搜索等应用中，如何判断两段文字是否“意思相近”，早已不再是简单的关键词比对问题。用户问“怎么装飞桨？”，系统若只认“安装PaddlePaddle”才算匹配，那显然不够聪明。真正的挑战在于——让机器理解语义。
而实现这一目标的关键一步，就是将文本转化为向量，并用数学方式衡量这些向量之间的“接近程度”。百度开源的深度学习框架PaddlePaddle在中文语义建模方面表现尤为突出，其ERNIE系列模型在多项NLP任务中领先，配合高效的向量运算能力，为构建高精度文本相似度系统提供了强大支撑。
在这类系统中，最常用的两种距离度量方法是余弦距离和欧氏距离。它们看似都是“算距离”，实则逻辑迥异，适用场景也大不相同。选错一个，可能让整个系统的准确率大幅下滑。
我们先来看一个实际问题：假设你正在开发一个企业知识库问答机器人，用户输入“飞桨怎么部署？”系统要从已有问题库中找出最相似的问题，比如“如何安装PaddlePaddle？”、“PaddlePaddle使用教程”等。
第一步，当然是把文本变成向量。你可以用ernie-tiny这样的轻量级预训练模型快速生成句向量：
from paddlenlp.transformers import ErnieModel, ErnieTokenizer import paddle # 加载中文语义模型 model = ErnieModel.from_pretrained('ernie-1.0') tokenizer = ErnieTokenizer.from_pretrained('ernie-1.0') def get_sentence_embedding(text): inputs = tokenizer(text, return_tensors='pd', padding=True, truncation=True, max_length=128) with paddle.no_grad(): outputs = model(**inputs) return outputs[0][:, 0, :] # 取 [CLS] 向量作为句子表示得到向量后，接下来就是关键一步：用什么方式比较这两个向量？
这时候，你就得面对选择：是看它们“方向是否一致”，还是“空间位置有多远”？
这正是余弦距离和欧氏距离的根本分歧所在。
余弦距离：关注“方向”的语义匹配利器
想象两个向量从原点出发，指向不同方向。即使一个很长、一个很短，只要它们几乎同向，我们就认为它们表达的意思相近——这正是余弦距离的核心思想。
它的公式很简单：
$$
\text{Cosine Similarity} = \frac{\mathbf{A} \cdot \mathbf{B}}{|\mathbf{A}| |\mathbf{B}|}
$$
然后通常定义余弦距离为：
$$
\text{Cosine Distance} = 1 - \text{Cosine Similarity}
$$
这个设计非常巧妙。分子是点积，反映方向一致性；分母做了归一化，自动消除长度影响。因此，它天然适合处理文本向量——毕竟一句话是长是短，不该决定它是不是“同一个意思”。
举个例子：
vec_a = paddle.to_tensor([[0.8, 0.6, 0.1]]) vec_b = paddle.to_tensor([[0.7, 0.5, 0.2]]) cos_sim = paddle.nn.functional.cosine_similarity(vec_a, vec_b) cos_dist = 1 - cos_sim print("余弦相似度:", cos_sim.numpy()) # [0.994] print("余弦距离:", cos_dist.numpy()) # [0.006]结果接近1，说明两句话语义高度相关。哪怕一个是长句、一个是短句，只要核心语义一致，就能被正确识别。
这也是为什么在问答系统、文档去重、新闻推荐这类任务中，余弦距离几乎是首选方案。它对文本长度变化鲁棒，能在高维空间稳定捕捉语义关联，特别适合中文这种词汇丰富、表达灵活的语言环境。
但要注意一点：余弦距离完全忽略模长。如果你的任务不仅关心“说什么”，还关心“说得多强烈”（比如情感强度分析），那它就不够用了。
欧氏距离：综合“位置与大小”的几何度量
相比之下，欧氏距离更像是我们在三维世界里感知距离的方式——两点之间直线最短。
公式也很直观：
$$
d(\mathbf{A}, \mathbf{B}) = \sqrt{\sum_{i=1}^{n}(A_i - B_i)^2}
$$
它衡量的是两个向量在空间中的绝对差异，既受方向影响，也受长度影响。这意味着：即使两个向量方向一致，但如果一个明显更长，它们的欧氏距离也会很大。
在PaddlePaddle中可以这样计算：
euclidean_dist = paddle.dist(vec_a, vec_b, p=2) print("欧氏距离:", euclidean_dist.numpy()) # [0.1414] # 或手动实现 diff = vec_a - vec_b euclidean_manual = paddle.sqrt(paddle.sum(diff.pow(2), axis=1))看起来简单直接，但在文本相似度任务中要格外小心。
最大的坑在于：未归一化的句向量，其长度往往与文本长度正相关。一篇长文章的向量模长天然大于短句，即便语义相近，欧氏距离也可能很大。这就导致“苹果很好吃”和“我昨天买了一个红富士苹果，味道非常甜美可口”被判为“不相似”。
所以，如果你想用欧氏距离，必须先做L2归一化：
vec_a_norm = paddle.nn.functional.normalize(vec_a, p=2, axis=1) vec_b_norm = paddle.nn.functional.normalize(vec_b, p=2, axis=1) euclidean_normalized = paddle.dist(vec_a_norm, vec_b_norm, p=2)归一化之后，所有向量都落在单位球面上，此时欧氏距离其实和余弦距离有数学上的等价关系：
当向量归一化后，欧氏距离越大，余弦相似度越小，二者单调相关。
这也意味着：在纯语义匹配任务中，归一化后的欧氏距离并无额外优势，反而多了一步操作。除非你的任务需要同时考虑“内容”和“强度”（例如评分预测、情感强度分级），否则没必要舍近求远。
此外，在高维空间中，欧氏距离还会面临“维度灾难”——所有点之间的距离趋于收敛，区分度下降。这也是为何在大规模语义检索中，大家更倾向使用余弦相似度或专用近似算法（如Faiss中的内积搜索）。
实战中的系统设计：不只是选个距离那么简单
回到前面的智能问答系统案例。完整的流程应该是这样的：
- 编码阶段：用ERNIE模型将问题库中的每个问题转为句向量，并缓存到内存或向量数据库；
- 查询阶段：新问题进来后，同样编码为向量；
- 匹配阶段：批量计算该向量与候选集之间的相似度；
- 排序输出：返回Top-K最相似的结果。
这里有几个工程实践要点：
批量高效计算
别用循环一个个算！利用PaddlePaddle的广播机制，可以一次性完成全部相似度计算：
query_vec = get_sentence_embedding("如何安装PaddlePaddle？") candidate_texts = ["PaddlePaddle安装教程", "Python怎么升级？", "飞桨如何使用？"] candidate_vecs = get_sentence_embedding(candidate_texts) # 利用广播 + axis=-1 实现批量余弦相似度 cos_sims = paddle.nn.functional.cosine_similarity( query_vec.unsqueeze(1), # shape: [1, 1, d] candidate_vecs.unsqueeze(0), # shape: [1, n, d] axis=-1 # 按最后一个维度计算 ) best_idx = paddle.argmin(1 - cos_sims) # 最小距离即最大相似度 print("最相似问题:", candidate_texts[best_idx])这段代码在GPU上运行时延可控制在毫秒级，完全能满足线上服务需求。
性能优化建议
- 模型压缩：使用
paddle.jit.save导出静态图模型，结合Paddle Inference进行图优化、融合算子、启用TensorRT/MKL-DNN加速； - 向量索引：当候选集超过千级，应引入Faiss等近似最近邻库，避免全量扫描；
- 动态图调试，静态图部署：开发阶段用动态图方便调试，上线时切换为静态图提升性能；
- 中文优先选ERNIE：相比BERT，ERNIE在百度海量中文语料上训练，对中文命名实体、网络用语、缩略词（如“飞桨”=“PaddlePaddle”）的理解更强。
如何选择？一张表说清决策依据
| 维度 | 余弦距离 | 欧氏距离 |
|---|---|---|
| 关注重点 | 向量方向 | 空间位置（方向+长度） |
| 是否受模长影响 | 否（自带归一化） | 是 |
| 文本长度敏感性 | 低（推荐用于长短文本对比） | 高（需归一化缓解） |
| 高维空间稳定性 | 好（广泛用于语义检索） | 差（易受维度灾难影响） |
| 典型应用场景 | 问答匹配、文档去重、推荐系统 | 情感强度分析、结构化特征聚类 |
| 是否需要预处理 | 否 | 推荐L2归一化 |
| PaddlePaddle支持 | F.cosine_similarity | paddle.dist(p=2) |
总结一句话：
做语义匹配，优先用余弦距离；做综合特征比较，且数据已标准化，再考虑欧氏距离。
最后提醒几个容易踩的坑：
- 不要混淆相似度与距离：余弦相似度范围是[-1,1]，距离是[0,2]，排序时注意方向；
- 避免重复计算：句向量一旦生成，尽量缓存复用，特别是问题库中的标准问法；
- 警惕模型漂移：不同版本的ERNIE模型生成的向量不可混用，务必统一模型版本；
- 注意padding影响：虽然[CLS]向量对padding不敏感，但极端情况下仍建议截断过长文本。
如今，越来越多的企业开始构建自己的语义理解系统。无论是政务工单自动归并、金融投诉聚类分析，还是电商平台的商品问答回答，背后都离不开精准的文本相似度计算。
而PaddlePaddle凭借其对中文场景的深度优化、丰富的预训练模型生态以及端到端的部署能力，已经成为国内开发者落地此类系统的首选平台。更重要的是，它把复杂的数学原理封装成简洁API，让你不必从头推导公式，也能快速搭建高性能语义引擎。
当你下次面对“这两句话像不像”这个问题时，不妨先问问自己：我是想看它们“说得是不是一回事”，还是“说得有多强烈”？答案自然就出来了。