代表的相似度模型研究具有重要的应用价值。

　　如果不解决计算文本语义相似度这个问题的话，跟别提如何更进一步的文本处理了。

　　抛开让机器区分相似文本这个问题不谈。

　　仅仅是想要机器识别文本这件事情就极其困难了。

　　自然语言一般就是说人类能理解的语言，比如看到的文字就是自然语言。

　　但当我们需要机器或者说计算机处理自然语言时。

　　机器/计算机却没办法直接理解这些符号（汉字、字母、标点符号等）。

　　这些符号必须先被数值化，然后才能输入计算机进行后续处理。

　　仅仅只是数值化之后也用途不大。

　　必须引入其他的一些内容来反应出词的属性。

　　就像我们不能从一个普普通通的代号知道这串数字究竟表示的是订阅、收藏还是打赏。

　　总之，仅仅是一个代号是看不出来每串数字对应的属性的。

　　这个问题也是计算文本语义相似度的一个研究热门之一。

　　如何表示数值化的自然语言相对应的属性呢？

　　研究人员一般做法是将数值化的语言矢量化或者说向量化。

　　向量相比于标量的话就是带方向的量。

　　事实上这种研究方向并不算新潮。

　　林灰记得前世早在1975年，就有研究人员首次提出向量空间模型(VSM)，试图利用该模型来处理数值化的自然语言。

　　林灰通过搜索相关信息，发现这个时空虽然慢了一点，但VSM向量空间模型这个方法在1977年也被提出来了。

　　所谓的VSM模型听起来或许挺高大上的。

　　其实没那么复杂。

　　其主要思想就是假设一个文本的语义只与该文本中的单词有关，而忽略其语序和单词之间的相互关系，然后通过基于词频统计的方法，将文本映射成向量，最后通过向量间的距离计算以表征文本间的相似度。

　　计算两个向量之间的距离？

　　这玩意是高中课本上的内容。

　　估计高考后脑子里知识还没忘记的一般考生都能拿过来利用这个模型算算文本相似度。

　　不过很多高中生学的时候可能根本不知道他们学的这玩意能做这个。

　　（ps：……高中学的东西很有用，不要觉得暂时看不到用途就放弃）

　　当然，也正是由于该模型简单高效。

　　在该模型提出来之后很长的一段时间里，它都是文本相似度计算领域的主流方法。

　　但该模型并不是没有缺点。

　　基于VSM的方法仍然有两点缺陷

　　一方面当文本量很大时，生成的文本向量是非常稀疏的，这就导致了空间和计算资源的浪费

　　另一方面VSM为达到简化模型的效果忽略了词语间的关系，但在很多情况下词语之间是存在联系的，因此简单地认为词语间相互独立是不合理的。

　　这两条缺陷尤其致命。

　　第一条直接影响处理相似

　　请收藏：https://m.ddxss.cc

（温馨提示：请关闭畅读或阅读模式，否则内容无法正常显示）