但此时的研究人员似乎仍然很好奇林灰是怎么构建这一衡量标准的。

林灰记得先前伊芙·卡莉在他发的邮件中就表达了对于“LH文本摘要准确度衡量模型”究竟是如何构建的困惑。

林灰记得伊芙·卡莉当初除了好奇林灰是怎么搞定语料库这个问题之外。

其困惑主要集中在林灰究竟采用什么方法架构相似度模型的。

当知道世界最顶尖学府附属的研究机构的科研人员居然好奇这事，林灰还是意外的。

林灰踌躇满志地盖了一个“华丽的房子”。

原本以为这个时空人们会好奇林灰是怎么盖出这个房子的。

没想到反倒先被问道盖房子的木头是从哪开采的？

这就是林灰当初收到伊芙·卡莉邮件时的直观感受。

不过如果诚如伊芙·卡莉在邮件里介绍的那般，林灰也能理解伊芙·卡莉为什么困惑。

涉及到相似度模型的架构一般都是通过计算的方式。

通过计算语义文本相似度以衡量这两个文本的语义相似度。

一般来说，语义相似度值越小，两个文本之间的语义差异越大，它们在语义层面的相似度越低；

反之，该值越大，两个文本表达的语义越相似。

或许在人们看来，区分相似文本是很简单的一件事情啊？

这不是随便读一下就能搞定么？

但是要知道区分相似文本不是要人来区分，而是要机器区分相似文本。

涉及到相似度模型的构建确实不是容易的事情，毕竟人类语言表达是极其复杂的。

更遑论大部分专业性比较强的文章里文本中还存在许多同义词、缩略语、特指词和多变的句法结构。

这些都极大地增加了计算文本语义相似度的难度。

但这个问题不解决不行，林灰知道计算文本语义相似度是一个很重要的分支领域。

在信息检索领域，语义文本相似性计算在文本分类、文本聚类和实体消歧等任务中发挥着重要作用；

在人工智能领域，也需要语义文本相似性算法来支持问答系统和智能检索等任务。

此外，语义文本相似性计算也被广泛用于自然语言处理任务中，如抄袭检测、文本总结和机器翻译。

总之，对语义文本相似性算法为代表的相似度模型研究具有重要的应用价值。

如果不解决计算文本语义相似度这个问题的话，跟别提如何更进一步的文本处理了。

抛开让机器区分相似文本这个问题不谈。

仅仅是想要机器识别文本这件事情就极其困难了。

自然语言一般就是说人类能理解的语言，比如看到的文字就是自然语言。

但当我们需要机器或者说计算机处理自然语言时。

机器/计算机却没办法直接理解这些符号（汉字、字母、标点符号等）。

这些符号必须先被数值化，然后才能输入计算机进行后续处理。

仅仅只是数值化之后也用途不大。

必须引入其他的一些内容来反应出词的属性。

就像我们不能从一个普普通通的代号知道这串数字究竟表示的是订阅、收藏还是打赏。

总之，仅仅是一个代号是看不出来每串数字对应的属性的。

这个问题也是计算文本语义相似度的一个研究热门之一。

如何表示数值化的自然语言相对应的属性呢？

研究人员一般做法是将数值化的语言矢量化或者说向量化。

向量相比于标量的话就是带方向的量。

事实上这种研究方向并不算新潮。

林灰记得前世早在1975年，就有研究人员首次提出向量空间模型(VSM)，试图利用该模型来处理数值化的自然语言。

林灰通过搜索相关信息，发现这个时空虽然慢了一点，但VSM向量空间模型这个方法在1977年也被提出来了。

所谓的VSM模型听起来或许挺高大上的。

其实没那么复杂。

其主要思想就是假设一个文本的语义只与该文本中的单词有关，而忽略其语序和单词之间的相互关系，然后通过基于词频统计的方法，将文本映射成向量，最后通过向量间的距离计算以表征文本间的相似度。

计算两个向量之间的距离？

这玩意是高中课本上的内容。

估计高考后脑子里知识还没忘记的一般考生都能拿过来利用这个模型算算文本相似度。

不过很多高中生学的时候可能根本不知道他们学的这玩意能做这个。

（ps：……高中学的东西很有用，不要觉得暂时看不到用途就放弃）

当然，也正是由于该模型简单高效。

在该模型提出来之后很长的一段时间里，它都是文本相似度计算领域的主流方法。

但该模型并不是没有缺点。

基于VSM的方法仍然有两点缺陷:

一方面当文本量很大时，生成的文本向量是非常稀疏的，这就导致了空间和计算资源的浪费;

另一方面VSM为达到简化模型的效果忽略了词语间的关系，但在很多情况下词语之间是存在联系的，因此简单地认为词语间相互独立是不合理的。

这两条缺陷尤其致命。

第一条直接影响处理相似度的效率，第二条直接影响词义相似度判别的准确度。

在这种情况下，VSM模型在使用了一段时间之后，研究人员就将这个模型抛弃了。

现在的人们具体应用什么计算文本相似度林灰也不是很清楚。

不过林灰注意到伊芙·卡莉先前发给他的邮件并没有提到向量有关的内容。

时下的研究人员似乎已经淡忘了向量化。

或许现在再说到利用向量化进行自然语言文本处理似乎是一个很复古的研究方向了。

但实际上向量化这个方向仍然有潜力可以挖掘。

应用分布式词向量完全可以进行文本相似度计算。

不过这个时空的人们不知道也很正常。

林灰记得前世涉及到自然语言处理这方面很多重要成果都是2013年、2014年这两年井喷出来的。

前世涉及到文本相似度模型的架构这方面。

用于计算语义文本相似度的分布式词向量这项技术就是就是在2013年诞生的。

前世正是在分布式词向量问世后，语义文本相似度才取得了突破性的进展。

这个时空节奏上慢了两年，应用分布式词向量计算文本相似度没被提出来也很正常。

一步落后，步步落后。

节奏上慢这两年时间的话，这个时空无疑很多方面都落后了。

这些对于林灰无疑是个好消息。

应用分布式词向量来构建计算文本相似度的方法虽然说起来容易。

但具体阐述起来这个问题其实还是比较复杂的。

因此林灰当初并没有在邮件中回复伊芙·卡莉。

如果这个时空涉及到文本相似度模型架构方面的研究都短腿的话。

那林灰岂不是很有义务援助一下？

看来跨时空之搬运工又要上线了。

当然了这种搬运不是无偿的。

眼下林灰更关心的还是论文。

在相关研究出现方向性偏差的情况下，林灰真要写论文的话岂不是很容易就能发表好几篇？

这样水平的论文林灰写起来很容易。

虽然林灰前世学术生涯上没有走太远，但前前后后发的论文加起来大概有七八篇了。

有几篇论文还是全英文的。

总之发表论文这样的事情，对林灰来说已然是轻车熟路。
本章未完，请翻下一页继续阅读.........