一、Katz平滑算法在中文分词系统中的应用（论文文献综述）
王琼[1]（2020）在《基于铁路车务语境的语音识别后文本处理研究》文中研究表明语音识别技术为人们的生活提供了极大的便利,它在人机交互中扮演着不可替代的角色。由于各方面因素,如环境噪音、说话人口语化、语音识别引擎缺乏领域知识等,导致语音识别技术在特定领域难以应用。目前语音识别技术在铁路车务语境中尚未普遍应用,由于铁路车务术语表述要求标准化、专业化,部分字母数字发音具有特殊要求,导致铁路车务术语的语音识别正确率较低。因此本文主要针对上述问题,采用自然语言处理的方法对语音识别后文本进行处理,利用查错和纠错的方法优化识别结果,从而减少铁路车务语境下的语音识别后文本中的字词错误,实现语音识别技术在该领域的应用。主要有以下的研究内容及成果:（1）构建铁路车务语境下的n-gram模型和核心词语搭配术语库实现查错。首先训练语料构建bi-gram模型和tri-gram模型,并制定抽取规则获取语料中核心词语的搭配,构建核心词语搭配术语库;然后提出一种基于n-gram模型的加权分配法计算文本中词语的语境和谐度,实现文本的局部语境内初次查错,并结合核心词语搭配术语库计算词语的搭配聚合度,实现文本远距离语义层二次查错,最后采用双层递进式联合查错方法,准确定位语音识别错误点。（2）基于混淆集的纠错方法研究。采用一种拼音模糊匹配和精确匹配法结合散串重组策略,构建车务语境下的真词混淆集和拼音混淆集,用于文本中的真词纠错和散串纠错,并以语境和谐度和语义相似度的融合概率值作为混淆词支持度,选取支持度最大词为最优纠错建议输出。（3）基于关键字规则表的字母数字纠错方法研究。针对铁路车务用语中特殊发音字母和数字形成的散串错误,对具有特殊发音的字母数字构建关键字规则表,并基于关键字规则表利用规则匹配法实现字母数字纠错。（4）语音识别后文本查错和纠错方法的应用及结果分析。将本文提出的铁路车务语境下的语音识别后文本查错和纠错方法应用于铁路车务接发车培训系统,经实验验证,本文提出方法可有效提高铁路车务术语的语音识别正确率12.77%。该方法对语音识别技术在铁路车务领域的应用具有重要意义。
姚健[2]（2020）在《面向非汉语母语中文学习者的拼音输入法研究》文中提出随着我国经济实力的快速提升以及中华文化的广泛传播,非汉语母语中文学习者日益增多,而汉语学习的困难主要体现在以下三个方面:1)声调掌握不准。学习者很难将声调和母语进行联系学习,并且在汉语语句交流中的声调和变调难以掌握;2)文字同音多形。汉语中存在大量同音字且结构错综复杂导致难以辨认;3)词汇丰富多样。中文词汇数目庞大用法灵活导致使用出现偏误。学习者在学习过程中必然会有在手机中输入中文的需求,中文输入法成为了不可或缺的输入工具。但是现有的拼音输入法都是针对母语为汉语的人进行设计的,并没有考虑学习者使用拼音输入法时对众多候选内容难以选择的困惑。本文在现有拼音输入法的基础上研究并实现了一个面向非汉语母语中文学习者的拼音输入法,我们称之为SeeIME输入法,其主要贡献如下:（1）针对学习者使用拼音输入法所遇到的困惑,我们重新设计了拼音输入法。首先提出在输入汉字拼音后仍可以输入汉字英文翻译的前两个字符,这种输入方式能够大幅度减少候选项数量同时提升输入法音字转换的表现,在测试集中最高准确率达到96.19%。接着提出三段式候选栏提升候选项的易辨性,在显示汉字之外同时显示对应携带声调的拼音和英文翻译。最后提出将输入法与词典结合,在输入法中便可以帮助用户增强对汉字的理解。（2）观察不同平滑算法下的n-gram语言模型对输入法音字转换的影响,提出一个新的平滑算法,通过将Kneser-Ney和Modified Kneser-Ney平滑算法相结合以提升在输入法中的综合表现。为了解决n-gram语言模型所遇到的长距离依赖问题,本文首次将GPT-2语言模型用于输入法中,利用GPT-2语言模型解决长距离依赖问题来进一步提升输入法音字转换的表现。在两个测试集下输入法音字转换的表现分别提升了 3个百分点和1个百分点。（3）在拥有高质量的音字转换表现之余,输入法还可以添加辅助功能来帮助用户输入。本文尝试将聊天机器与输入法结合,利用输入的拼音信息使得聊天机器生成符合用户要求的回复,我们称之为拼音聊天机器（PCM）。在拥有注意力机制的Seq2Seq模型基础上提出两种方案将拼音信息融入,分别是简单拼音融合和带有阅读门的拼音融合。通过实验分析,PCM对拼音具有很好的适应性以及根据拼音生成对应回复内容的可行性。
张蕾[3]（2020）在《中文文本的词语纠错方法研究》文中研究指明当今世界,中国经济蓬勃发展、国际竞争力不断提高,汉语的语言魅力吸引了越来越多的外国学习者进行学习,本文针对外国学习者学习汉语这一主题展开中文文本纠错的探究。中文文本的词语纠错方法研究是确保学习者在学习和交流时准确性的重要探究,是预估文本中错误存在与否并选取正确纠错字的关键技术手段,是中文自然语言处理研究领域中的重要课题。本文旨在辅助学习者纠正其在学习过程中产生的错误,同时也为减轻汉语教师的辅导压力。中文文本纠错研究从利于模型构建的角度出发,将纠错任务分成两大类:中文拼写纠错和中文语法纠错,分别构建模型进行纠错。在经由一系列详实的调查,概括了文本拼写问题的形成因素和类别,在N-gram语言模型基础上采用基于字的N元切分文本并统计其概率,引入混淆集和动态规划提高模型纠错效率,并使用平滑技术应对数据稀疏问题,提出了结合中文分词、二元模型和三元模型的算法,构建了基于N-gram的中文拼写纠错组合模型。针对中文语法纠错,本文将语法问题分为四大类:用词冗余、缺少词语、用词错误、词序错误。针对传统的基于统计的N元语言模型无法应对邻接词未登录以及长距离语法错误的问题,本文采用神经语言模型双向长短期记忆网络（BiLSTM）来建模,通过双向上下文信息来评测句子正误,此外,又引入了条件随机场（CRF）进行序列标注,并在嵌入层加入词性特征与词向量相结合作为BiLSTM输入,构建了基于BiLSTM-CRF的中文语法纠错模型,进一步优化了模型的纠错性能。利用开发评测数据集进行的实验结果表明,本文提出的基于N-gram的中文拼写纠错组合模型和基于BiLSTM-CRF的中文语法纠错模型在各自针对的错误领域内都取得了良好的效果。
臧文经[4]（2020）在《基于无监督学习的思想政治教育分词系统设计与实现》文中研究表明中文分词作为中文自然语言处理中的一项重要技术,其结果的优劣将直接影响到后续文本处理的效果,而在思想政治教育领域中,其领域词汇具有新词诞生速度快、覆盖面广、词汇量大等特点,这给领域内的分词以及后续工作造成了极大困难。针对以上问题,本文设计并实现了思想政治教育分词系统,本系统基于领域文献构建语料库,基于统计的思想训练字级语言模型,使用维特比算法获取初步中文分词结果,最终通过基于词频偏差的中文分词优化算法优化初步分词结果,系统针对分词结果为用户提供包括提取关键词、词频统计、绘制词云图等功能,从而实现对领域文献的中文分词以及文本分析。论文进行的主要工作和取得的相关成果如下:（1）论文研究了中文分词相关算法,参考传统词级N-gram语言模型训练流程,训练获得字级N-gram语言模型,基于语言模型使用维特比算法寻找文本最优分词路径作为初步分词结果,考虑到专业词汇较长的特征,加入基于词频偏差的分词优化算法对初步分词结果进行重组以进一步提升分词准确率,最终输出最优分词结果。（2）在构建语料库的过程中考虑到包括专业词汇、热点词汇以及常用词汇三个方面词汇的覆盖程度,利用爬虫等手段获取三个方面的不同的领域文献以构建语料库,确保语料库尽可能包含领域内所有常见词汇。（3）针对文本处理的需求,系统实现TF-IDF算法为系统提供提取关键词的功能,并通过词频统计的功能对文本词汇出现次数进行统计,绘制词云图主要针对不同词汇出现次数绘制词云,图中词汇大小直接反映文本中词汇的次重关系,研究热点分析功能针对不同词汇绘制20年内相关文献发文量,满足研究工作对文本分析的需求。（4）设计并实现了思想政治教育分词系统的整体方案。前端部分主要使用PyQt5进行编写,后端主要使用Python语言实现。方案包括思想政治教育分词系统的结构设计以及各个模块的功能设计。本系统针对思想政治教育领域,实验结果表明基于相应思路搭建分词系统,提高了针对思想政治教育领域的中文分词准确率与文本分析效率,对思想政治教育领域文献的相关研究以及领域内的文本处理具有一定促进作用。
贾继康[5]（2020）在《基于句法分析和规则联合的中文校对方法研究》文中进行了进一步梳理随着数字时代的高速发展,自然语言处理现已广泛集成到Web和移动应用程序中,实现人与计算机之间的自然交互,其学科范围广泛,比如语音合成与识别、机器翻译、句法分析等等,而文字在这些研究领域中具有至关重要的作用。文字常常以报纸、电子刊物,及其网站等方式在人群中进行传递,给人民生活带来了便利,同时这些庞大的信息也令人眼花缭乱。而在这海量的文字信息中,难免也会有各种各样的错误。传统的人工校对方式在人力,物力,以及周期等方面都开销比较大,显然不能满足文本校对的需求。因此,文本自动校对技术已然成为自然语言处理的关键技术之一。通常而言,文本检错和文本校对是分开进行的,这样比较符合文本自动校对的逻辑步骤。句法分析又是实现文本自动校对的方法之一,同时句法分析与句式结构研究又有着密不可分的关系,而从此角度对文本进行校对的研究占比较少。目前众多的文本自动校对技术,本质上都是在探讨汉语句子部分成分之间的关系,却鲜见对于句式研究成果应用到信息处理中。究其原因,中文信息处理中句子结构的形式化处理在很大程度上模糊了汉语的句式结构。因此,本文针对句式结构、句式成分之间的修饰关系等相关理论知识,进行了大量的研究。提出了二元词和三元词概念,以满足算法中涉及到的规则需求;提出了句式规则集,用以实现校对需要。与此同时,根据研究需要,提出了二、三词元规则集,以满足本文涉及到的基于规则等相关算法。本文针对上述问题和相关的准备工作,提出基于句法分析和规则联合的文本句式结构检错,只针对文本实现检错的校对方法。首先,关于分词和词性标注对于检错效果的影响,提出了使用最新分词技术手段和词性最优模型,针对中文文本之间的修饰关系,构建二、三词元规则集,得到句法分析的解析、合成过程。其次,再利用动词谓语句式表,构建句式规则集,从而直接实现对句式结构的检错。然后,根据构建的二、三词元规则集,再次实现二者相结合的规则集。在构建的各个规则集下,实现句式检错模型的建立,提出基于规则集模型的句式识别检错和规则集模板与句式模型相结合的句式识别检错。最后,本文将这两种文本检错方法,分别使用了C语言编程实现。通过在Windows系统中的控制台（CMD）下编译可执行文件,以方便移植使用。与此同时,也可在云服务器上实现动态的规则集训练。通过真实数据测试得出了检错文本的召回率,准确率等指标。实验结果表明,本文提出结合模型的准确率为84%,召回率为87%,具有良好的效果和可研究性。
杨宁[6]（2019）在《基于RNN的藏语语言模型的研究与实现》文中指出随着互联网的迅速普及和信息的快速更新,人工智能已成为未来科技发展的重要方向。语音识别是人工智能研究的一个重要分支,其目的是让机器与人之间能够通过语音互相交流,实现人机交互。目前语音识别在英、汉等大语种方面已经取得了较高的识别率,而在藏语等小语种方面的研究却相对缺乏。语言模型是语音识别中的重要模块,也是语言事实关系的主要表现形式,很大程度上影响了语音识别系统的最终效果。除语音识别外,语言模型也广泛使用在机器翻译、自动分词、句法分析等研究中。本文主要研究基于循环神经网络Recurrent Neural Network,（RNN）语言模型和传统的N-gram统计语言模型,构建相关藏语语言模型并测试模型性能,通过改变参数,添加优化方法等实验对比两者困惑度,目的是得到识别性能更好的藏语语言模型,以便能够在后续藏语语音识别系统中,可以结合声学模型得到更准确的识别率。传统的N-gram语言模型是一种浅层模型,随着数据量增多、数据结构复杂性增强,会造成数据稀疏等问题,其建模能力也会下降。而循环神经网络RNN作为较深层次的模型,具有比N-gram模型更好的学习和建模能力。本研究通过改变RNN藏语语言模型隐层神经元的数目、在输出层添加类别层加速运算以及利用上下文词向量特征和LSTM进行训练,有效解决梯度消失等造成的标准语言模型不能获取长距离约束的问题。实验结果表明,优化后的藏语RNN语言模型性能优于传统N-gram语言模型,但是训练时间相对较长且过程复杂。
张松磊[7]（2019）在《中文拼写检错和纠错算法的优化及实现》文中研究指明随着计算机和互联网的发展,越来越多的行业在工作或生活中使用计算机和电子文档等进行沟通和协作。中文拼写检错和纠错是保证沟通和协作过程中正确性的重要技术,是检验中文是否存在拼写错误并给出正确建议字的重要工具和中文自然语言处理研究领域中的重要课题。中文拼写纠错的应用领域十分广泛,如中文输入法、手写体识别、文档编辑、搜索引擎和问答系统等等。由于中文自然语言处理的起步较晚,多音、形近,以字为单位的中文特点导致中文拼写纠错难度较大,所以中文拼写纠错的精度一直较低。在前人的基础上,提出了新的检错和纠错算法。提出了基于N元语言模型和中文分词的中文拼写检错算法以及基于加权噪声信道模型的中文拼写纠错算法。经过详细的调查,总结了中文拼写错误的多种错误类型和成因,并设计和实现了一个用于拼写检错和纠错的框架。将中文文本进行基于字的N元切分并统计概率,结合混淆集,提出了基于N元概率的检错算法。将两者结合并引入N元语言模型;将噪声信道模型、字频概率和字与字拼音之间的最小编辑距离结合,提出了基于加权噪声信道模型的中文拼写纠错算法。为了寻找最优的参数集合和解码速度,实现了多种平滑方法的N元语言模型框架和Beam Search解码算法。对提出的多种中文拼写检错算法和中文拼写纠错算法在相同的测试数据集上做了实验。经过实验数据的对比和分析发现,提出的中文拼写检错算法在准确率、精确率和F1值上具有一定的优越性。提出的基于加权噪声信道模型的纠错算法在准确率、召回率和F1值上具有一定的优越性。为该领域提供了一定的参考和借鉴以及进一步推动了相关领域技术的进一步发展。
贾海龙[8]（2018）在《垂直搜索引擎联合排序相关理论与关键技术研究》文中提出互联网上包含大量的农资产品供求、市场动态行情、涉农政策法规等信息,这些信息以异构的方式分散在众多的农业站点之中,面对这些没有统一形式化表达的农业信息,用户想要及时精准的获得就变的异常困难。另外,各级政府和农业科研单位及机构投入较多的资源建立关于农业技术、水产、畜牧等领域的网站、信息数据库和专家决策系统,这些信息平台只能服务于具有一定知识层次和农业技术的专业人员。而农村地区信息化建设相对落后,大部分涉农用户在信息需求分析、描述和获取方面能力匮乏。针对上述问题,本文结合我国农业信息化发展情况和农业信息特征,通过分析普通搜索引擎系统的核心原理和经典算法,从页面的内容相关度、超链接分析和用户查询行为三个主要影响检索结果的因素入手,对相关的算法进行了优化和改进,建立了一套适用于垂直搜索引擎联合排序的模型和技术方法,为河南省科学技术厅科技攻关项目《基于垂直搜索引擎的农业信息推荐关键技术研究》提供了有力的技术支持。主要研究内容及成果如下:（1）提出了基于内容相关度的检索模型构建方法。由于农业网站的页面通常会包含大量关于农副产品的广告、图片等无价值的信息,页面各区域包含的内容重要程度各不相同;另外,农业术语中存在很多生僻词,估算因子在进行概率计算时会出现“零概率”和“数据稀疏”问题。为了解决上述问题,本文在传统概率检索模型的基础上提出了页面不同“域”应赋予不同权值的相关度计算方法。通过Doc View模型将主题页面按照功能划分为不同的内容块进行特征要素提取,再将关键词、词频等因素考虑进去,进行数据区域分割,综合计算不同区域的特征权值。并给统计语言模型引入基于互信息的回退平滑策略,其主要思想是对互信息值较低的二元对概率进行削减,用来补偿给零概率事件。（2）提出了基于非悬虚节点再分类的PageRank算法优化方法。涉农用户大多数浏览的网站及搜索结果页面相对固定,基本与自己经营或种植的农产品类型相关。因此,农业类型的网站页面之间会建立很多相互指向的链接,以此来方便用户浏览,这些链接经过长期积累会形成一个密集的“嵌块结构”。基于此提出了对网页节点按照其在链接结构图中的位置和特性进行分类的方法。具体是根据节点入链和出链的区别,页面节点通常被分为两种:悬虚节点（有入链没有出链）和非悬虚节点（有入链也有出链）,本文在此基础上对页面节点进行了更详细的划分,分为三种:悬虚节点、公共节点和普通节点。将划分后的链接形成的矩阵进行置换,得到了结构更简单的矩阵。进而再将维数较多的大型矩阵分解为多个子矩阵,在迭代过程中运用并行计算。当网络链接图存在块结构,并且公共节点越多时,该算法提高网页向量排序的计算速度优势越明显。（3）提出了基于改进查询点击图的检索推荐模型构建方法。为了改进传统查询点击二分图存在的偏置问题,本文引入点击频数来代替点击次数的改进查询点击图推荐模型。通过对二分图中元素建立形式化描述和优化目标,提高了涉农用户搜索意图在推荐结果中的权重,减少了农业网站内无关信息内容对结果的影响;并利用转移概率理论重新构建权重,使二分图所有边的权重值为整数,便于优化算法的求解,解决了传统随机游走推荐模型中易出现的“推荐主题漂移”问题。之后,采用随机过程中的马尔科夫链的平稳分布进行转移概率矩阵收敛,并通过设置适当的迭代次数和自转移概率控制图中随机游走范围,提高算法的精确度。（4）提出了马氏链的联合排序推荐模型构建方法。传统检索推荐模型中使用单一的排序因子导致农业网页排序依据不合理,检索系统的最终排序结果不能真正反映农业网页的特征和涉农用户的点击特点。因此,本文提出建立一个扩展性很强的监督学习框架,并以马氏链为算法核心,联合查询词与页面内容相关度、超链接分析和用户查询点击行为这三种主要因子的排序结果,将排序结果联合问题转化为一个半正定规划问题,通过监督学习的方法为每个基础排序重新获得权重系数,并且推演了问题解法的详细过程。
贾弼然[9]（2018）在《基于KL-HMM模型的命名实体识别研究》文中进行了进一步梳理随着信息技术的发展和人工智能的应用,自然语言处理相关的研究越来越受到重视。其中命名实体识别是自然语言处理初期很关键的一个步骤,识别出语料文本中的时间、数字、人名、地名和组织机构等实体在许多研究领域起着很重要的作用。在实际应用过程中,很多文本不是闭合集,而是开放集。在开放集的文本中,对于音译实体识别到的文字会出现不同的翻译文字,在识别中会产生很高的错误率。论文将KL距离的机制加入模型中,学习其它文本语料中可能出现的音译人名的差异,然后进行参数校准。并且针对防止KL-HMM模型的过度拟合问题,对不同的语料库的适应性进行了验证和分析,提高了识别的效率。最后在实际问题中进行验证,编写命名实体识别程序,测试数据进行比对。实验验证指标使用准确率R和召回率P的综合指标F测度。在实验对比中,使用基于KL-HMM的模型比原先的HMM模型在音译人名F测度上提高了 15.44%,音译地名提高了 29.27%,音译机构名提高了 25.67%,但是每一层参数校准后,会对中文实体产生轻微影响,实验结果在人名、地名和组织机构实体上分别提高了 1.71%、4.66%和0.41%。并且使用自适应调整后F值分别提高了 0.38%、0.36%、0.25%。验证了基于KL-HMM方法对音译命名实体识别性能有很好的提高能力。
张伟[10]（2014）在《基于n-gram的中文文本复制检测研究》文中进行了进一步梳理随着互联网技术的兴起和普及,文本复制检测技术成为自然语言处理领域兴起的一个研究热点,它在保护知识产权方面的重要性日益明显。英文文本复制检测技术发展较早,但由于中、英文语言天然存在差异,因此诸多英文自然语言复制检测技术并不完全适用于中文。如何针对中文语言的特点设计出有效的检测方法成为了日益被关切的问题。抄袭者手段众多,包括对句子进行增删、同义词替换甚至语句重述。不同的抄袭方法各有特点,采用单一的方法往往无法达到理想的检测效果。目前复制检测受制于自然语言处理技术发展水平,无法真正深入到语义。基于字符串匹配和基于词频统计是复制检测中最常用的两种方法。本文主要以中文自然语言为研究对象,提出了一种统计任意长度n-gram频率的方法。针对常见的抄袭现象,分别在词汇片段、同义词替换以及文本指纹方面展开了研究,主要研究成果如下:（1）根据中文词长的特点,针对最常见的二字词提出了一种基于bigram的二级变长索引。该方法使用长度为2的滑动窗口,以字为单位对中文文本进行切分。利用汉字编码将汉字映射到索引的相关位置,在保证检索效果的情况下,极大地缩减了索引空间。同时利用地址编码的存放特点,使用高效的集合算法,实现对任意长度n-gram的检索和频率统计。同时,当文本库扩展时,索引无需重新构建。（2）使用Ferret方法,通过变换检测单元长度,并计算各长度下的复制检测准确率、召回率等指标,确定了适合中文的最佳片段长度。在此基础上,提出了一种基于核心片段中心距离的中文文本复制检测方法。使用该方法提出的重叠度计算公式,可进一步提高基于片段匹配的中文文本复制检测效果。（3）现有的同义词复制检测方法都是基于单个词语进行同义词扩展,忽视了词语在真实语言环境下的习惯搭配。针对这种情况,本文提出了一种基于同义词搭配的扩展方法。采用对词语搭配进行先扩展再过滤的方法,大大缩小了扩展集的规模,同时降低了检测噪音。以此为基础,提出了一种基于同义词搭配的重叠度计算方法。实验表明,该方法对于同义词检测有良好的效果。（4）利用句子的词性序列作为句子“模板”,使用句子“模板”加低频片段的方式进行哈希计算,生成文本指纹。通过比对指纹来判定句子之间是否抄袭。方法以句子为检测单位,避免了检测过程中受到上下文的影响。可作为其他检测方法的补充。
二、Katz平滑算法在中文分词系统中的应用（论文开题报告）
（1）论文研究背景及目的
此处内容要求：
首先简单简介论文所研究问题的基本概念和背景，再而简单明了地指出论文所要研究解决的具体问题，并提出你的论文准备的观点或解决方法。
写法范例：
本文主要提出一款精简64位RISC处理器存储管理单元结构并详细分析其设计过程。在该MMU结构中,TLB采用叁个分离的TLB,TLB采用基于内容查找的相联存储器并行查找,支持粗粒度为64KB和细粒度为4KB两种页面大小,采用多级分层页表结构映射地址空间,并详细论述了四级页表转换过程,TLB结构组织等。该MMU结构将作为该处理器存储系统实现的一个重要组成部分。
（2）本文研究方法
调查法：该方法是有目的、有系统的搜集有关研究对象的具体信息。
观察法：用自己的感官和辅助工具直接观察研究对象从而得到有关信息。
实验法：通过主支变革、控制研究对象来发现与确认事物间的因果关系。
文献研究法：通过调查文献来获得资料，从而全面的、正确的了解掌握研究方法。
实证研究法：依据现有的科学理论和实践的需要提出设计。
定性分析法：对研究对象进行“质”的方面的研究，这个方法需要计算的数据较少。
定量分析法：通过具体的数字，使人们对研究对象的认识进一步精确化。
跨学科研究法：运用多学科的理论、方法和成果从整体上对某一课题进行研究。
功能分析法：这是社会科学用来分析社会现象的一种方法，从某一功能出发研究多个方面的影响。
模拟法：通过创设一个与原型相似的模型来间接研究原型某种特性的一种形容方法。
三、Katz平滑算法在中文分词系统中的应用（论文提纲范文）
（1）基于铁路车务语境的语音识别后文本处理研究（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 研究背景及意义 |
| 1.2 语音识别技术发展概论 |
| 1.3 语音识别后处理研究现状 |
| 1.4 本文的主要思路及工作 |
| 1.4.1 语音识别后文本错误分析 |
| 1.4.2 主要工作 |
| 1.5 论文结构及安排 |
| 2 语音识别后处理相关理论概述 |
| 2.1 自然语言处理技术介绍 |
| 2.2 中文分词技术 |
| 2.3 语言模型 |
| 2.3.1 n-gram语言模型 |
| 2.3.2 数据平滑技术 |
| 2.3.3 语言模型的评估 |
| 2.3.4 互信息 |
| 2.4 本章小结 |
| 3 语音识别后查错算法研究 |
| 3.1 查错思想 |
| 3.2 基于n-gram语言模型的查错 |
| 3.2.1 n-gram模型的构建及数据平滑算法的选取 |
| 3.2.2 语境和谐度计算 |
| 3.3 基于核心词语搭配术语库查错 |
| 3.3.1 核心词语搭配术语库的构建 |
| 3.3.2 词语搭配聚合度计算 |
| 3.4 基于n-gram模型和核心词语搭配术语库的联合查错 |
| 3.5 本章小结 |
| 4 语音识别后纠错算法研究 |
| 4.1 纠错思想 |
| 4.2 混淆集的构建 |
| 4.2.1 真词混淆集的构建 |
| 4.2.2 拼音混淆集的构建 |
| 4.3 基于混淆集的纠错算法 |
| 4.3.1 支持度计算 |
| 4.3.2 基于混淆集纠错算法设计 |
| 4.4 特殊字母数字的纠错算法 |
| 4.4.1 关键字规则表的构建 |
| 4.4.2 基于关键字规则表的规则匹配算法纠错 |
| 4.5 本章小结 |
| 5 实验验证及系统应用 |
| 5.1 实验及结果分析 |
| 5.1.1 实验数据 |
| 5.1.2 参数确定 |
| 5.1.3 实验结果界面显示 |
| 5.1.4 查错实验结果及分析 |
| 5.1.5 纠错实验结果及分析 |
| 5.2 语音识别后处理系统应用 |
| 5.3 实现过程及结果分析 |
| 5.4 本章小结 |
| 结论 |
| 致谢 |
| 参考文献 |
| 攻读学位期间的研究成果 |
（2）面向非汉语母语中文学习者的拼音输入法研究（论文提纲范文）
| 详细摘要 |
| 摘要 |
| ABSTRACT |
| 第一章 绪论 |
| 1.1 研究背景及意义 |
| 1.2 国内外研究现状及分析 |
| 1.2.1 主流的中文输入法 |
| 1.2.2 拼音输入法的音字转换 |
| 1.3 论文主要研究内容 |
| 1.4 论文组织结构 |
| 第二章 相关背景知识介绍 |
| 2.1 拼音切分 |
| 2.1.1 拼音切分的常用方法 |
| 2.1.2 最短路径切分算法 |
| 2.2 解码算法 |
| 2.2.1 Beam search解码算法 |
| 2.3 注意力机制 |
| 2.4 语言模型 |
| 2.4.1 统计语言模型 |
| 2.4.2 平滑算法 |
| 2.4.2.1 Katz平滑算法 |
| 2.4.2.2 Kneser-Ney平滑算法 |
| 2.4.2.3 Modified Kneser-Ney平滑算法 |
| 2.4.3 GPT-2语言模型 |
| 2.5 Seq2Seq模型 |
| 2.5.1 模型简介 |
| 2.5.2 带有注意力机制的Seq2Seq模型 |
| 2.6 Android输入法框架 |
| 2.6.1 输入法框架介绍 |
| 2.6.2 输入法服务介绍 |
| 2.6.3 输入法生命周期 |
| 2.7 本章小结 |
| 第三章 SeeIME输入法的关键技术研究 |
| 3.1 定制拼音切分 |
| 3.2 定制词网格解码 |
| 3.3 改进的平滑算法 |
| 3.4 GPT-2语言模型增强的输入法 |
| 3.5 拼音聊天机器的设计 |
| 3.5.1 简单的拼音融合 |
| 3.5.2 带有阅读门的拼音融合 |
| 3.6 本章小结 |
| 第四章 SeeIME输入法的实现 |
| 4.1 语料库的处理 |
| 4.2 语言模型的实现 |
| 4.2.1 Bigram语言模型的训练 |
| 4.2.2 GPT-2语言模型的训练 |
| 4.3 拼音聊天机器的训练 |
| 4.4 SeeIME输入法语句生成的实现 |
| 4.4.1 系统结构设计 |
| 4.4.2 界面设计 |
| 4.4.2.1 定制键盘 |
| 4.4.2.2 定制候选栏 |
| 4.4.3 词库的存储结构 |
| 4.4.4 拼音切分的实现 |
| 4.4.4.1 拼音表的存储结构 |
| 4.4.4.2 拼音切分算法的实现 |
| 4.4.5 词网格解码的实现 |
| 4.4.5.1 词网格的构建 |
| 4.4.5.2 语言模型的存储结构 |
| 4.5 输入法词典的实现 |
| 4.5.1 词典数据的获取 |
| 4.5.2 输入法与词典的结合 |
| 4.6 本章小结 |
| 第五章 SeeIME输入法的测试与分析 |
| 5.1 SeeIME输入法功能测试 |
| 5.1.1 候选栏三段式显示 |
| 5.1.2 拼音和英文翻译混合输入 |
| 5.1.3 输入法词典 |
| 5.1.4 PCM作用于输入法 |
| 5.2 SeeIME输入法性能测试 |
| 5.2.1 英文翻译对候选字词数量的减少程度 |
| 5.2.2 输入法音字转换的表现 |
| 5.2.2.1 平滑算法对音字转换表现的提升 |
| 5.2.2.2 GPT-2语言模型对音字转换表现的提升 |
| 5.2.2.3 英文翻译对音字转换表现的提升 |
| 5.2.3 拼音聊天机器PCM的表现 |
| 5.3 SeeIME输入法真实环境下的使用 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 工作总结 |
| 6.2 研究展望 |
| 致谢 |
| 参考文献 |
| 附录 作者在读期间发表的学术论文及参加的科研项目 |
（3）中文文本的词语纠错方法研究（论文提纲范文）
| 摘要 |
| Abstract |
| 1 绪论 |
| 1.1 课题背景和意义 |
| 1.2 国内外研究现状分析 |
| 1.2.1 英文纠错研究现状 |
| 1.2.2 中文纠错研究现状 |
| 1.3 本文主要工作及研究框架 |
| 1.3.1 主要工作 |
| 1.3.2 研究框架 |
| 2 相关原理阐述与技术介绍 |
| 2.1 中文文本错误分类 |
| 2.2 中文分词 |
| 2.3 语言模型 |
| 2.3.1 语言模型分类 |
| 2.3.2 数据平滑 |
| 2.4 序列标注 |
| 2.4.1 词向量化 |
| 2.4.2 CRF模型在序列标注中的应用 |
| 2.5 本章小结 |
| 3 基于N-gram的中文拼写纠错组合模型设计 |
| 3.1 问题描述 |
| 3.2 N-gram模型概述 |
| 3.3 N值的选定 |
| 3.4 基于N-gram的拼写纠错组合模型设计 |
| 3.4.1 模型建立 |
| 3.4.2 数据平滑 |
| 3.4.3 动态规划 |
| 3.4.4 定义得分函数 |
| 3.5 基于N-gram的组合模型构建 |
| 3.6 实验与分析 |
| 3.6.1 实验环境 |
| 3.6.2 实验数据集 |
| 3.6.3 评测标准 |
| 3.6.4 实验结果与分析 |
| 3.6.5 实验错误分析 |
| 3.7 本章小结 |
| 4 基于BiLSTM-CRF的中文语法纠错模型设计 |
| 4.1 问题描述 |
| 4.2 BiLSTM-CRF模型介绍 |
| 4.3 基于BiLSTM-CRF的模型设计 |
| 4.3.1 嵌入层 |
| 4.3.2 BiLSTM中间层 |
| 4.3.3 CRF层 |
| 4.3.4 BiLSTM-CRF模型构建 |
| 4.4 实验与分析 |
| 4.4.1 实验环境 |
| 4.4.2 实验数据集 |
| 4.4.3 数据预处理 |
| 4.4.4 错误类型与评估 |
| 4.4.5 实验结果与分析 |
| 4.5 本章小结 |
| 5 全文总结与研究展望 |
| 5.1 全文总结 |
| 5.2 展望 |
| 参考文献 |
| 攻读硕士学位期间的主要研究成果 |
| 致谢 |
（4）基于无监督学习的思想政治教育分词系统设计与实现（论文提纲范文）
| 摘要 |
| abstract |
| 第一章 绪论 |
| 1.1 课题研究背景及意义 |
| 1.2 中文分词研究现状 |
| 1.3 论文主要研究内容 |
| 1.4 论文的组织结构 |
| 1.5 本章小结 |
| 第二章 思想政治教育分词系统需求分析 |
| 2.1 系统需求概述 |
| 2.2 需求分析 |
| 2.2.1 用户功能性需求分析 |
| 2.2.2 系统功能性需求分析 |
| 2.2.3 非功能性需求分析 |
| 2.3 系统可行性分析 |
| 2.3.1 技术可行性分析 |
| 2.3.2 经济可行性分析 |
| 2.4 本章小结 |
| 第三章 思想政治教育分词系统整体设计 |
| 3.1 系统结构设计 |
| 3.2 系统模块设计 |
| 3.2.1 语料训练模块 |
| 3.2.2 中文分词模块 |
| 3.2.3 特征提取模块 |
| 3.2.4 系统流程图 |
| 3.3 数据库设计 |
| 3.3.1 E-R图 |
| 3.3.2 数据库表设计 |
| 3.4 系统设计目标及要求 |
| 3.5 本章小结 |
| 第四章 思想政治教育中文分词算法设计与实现 |
| 4.1 引言 |
| 4.2 中文分词方法研究 |
| 4.2.1 语料库的构建 |
| 4.2.2 字级N-gram语言模型 |
| 4.2.3 训练语言模型 |
| 4.2.4 计算分词路径 |
| 4.3 中文分词优化方法研究 |
| 4.3.1 词频偏差与排序词频偏差 |
| 4.3.2 基于词频偏差的词组合并算法 |
| 4.4 算法测试 |
| 4.4.1 实验语料 |
| 4.4.2 语言模型对比测试 |
| 4.4.3 算法准确率测试 |
| 4.4.4 优化算法测试 |
| 4.5 本章小结 |
| 第五章 思想政治教育分词系统整体实现 |
| 5.1 引言 |
| 5.2 系统实现 |
| 5.2.1 系统关键功能 |
| 5.2.2 界面布局与主页导读 |
| 5.2.3 语料训练模块 |
| 5.2.4 中文分词模块 |
| 5.2.5 特征提取模块 |
| 5.3 系统测试 |
| 5.3.1 系统安全测试 |
| 5.3.2 系统功能测试 |
| 5.3.3 系统性能测试 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 总结 |
| 6.2 展望 |
| 参考文献 |
| 致谢 |
| 附录 |
（5）基于句法分析和规则联合的中文校对方法研究（论文提纲范文）
| 摘要 |
| abstract |
| 符号说明 |
| 第一章 绪论 |
| 1.1 研究背景和意义 |
| 1.2 国内外研究现状 |
| 1.2.1 国外研究现状 |
| 1.2.2 中文文本校对的研究现状 |
| 1.2.3 中英文校对研究难点比较 |
| 1.3 本文主要工作及创新点 |
| 1.3.1 主要工作 |
| 1.3.2 创新点 |
| 1.4 本文主要结构 |
| 1.5 本章小结 |
| 第二章 中文文本自动校对常见方法和模型研究 |
| 2.1 文本校对的总体类型 |
| 2.2 总体框架设计 |
| 2.3 语料库 |
| 2.3.1 语料库概述 |
| 2.3.2 语料信息缺失问题 |
| 2.4 语言建模方法研究 |
| 2.4.1 常用语言模型 |
| 2.4.2 数据平滑 |
| 2.4.3 语言模型的应用 |
| 2.5 中文文本校对模型研究 |
| 2.5.1 基于上下文语境的N-gram中文校对模型 |
| 2.5.2 基于句法分析的常用方法 |
| 2.6 语料预处理及句法建模基础准备 |
| 2.7 本文针对中文校对研究的技术路线 |
| 2.8 本章小结 |
| 第三章 基于规则模板的句法分析 |
| 3.1 规则模板库的构建 |
| 3.1.1 二元句法合成规则构建 |
| 3.1.2 三元句法合成规则构建 |
| 3.2 句法规则层次化分析 |
| 3.2.1 句法规则层次化定义及表示 |
| 3.2.2 二元词汇层次化分析合成 |
| 3.2.3 三元词汇层次化分析合成 |
| 3.3 基于规则模板的句法分析算法 |
| 3.4 实验结果及分析 |
| 3.4.1 实验数据与评测指标 |
| 3.4.2 实验设计 |
| 3.4.3 句法分析结果与分析 |
| 3.5 本章总结 |
| 第四章 基于句法分析的句式校对算法研究 |
| 4.1 基于句法分析校对概述 |
| 4.2 基于句法分析的汉语文本校对模型的总体框架 |
| 4.3 句式识别校对框架及规则模板构建 |
| 4.4 二、三元语句层次化分析模型 |
| 4.4.1 合成规则的构建 |
| 4.4.2 二、三元层次化分析 |
| 4.4.3 层次化语句分析算法描述 |
| 4.5 基于多层协调的句式识别校对算法 |
| 4.6 实验结果与分析 |
| 4.6.1 实验数据与评测指标 |
| 4.6.2 句式搭配错误检错结果与分析 |
| 4.7 本章小结 |
| 第五章 综合实验分析 |
| 5.1 校对流程和整体框架 |
| 5.2 举例测试 |
| 5.3 文本综合性能测试 |
| 5.4 本章小结 |
| 第六章 总结与展望 |
| 6.1 本文总结 |
| 6.2 未来展望 |
| 致谢 |
| 参考文献 |
| 附录A:攻读硕士学位期间参与项目及科研成果 |
| 附录B:核心程序源代码 |
（6）基于RNN的藏语语言模型的研究与实现（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 引言 |
| 1.2 研究背景及意义 |
| 1.3 国内外研究现状 |
| 1.4 论文组织结构 |
| 1.5 小结 |
| 第2章 基于传统N-gram的语言模型研究 |
| 2.1 传统N-gram语言模型 |
| 2.2 N-gram模型的参数估计 |
| 2.3 N-gram语言模型中的平滑方法研究 |
| 2.3.1 加法平滑算法 |
| 2.3.2 回退平滑算法 |
| 2.3.3 插值平滑算法 |
| 2.4 小结 |
| 第3章 神经网络语言模型研究 |
| 3.1 神经网络语言模型 |
| 3.2 RNN语言模型 |
| 3.2.1 RNN语言模型的特点 |
| 3.2.2 循环神经网络训练算法BPTT |
| 3.2.3 RNN语言模型结构 |
| 3.2.4 梯度优化 |
| 3.3 基于词向量特征的RNN语言模型 |
| 3.3.1 词向量的获取 |
| 3.3.2 词向量模型 |
| 3.4 LSTM |
| 3.5 小结 |
| 第4章 RNN藏语语言模型实现及实验结果分析 |
| 4.1 环境搭建 |
| 4.2 数据准备 |
| 4.3 语言模型评测标准 |
| 4.4 语言模型实现及实验结果分析 |
| 4.4.1 N-gram模型建立实验 |
| 4.4.2 RNN语言模型训练流程 |
| 4.4.3 RNN语言模型实现及结果分析 |
| 4.5 小结 |
| 第5章 总结与展望 |
| 5.1 总结 |
| 5.2 展望 |
| 参考文献 |
| 致谢 |
（7）中文拼写检错和纠错算法的优化及实现（论文提纲范文）
| 摘要 |
| ABSTRACT |
| 1 绪论 |
| 1.1 研究背景与意义 |
| 1.2 英文拼写纠错研究现状 |
| 1.3 中英文之间的差别 |
| 1.4 中文拼写纠错研究现状 |
| 1.5 本文的主要工作 |
| 1.6 章节安排 |
| 2 相关技术原理 |
| 2.1 中文分词 |
| 2.2 N元语言模型 |
| 2.3 噪声信道模型 |
| 2.4 本章小结 |
| 3 中文拼写检错算法的优化及实现 |
| 3.1 基于N元匹配的检错算法 |
| 3.2 基于N元匹配检错算法的优化 |
| 3.3 基于NMWS的检错算法的原理 |
| 3.4 基于NMWS的检错算法的设计 |
| 3.5 基于NMWS的检错算法的实现 |
| 3.6 实验和分析 |
| 3.7 本章小结 |
| 4 中文拼写纠错算法的优化及实现 |
| 4.1 中文拼写纠错的应用 |
| 4.2 基于N元模型的纠错算法 |
| 4.3 基于N元模型纠错算法的优化 |
| 4.4 基于NCMW纠错算法的原理 |
| 4.5 基于NCMW纠错算法的设计 |
| 4.6 基于NCMW纠错算法的实现 |
| 4.7 实验和分析 |
| 4.8 本章小结 |
| 5 总结与展望 |
| 5.1 全文总结 |
| 5.2 展望 |
| 致谢 |
| 参考文献 |
（8）垂直搜索引擎联合排序相关理论与关键技术研究（论文提纲范文）
| 摘要 |
| abstract |
| 第1章 绪论 |
| 1.1 课题来源 |
| 1.2 研究背景及意义 |
| 1.3 搜索引擎相关技术 |
| 1.3.1 技术原理 |
| 1.3.2 发展历程 |
| 1.3.3 技术架构 |
| 1.4 国内外研究现状 |
| 1.4.1 农业信息检索推荐技术 |
| 1.4.2 页面内容相关度判断 |
| 1.4.3 超链接预测分析算法 |
| 1.4.4 用户查询行为方面 |
| 1.4.5 排序结果联合问题 |
| 1.5 本文研究内容及组织结构 |
| 第2章 基于内容相关度的检索模型研究 |
| 2.1 二元独立模型 |
| 2.1.1 相关性计算 |
| 2.1.2 问题发现 |
| 2.2 基于DOCVIEW模型的不同域相关度计算 |
| 2.2.1 DocView模型 |
| 2.2.2 特征要素提取 |
| 2.3 基于互信息的统计语言模型特征构造 |
| 2.3.1 N-Gram模型 |
| 2.3.2 统计语言模型的数据稀疏问题 |
| 2.3.3 互信息的引入 |
| 2.3.4 基于互信息的回退数据平滑策略 |
| 2.3.5 回退平滑方法优化 |
| 2.4 实验及分析 |
| 2.4.1 页面不同域特征权值综合排序性能验证 |
| 2.4.2 基于互信息的数据平滑策略的最优性验证 |
| 2.5 本章小结 |
| 第3章 基于非悬虚节点再分类的PAGERANK算法优化 |
| 3.1 链接分析算法之间的关系 |
| 3.2 PAGERANK算法解析 |
| 3.3 存在问题 |
| 3.4 调整悬虚节点算法和WEB块结构 |
| 3.4.1 PageRank算法的基本模型 |
| 3.4.2 调整悬虚节点算法 |
| 3.4.3 Web块结构 |
| 3.5 对PAGERANK算法的改进 |
| 3.5.1 对非悬虚节点的再分类 |
| 3.5.2 网页节点分类的改进算法 |
| 3.6 算法性能分析 |
| 3.6.1 数值实例 |
| 3.6.2 实验数据 |
| 3.6.3 实验过程及结果分析 |
| 3.7 本章小结 |
| 第4章 基于查询点击图的检索推荐模型优化 |
| 4.1 搜索行为及意图 |
| 4.1.1 搜索行为 |
| 4.1.2 搜索意图 |
| 4.2 搜索行为分析 |
| 4.2.1 查询会话 |
| 4.2.2 查询点击 |
| 4.3 查询点击频数图推荐模型 |
| 4.3.1 优化模型构建 |
| 4.3.2 连接边权值重构 |
| 4.3.3 推荐算法优化 |
| 4.4 实验过程及结果分析 |
| 4.4.1 实验数据分析 |
| 4.4.2 连接边相关度对比分析 |
| 4.4.3 查询推荐算法性能对比分析 |
| 4.4.4 查询推荐算法多样化对比分析 |
| 4.5 本章小结 |
| 第5章 基于马氏链的联合排序推荐模型研究 |
| 5.1 联合排序问题及相关算法 |
| 5.1.1 问题描述 |
| 5.1.2 相关算法 |
| 5.2 联合排序问题的监督学习框架 |
| 5.2.1 监督学习框架的一般形式 |
| 5.2.2 算法扩展及转化 |
| 5.3 基于马氏链的监督学习算法 |
| 5.3.1 联合排序过程描述 |
| 5.3.2 优化问题求解 |
| 5.3.3 算法设计 |
| 5.4 实验及应用分析 |
| 5.4.1 实验数据集 |
| 5.4.2 实验过程及结果分析 |
| 5.5 本章小结 |
| 第6章 全文总结与展望 |
| 6.1 全文工作总结 |
| 6.2 工作展望 |
| 致谢 |
| 参考文献 |
| 攻读学位期间获得与学位论文相关的科研成果 |
| 1 发表论文 |
| 2 参与课题 |
| 3 获得奖励 |
| 4 发明专利 |
| 附录A 公式中字母及字符含义 |
（9）基于KL-HMM模型的命名实体识别研究（论文提纲范文）
| 中文摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 本文研究的目的和意义 |
| 1.2 中文实体识别相关研究综述 |
| 1.2.1 命名实体识别及其意义 |
| 1.2.2 中文命名实体识别的难点 |
| 1.2.3 中文命名实体识别的国内外研究现状 |
| 1.2.4 KL-HMM模型对于命名实体识别的意义 |
| 1.3 论文研究内容及组织结构 |
| 第2章 命名实体识别方法综述 |
| 2.1 分词 |
| 2.1.1 汉语分词的基本问题 |
| 2.1.2 基于字符串匹配的分词方法 |
| 2.1.3 基于理解的分词方法 |
| 2.1.4 基于统计的分词方法 |
| 2.2 汉语粗切分 |
| 2.2.1 N-最短路径方法 |
| 2.2.2 基于词的n元语法模型 |
| 2.3 数据平滑 |
| 第3章 层叠HMM模型和KL-HMM模型 |
| 3.1 隐马尔可夫模型 |
| 3.1.1 HMM模型基本问题 |
| 3.1.2 HMM模型基本结构 |
| 3.2 基于层叠的HMM模型 |
| 3.2.1 层叠HMM模型 |
| 3.2.2 角色标注集 |
| 3.2.3 角色标注过程 |
| 3.2.4 角色标注解决算法 |
| 3.3 KL-HMM模型 |
| 3.3.1 KL-HMM概述 |
| 3.3.2 KL-HMM模型结构 |
| 3.3.3 KL-HMM最优解 |
| 3.4 KL-HMM模型适应性 |
| 3.4.1 L2正则化 |
| 3.4.2 L2正则化适应性分析 |
| 3.5 本章小结 |
| 第4章 实验与分析 |
| 4.1 实验设置 |
| 4.1.1 实验数据集 |
| 4.1.2 实验环境 |
| 4.1.3 评价标准 |
| 4.2 中文分词实验细节与分析 |
| 4.2.1 实验步骤 |
| 4.2.2 实验数据 |
| 4.2.3 实验数据分析 |
| 4.3 本章小结 |
| 第5章 总结与期望 |
| 5.1 概述 |
| 5.2 工作总结 |
| 5.3 工作展望 |
| 参考文献 |
| 致谢 |
（10）基于n-gram的中文文本复制检测研究（论文提纲范文）
| 摘要 |
| Abstract |
| 第1章 绪论 |
| 1.1 课题来源 |
| 1.2 研究目的与意义 |
| 1.3 概念、模型与评价指标 |
| 1.3.1 文本复制检测的概念与模型 |
| 1.3.2 评价指标 |
| 1.4 国内外研究进展 |
| 1.4.1 非自然语言文本复制检测 |
| 1.4.2 自然语言文本复制检测 |
| 1.5 本文主要工作 |
| 1.6 论文结构 |
| 第2章 N-gram与中文信息处理 |
| 2.1 N-gram语言模型 |
| 2.1.1 模型简述 |
| 2.1.2 齐普夫定律 |
| 2.1.3 平滑方法 |
| 2.2 中文自然语言处理简介 |
| 2.2.1 中文处理的特点 |
| 2.2.2 中文分词 |
| 2.2.3 词义描述 |
| 2.3 文本索引 |
| 2.3.1 倒排索引 |
| 2.3.2 后缀数组 |
| 2.4 小结 |
| 第3章 任意长度中文n-gram频率统计方法 |
| 3.1 引言 |
| 3.2 基于汉字的二级索引 |
| 3.2.1 汉字映射及地址编码 |
| 3.2.2 基于2-gram的二级倒排索引 |
| 3.3 N-gram频率统计 |
| 3.3.1 频率统计方案 |
| 3.3.2 统计算法 |
| 3.4 实验与性能分析 |
| 3.4.1 空间效率与实验分析 |
| 3.4.2 时间复杂度分析 |
| 3.5 小结 |
| 第4章 基于Ferret的中文n-gram长度选取 |
| 4.1 引言 |
| 4.2 最佳片段长度 |
| 4.2.1 检测单位的选取 |
| 4.2.2 流程与算法 |
| 4.2.3 实验与分析 |
| 4.3 Ferret算法的改进 |
| 4.3.1 权值计算 |
| 4.3.2 基于中心距离的重叠度计算方法 |
| 4.3.3 算法实现 |
| 4.4 实验与分析 |
| 4.4.1 参数取值 |
| 4.4.2 N取值与排序结果 |
| 4.5 小结 |
| 第5章 基于同义词替换的复制检测方法 |
| 5.1 引言 |
| 5.2 真实语言环境下的同义词扩展 |
| 5.2.1 bigram同义词扩展 |
| 5.2.2 基于语料库的bigram过滤 |
| 5.3 同义词扩展检测 |
| 5.3.1 扩展目标的选取 |
| 5.3.2 重叠度计算 |
| 5.4 实验与分析 |
| 5.4.1 实验数据构建 |
| 5.4.2 同义词扩展统计 |
| 5.4.3 性能分析 |
| 5.5 小结 |
| 第6章 基于词性序列与低频片段的文本指纹 |
| 6.1 引言 |
| 6.2 词性序列与文本指纹 |
| 6.2.1 词性标注与词性序列 |
| 6.2.2 基于句子的文本指纹 |
| 6.3 检测算法 |
| 6.3.1 指纹生成流程 |
| 6.3.2 哈希值存储结构 |
| 6.3.3 算法实现 |
| 6.4 实验与分析 |
| 6.4.1 测试集的构建 |
| 6.4.2 检测结果 |
| 6.5 小结 |
| 结论 |
| 参考文献 |
| 附录A 攻读学位期间所撰写的学术论文目录 |
| 附录B 攻读学位期间所参与的研究项目 |
| 致谢 |
四、Katz平滑算法在中文分词系统中的应用（论文参考文献）
- [1]基于铁路车务语境的语音识别后文本处理研究[D]. 王琼. 兰州交通大学, 2020
- [2]面向非汉语母语中文学习者的拼音输入法研究[D]. 姚健. 杭州电子科技大学, 2020(04)
- [3]中文文本的词语纠错方法研究[D]. 张蕾. 江西财经大学, 2020(12)
- [4]基于无监督学习的思想政治教育分词系统设计与实现[D]. 臧文经. 济南大学, 2020(01)
- [5]基于句法分析和规则联合的中文校对方法研究[D]. 贾继康. 昆明理工大学, 2020(05)
- [6]基于RNN的藏语语言模型的研究与实现[D]. 杨宁. 西北民族大学, 2019(02)
- [7]中文拼写检错和纠错算法的优化及实现[D]. 张松磊. 华中科技大学, 2019(05)
- [8]垂直搜索引擎联合排序相关理论与关键技术研究[D]. 贾海龙. 武汉理工大学, 2018(07)
- [9]基于KL-HMM模型的命名实体识别研究[D]. 贾弼然. 东北大学, 2018(02)
- [10]基于n-gram的中文文本复制检测研究[D]. 张伟. 湖南大学, 2014(03)