来源:《电子技术应用》2019年第05期 作者:龚永罡;田润琳;廉小亲;夏天;
选择字号

基于MapReduce的三元N-gram算法的并行化研究

分享到: 分享到QQ空间

大规模语料库的训练是使用三元N-gram算法进行中文文本自动查错中一个重要的基础工作。面对新媒体平台每日高达百万篇需处理的语料信息,单一节点的三元N-gram语言模型词库的构建存在计算瓶颈。在深入研究三元N-gram算法的基础上,提出了基于MapReduce计算模型的三元N-gram并行化算法的思想。MapReduce计算模型中,将运算任务平均分配到m个节点,三元N-gram算法在Map函数部分的主要任务是计算局部字词分别与其前两个字词搭配出现的次数,Reduce函数部分的主要任务是合并Map部分统计字词搭配出现的次数,生成全局统计结果。实验结果表明,运行在Hadoop集群上的基于MapReduce的三元N-gram并行化算法具有很好的运算性和可扩展性,对于每日120亿字的训练语料数据集,集群环境下该算法得到训练结果的速率更接近于线性。(本文共计5页)       [继续阅读本文]

下载阅读本文     订阅本刊   
如何获取本文>>          如何获取本刊>> 

相关文章推荐

电子技术应用杂志2019年第05期
电子技术应用
主办:华北计算机系统工程研究所
出版:电子技术应用杂志编辑部
出版周期:月刊
出版地:北京市

本期目录