野词云冶是由美国西北大学一位教授提出的遥 首先通过关 键词提取算法 TF-IDF 算出一个文本中出现频率较高的野关键 词冶袁然后将这些关键词整理袁用 WordCloud 等方法生成一个 由词汇组成的图形使得那些无关紧要的文本信息被过滤掉袁 这样一来浏览网页者不用阅读全文也能领略文本的主旨袁既 省时又简洁明了遥 但是词云也不是完美的袁比如遇到相同大小 的关键词很难比较袁 并且有些文章的主要内容的关键词词汇会比较 长袁这样一来词云所占的空间就比较大袁而相比之下袁该文章 内的其他短关键词就显得没那么重要了遥 有鉴于此袁我对词云 的制作生成进行了研究袁并且掌握了简单词云的制作方法遥

　　Jieba 提供两种常用的分词模式院淤精准模式院将句子最 精确地切份开袁这种分词模式适合文本分析遥 例如院野今天/天 气/很好遥 冶于全模式院把句子中所有的可以成词的词语都扫描 出来袁优点是快袁而缺点是不能解决歧义遥 例如院野今天/天天/天 气/很好冶遥

　　【摘 要】在这个快速地发展的大数据时代，各种各样的文本充斥着整个互联网，而这些文本的质量也是鱼龙混杂，如何从中提取出重要信息是

　　个很好的问题。一篇文章的主要内容主要由其关键字体现，如果我们也可以提取关键字并将其用图片的形式展示出来，那会让人一目了然，并且

　　渊2冤最大匹配法有三种院淤按照从左往右的顺序进行词表 的匹配袁即正向最大匹配法袁简称 MM曰于按照从右到左的顺 序进行匹配袁即逆向最大匹配法袁简称 RMM曰盂按照从左到 右尧从右到左的顺序进行两次匹配袁即双向最大匹配法遥

　　渊3冤基于理解的分词方法袁是通过电脑模拟人对句子的理 解而分词袁但是目前这种方法仍处于试验阶段遥

　　除歧义的前提是发现歧义遥 歧义的发现院 渊1冤双向最大匹配法院不能发现组合型歧义袁当链长为偶

　　数时袁不能发现交集型歧义遥 如院 例 1院输入院他从马上下来 MM院他/从/马上/下来 RMM院他/从/马上/下来 正确院他/从/马/上/下来 例 2院输入院原子结合成分子时 MM院原子/结合/成分/子时 RMM院原子/结合/成分/子时 正确院原子/结合/成/分子/时 渊2冤MM逆向最小匹配法院可发现组合型歧义遥 渊3冤全切分算法院可发现所有切分歧义遥 发现歧义之后有必要进行歧义的消解院淤基于记忆遥 于基于

　　中文分词过程中会遇到各种各样的歧义问题遥 歧义的类型院 渊1冤交集型歧义院字串 ABC 中袁AB尧BC尧A尧C 都是词袁则 ABC 会有 AB/C尧A/BC 两种切分方式遥 称字串 ABC 是交集型 歧义字段袁其中 B 为交集字段遥 例如字串野从小学冶袁有两种切 分方式野从小/学英语冶或野从/小学辍学冶遥 渊2冤组合型歧义院字串 AB 中袁若 AB尧A尧B 都是词袁则 AB 会有 AB尧A/B 两种切分方式袁称字串 AB 是组合型歧义字段遥 渊3冤混合型歧义院同时包含交集型歧义和组合型歧义的歧

　　中文分词[1]院为何需要对中文进行切分钥 是由任务决定的袁 如语音合成院确定正确发音袁解决轻声问题曰信息检索院正确切 词袁可提高信息检索准确率曰词语计量分析院知道汉语中最常 用的词语遥 2.1.1 中文分词方法

　　渊1冤基于字符串匹配的分词方法袁如院机械分词院将字符串 与一个预先构造好的词典中的词汇进行匹配遥

　　TF-IDF[2]院是一种用于信息检索与数据挖掘的常用加权技 术袁它是一种统计方法袁用以评估一字词对于一个文件集或一 个语料库中的其中一份文件的重要程度遥 TF 指词频渊对词数 的归一化冤袁IDF 是逆向文件频率渊权重院一个词预测主题的能 力越强袁权重越大袁反之袁权重越小曰停止词的权重为零冤遥 该算 法解决了两个问题袁 一是同一词语在在长文件里可能会比短 文件有更高的词数袁 故归一化曰 二是汉语中有一些常用的词 语袁故对每一词语都给一个权重遥

　　渊4冤基于统计的分词方法袁是利用利用机器的学习模 型来学习词语切分的规律袁 但前提是已经给出了大量经过分 词后的文本遥这样的一个过程也称为训练遥主要的统计模型有 N 元模 型袁隐马尔可夫模型等遥

　　随着现代社会持续健康发展袁语料库的规模的逐渐增大袁统计机器 学习方法的持续不断的发展袁 基于统计的中文分词方法得到了广泛 的应用遥 2.1.2 中文分词歧义

　　节省阅读的时间。“词云”就是将文章中出现频率比较高的词提取出来并以图片的形式展现，同时能过滤掉大量无用信息，使得文章阅读者只

　　要扫一眼“词云”就可以领略文章的主旨。本文将介绍提取关键词的算法并利用 python 库进行实验，提取文章的关键词并进行词云的生成展示。