学习NLP的第10天——文章关键词提取：词频统计

学习NLP的第10天——文章关键词提取：词频统计

2024-11-03 19:11

关键词提取是词语颗粒度的信息抽取的一种重要的需求，即提取文章中重要的词语。

关键词提取的常用方法包括词频统计、TF-IDF和TextRank等。

其中，词频和TextRank属于单文档算法，即只需一篇文章即可提取出其中的关键词；而TF-IDF则属于多文档宣发，需要其他文档的辅助来提取当前文章的关键词。

词频统计的逻辑是：在一篇文章中，越重要的关键词往往会在文章中反复出现；因为为了解释关键词，作者经常会反复地提及它们。所以通过统计文章中各个词语的出现频率，即可初步地获得关键词。

但是因为齐夫定律，文章中出现频率最高的往往并不是长度较长的关键词，而是标点符号和助词等，因此在词频统计之前还需要先进行停用词过滤。

齐夫定律：一个单词的词频与它的词频排名成反比。

由此，词频统计的流程通常是中文分词、停用词过滤、词频统计。依据以上逻辑，我在Python中实现以下词频统计。（以《红楼梦·桃花行》节选为例）

其中load_from_words和remove_stopwords_termlist在之前（第7天）的学习中已经掌握。

HanLP中封装了TermFrequencyCounter类用来统计文档的词频，接着我们使用这个类实现词频统计。

可以看到，整体结果是相近的，HanLP去除了更多的停用词，包括“人”、“内”以及标点符号等。

用词频提取关键词存在一个缺陷，就是即使使用过滤停用词以后，高频词也并与关键词完全等价。例如在分析一个明星的相关新闻时，明星名字的出现频率可能是最高的，但是在我们希望找到每一篇文章各自的特点，而不是文章的共性，此时，我们就需要引入TF-IDF等关键词提取方法。

学习参考文献：《自然语言处理入门》(何晗)：9.2.1