# 使用正则统计英文文章中的高频词汇
# 1 需求分析
某英语老师需要统计完型填空、阅读理解等题型中出现的高频词汇,将这些词汇整理后让学生加强学习与记忆。
(1)只统计英文词汇,文章中的中文需要剔除;
(2)统计出高频的词汇及出现次数;
(3)按出现频率从高到低的顺序给出有限的结果。
# 2 处理过程
(1)从文本文件读入文章,放到内存中等待处理;
(2)使用正则匹配中英文单词,不包含中文和其它特殊字符;
(3)将匹配出的单词存起来,并统计出现次数;
(4)按出现次数从高到低进行排序;
(5)取前N个结果;
# 3 代码实现
public class WordCounter {
//储存次数的Map
private static Map<String, Integer> countMap = Maps.newHashMap();
//正则匹配
private static String regex = "[a-zA-Z]+";
private static Pattern pattern = Pattern.compile(regex);
//总个数
private static int sumCount = 0;
public static void main(String[] args) throws IOException {
//文件:包含要处理的文章
String filePath = "C:\\input2.txt";
//使用Gavua的库读取文件,返回所有行
List<String> lines = Files.readLines(new File(filePath), Charset.forName("UTF-8"));
//遍历处理所有行
lines.forEach(WordCounter::processLine);
//排序,取前20个结果
countMap.entrySet().stream()
.sorted(Comparator.comparing(Map.Entry::getValue, Comparator.reverseOrder()))
.limit(20)
.forEach(
entry -> System.out.println(entry.getKey() + "\t" + entry.getValue())
);
// 单词总数
System.out.println("Total:" + sumCount);
}
//处理一行字符串
private static void processLine(String line) {
Matcher matcher = pattern.matcher(line);
while (matcher.find()) {
sumCount++;
String word = matcher.group();
//取单词小写,大小写不区分统计
word = word.toLowerCase();
//如果Map中没有,则表示第一次出现;有则次数加1
if (null == countMap.get(word)) {
countMap.put(word, 1);
} else {
int count = countMap.get(word);
countMap.put(word, count + 1);
}
}
}
}
# 4 结果展示
本次例子选取了三篇演讲,并且文章中有中文和英文:
Emma Watson: Gender equality is your issue too
Martin Luther King: I have a dream
Obama: This is your victory
统计后前20个单词如下:
# 5 总结
本文实例主要实现了读取文件,并处理英文词频的问题。仍然有很多问题需要考虑,如考题会出现很多单独字母A、B、C、D,则需要正则把它们剔除;如果文件太大,则不能load入内存再处理;扩展成多线程来处理等。