去除重复文本，我想不用多说了吧，比如采集邮箱等数据，难免会遇到重复的，这时就需要过滤重复的了、、还有其他各种需要去除重复文本的需要。