def remove_duplicates(text):
lines = text.split('\n')
unique_lines = []
for line in lines:
if not any(difflib.SequenceMatcher(None, line, l).ratio() 0.8 for l in unique_lines):
unique_lines.append(line)
return '\n'.join(unique_lines)
示例用法
text = 这是一个测试。\n这是一个测试。\n这是另一个测试。
print(remove_duplicates(text))