来源：Be_melting

blog.csdn.net/lys_828/article/details/106489371

【导语】：还在为日常工作中不同的数据集的字段进行匹配烦恼？今天跟大家分享FuzzyWuzzy一个简单易用的模糊字符串匹配工具包。让你多快好省的解决烦恼的匹配问题！

1. 前言

在处理数据的过程中，难免会遇到下面类似的场景，自己手里头获得的是简化版的数据字段，但是要比对的或者要合并的却是完整版的数据（有时候也会反过来）

最常见的一个例子就是：在进行地理可视化中，自己收集的数据只保留的缩写，比如北京，广西，新疆，西藏等，但是待匹配的字段数据却是北京市，广西壮族自治区，新疆维吾尔自治区，西藏自治区等，如下。因此就需要有没有一种方式可以很快速便捷的直接进行对应字段的匹配并将结果单独生成一列，就可以用到FuzzyWuzzy库。

2. FuzzyWuzzy库介绍

FuzzyWuzzy 是一个简单易用的模糊字符串匹配工具包。它依据 Levenshtein Distance 算法，计算两个序列之间的差异。

Levenshtein Distance算法，又叫 Edit Distance算法，是指两个字符串之间，由一个转成另一个所需的最少编辑操作次数。许可的编辑操作包括将一个字符替换成另一个字符，插入一个字符，删除一个字符。一般来说，编辑距离越小，两个串的相似度越大。

这里使用的是Anaconda下的jupyter notebook编程环境，因此在Anaconda的命令行中输入一下指令进行第三方库安装。

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple FuzzyWuzzy

2.1 fuzz模块

该模块下主要介绍四个函数（方法），分别为：简单匹配（Ratio）、非完全匹配（Partial Ratio）、忽略顺序匹配（Token Sort Ratio）和去重子集匹配（Token Set Ratio）

注意： 如果直接导入这个模块的话，系统会提示warning，当然这不代表报错，程序依旧可以运行（使用的默认算法，执行速度较慢），可以按照系统的提示安装python-Levenshtein库进行辅助，这有利于提高计算的速度。

2.1.1 简单匹配（Ratio）

简单的了解一下就行，这个不怎么精确，也不常用

fuzz.ratio("河南省", "河南省")>>> 100>fuzz.ratio("河南", "河南省")>>> 80

2.1.2 非完全匹配（Partial Ratio）

尽量使用非完全匹配，精度较高

fuzz.partial_ratio("河南省", "河南省")>>> 100
fuzz.partial_ratio("河南", "河南省")>>> 100

2.1.3 忽略顺序匹配（Token Sort Ratio）

原理在于：以 空格 为分隔符，小写 化所有字母，无视空格外的其它标点符号

fuzz.ratio("西藏 自治区", "自治区 西藏")>>> 50fuzz.ratio('I love YOU','YOU LOVE I')>>> 30
fuzz.token_sort_ratio("西藏 自治区", "自治区 西藏") >>> 100fuzz.token_sort_ratio('I love YOU','YOU LOVE I') >>> 100

2.1.4 去重子集匹配（Token Set Ratio）

相当于比对之前有一个集合去重的过程，注意最后两个，可理解为该方法是在token_sort_ratio方法的基础上添加了集合去重的功能，下面三个匹配的都是倒序

fuzz.ratio("西藏 西藏 自治区", "自治区 西藏")>>> 40
fuzz.token_sort_ratio("西藏 西藏 自治区", "自治区 西藏")>>> 80
fuzz.token_set_ratio("西藏 西藏 自治区", "自治区 西藏")>>> 100

fuzz这几个ratio()函数（方法）最后得到的结果都是数字，如果需要获得匹配度最高的字符串结果，还需要依旧自己的数据类型选择不同的函数，然后再进行结果提取，如果但看文本数据的匹配程度使用这种方式是可以量化的，但是对于我们要提取匹配的结果来说就不是很方便了，因此就有了process模块。

2.2 process模块

用于处理备选答案有限的情况，返回模糊匹配的字符串和相似度。

2.2.1 extract提取多条数据

类似于爬虫中select，返回的是列表，其中会包含很多匹配的数据

choices = ["河南省", "郑州市", "湖北省", "武汉市"]process.extract("郑州", choices, limit=2)>>> [('郑州市', 90), ('河南省', 0)]# extract之后的数据类型是列表，即使limit=1，最后还是列表，注意和下面extractOne的区别

2.2.2 extractOne提取一条数据

如果要提取匹配度最大的结果，可以使用extractOne，注意这里返回的是 元组 类型， 还有就是匹配度最大的结果不一定是我们想要的数据，可以通过下面的示例和两个实战应用体会一下

process.extractOne("郑州", choices)>>> ('郑州市', 90)
process.extractOne("北京", choices)>>> ('湖北省', 45)

3. 实战应用

这里举两个实战应用的小例子，第一个是公司名称字段的模糊匹配，第二个是省市字段的模糊匹配

3.1 公司名称字段模糊匹配

数据及待匹配的数据样式如下：自己获取到的数据字段的名称很简洁，并不是公司的全称，因此需要进行两个字段的合并

直接将代码封装为函数，主要是为了方便日后的调用，这里参数设置的比较详细，执行结果如下：

3.1.1 参数讲解：

① 第一个参数df_1是自己获取的欲合并的左侧数据（这里是data变量）；

② 第二个参数df_2是待匹配的欲合并的右侧数据（这里是company变量）；

③ 第三个参数key1是df_1中要处理的字段名称（这里是data变量里的‘公司名称’字段）

④ 第四个参数key2是df_2中要匹配的字段名称（这里是company变量里的‘公司名称’字段）

⑤ 第五个参数threshold是设定提取结果匹配度的标准。注意这里就是对extractOne方法的完善，提取到的最大匹配度的结果并不一定是我们需要的，所以需要设定一个阈值来评判，这个值就为90，只有是大于等于90，这个匹配结果我们才可以接受

⑥ 第六个参数，默认参数就是只返回两个匹配成功的结果

⑦ 返回值：为df_1添加‘matches’字段后的新的DataFrame数据

3.1.2 核心代码讲解

第一部分代码如下，可以参考上面讲解process.extract方法，这里就是直接使用，所以返回的结果m就是列表中嵌套元祖的数据格式，样式为: [(‘郑州市’, 90), (‘河南省’, 0)]，因此第一次写入到’matches’字段中的数据也就是这种格式

注意，注意： 元祖中的第一个是匹配成功的字符串，第二个就是设置的threshold参数比对的数字对象

s = df_2[key2].tolist()m = df_1[key1].apply(lambda x: process.extract(x, s, limit=limit))    df_1['matches'] = m

第二部分的核心代码如下，有了上面的梳理，明确了‘matches’字段中的数据类型，然后就是进行数据的提取了，需要处理的部分有两点需要注意的：

① 提取匹配成功的字符串，并对阈值小于90的数据填充空值

② 最后把数据添加到‘matches’字段

m2 = df_1['matches'].apply(lambda x: [i[0] for i in x if i[1] >= threshold][0] if len([i[0] for i in x if i[1] >= threshold]) > 0 else '')#要理解第一个‘matches’字段返回的数据类型是什么样子的，就不难理解这行代码了#参考一下这个格式：[('郑州市', 90), ('河南省', 0)]df_1['matches'] = m2
return df_1

3.2 省份字段模糊匹配

自己的数据和待匹配的数据背景介绍中已经有图片显示了，上面也已经封装了模糊匹配的函数，这里直接调用上面的函数，输入相应的参数即可，代码以及执行结果如下：

数据处理完成，经过封装后的函数可以直接放在自己自定义的模块名文件下面，以后可以方便直接导入函数名即可，可以参考将自定义常用的一些函数封装成可以直接调用的模块方法。

4. 全部函数代码

#模糊匹配
def fuzzy_merge(df_1, df_2, key1, key2, threshold=90, limit=2):    """    :param df_1: the left table to join    :param df_2: the right table to join    :param key1: key column of the left table    :param key2: key column of the right table    :param threshold: how close the matches should be to return a match, based on Levenshtein distance    :param limit: the amount of matches that will get returned, these are sorted high to low    :return: dataframe with boths keys and matches    """    s = df_2[key2].tolist()
    m = df_1[key1].apply(lambda x: process.extract(x, s, limit=limit))        df_1['matches'] = m
    m2 = df_1['matches'].apply(lambda x: [i[0] for i in x if i[1] >= threshold][0] if len([i[0] for i in x if i[1] >= threshold]) > 0 else '')    df_1['matches'] = m2
    return df_1    from fuzzywuzzy import fuzzfrom fuzzywuzzy import process
df = fuzzy_merge(data, company, '公司名称', '公司名称', threshold=90)df

转自：https://mp.weixin.qq.com/s/NU7cHq0nMDzcRHkjI2eEZg

代码补全在开发过程中是非常必要的能力，我们最常用的是 IDE 自带的代码补全功能，但问题在于，IDE 并不能理解我们的代码，推荐总是不那么准确。

今天笔者介绍一个国产代码补全神器 aiXcoder，它现在的离线版已经支持 Java 和 Python 了。对比 PyCharm 原生代码补全体验，它的效果实在是太好了。

图注：aiXcoder 代码补全实测，整行代码预测用起来特别炫酷，整体上比 IDE 的预测准很多

PyCharm IDE 对比 aiXcoder

如果装上 aiXcoder，PyCharm 上的补全效果提升还是挺明显的，但是为了更直观地展示出来，我们可以统计编写同一段代码，敲键数到底有什么不同。

就下面这一段代码，笔者用 PyCharm IDE 的原生推荐，一共敲击了 96 个字符，其中字符串还没计算在内。

如果安装上了 aiXcoder，效果就像文章前面的动图，总共只需要敲击 36个字符（字符串不计入），效果提升特别明显。

至于为什么能节省这么多功夫，看看aiXcoder下面两个预测就知道了。

一次性将变量名、API、参数传入都帮我们写好了，直接预测整行代码：

整个列表推导式的内部逻辑，一次性都预测好了，只要填上参数：

本地补全引擎：确保代码安全

之前笔者也用过代码补全插件，但是它们大部分都要上传代码到服务器，这就比较劝退了。不过 aiXcoder最新发布的 2.5 本地版，完全在本地计算机上运行，不会上传任何代码。

为了验证是不是全部计算都在本地完成，我特意关闭了网络连接，看看它对同一段代码的预测是不是正常，结果是，关不关网络连接，预测都是一样的。

另外，在笔记本上用，我还是比较在意性能的，在测试插件的时候，特别关注了它消耗的计算资源。打开进程管理器，一边写一边观察 CPU 占比。基本键入代码的过程中 CPU 占比在10%吧，停止键入很快就降到0了。

虽然代码预测都放到本地了，但是 aiXcoder提供了下面这种滚动条，来平衡「补全能力」和「计算性能」之间的关系。试了一下，越靠近「Faster」，表示会尽快返回预测结果；越靠近「Longer」，表示插件将反馈更好的预测结果。

插件市场，安装便捷

aiXcoder 2.5 目前支持 Java 和 Python，它们都可以在 JetBrains 市场上直接下载与安装。即在 IntelliJ IDEA 的市场上，可直接下载 aiXcoder用于 Java 代码补全。同理在 PyCharm 市场上，也可以直接下载 aiXcoder用于 Python 代码补全。

在 PyCharm 上，下面三步即可完成安装：

与之前一样，Python 插件安装后，它会自动下载服务端，只需要等十几秒，就能快速用上。反正笔者已经愉快地用上了，小伙伴们也来试试呀。

最后，更多语言与 IDE 支持可查阅下载页面：

https://www.aixcoder.com/#/Download

转自：https://mp.weixin.qq.com/s/MNK0I6xKJ837S6w2CrZ0gA