公众号关注“GitHubDaily”

设为“星标”，每天带你逛GitHub！

作者|黄伟呢来源|凹凸数据

大家好，我是黄同学

交流群预热好久的可视化交互大屏来啦

一、项目背景

 随着科技的飞速发展，数据呈现爆发式的增长，任何人都摆脱不了与数据打交道，社会对于“数据”方面的人才需求也在不断增大。因此了解当下企业究竟需要招聘什么样的人才？需要什么样的技能？不管是对于在校生，还是对于求职者来说，都显得很有必要。

 本文基于这个问题，针对51job招聘网站，爬取了全国范围内大数据、数据分析、数据挖掘、机器学习、人工智能等相关岗位的招聘信息。

分析比较了不同岗位的薪资、学历要求；分析比较了不同区域、行业对相关人才的需求情况；分析比较了不同岗位的知识、技能要求等。

二、效果展示

 本次数据分析的特点在于：使用Tableau将数据分析的结果做成可视化交互大屏，效果如下：

三、爬取数据

1.

基于51job招聘网站，我们搜索全国对于“数据”岗位的需求，大概有2000页。

爬取岗位：大数据、数据分析、机器学习、人工智能等相关岗位。

爬取字段：公司名、岗位名、工作地址、薪资、发布时间、工作描述、公司类型、员工人数、所属行业。

我们爬取的字段，既有一级页面的相关信息，还有二级页面的部分信息，大概爬取思路为：先针对某一页数据的一级页面做一个解析，然后再进行二级页面做一个解析，最后再进行翻页操作。

使用工具：Python+requests+lxml+pandas+time+Xpath

1.导入相关库

importrequestsimportpandasaspdfrompprintimportpprintfromlxmlimportetreeimporttimeimportwarningswarnings.filterwarnings("ignore")2.关于翻页的说明

#第一页的特点https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE,2,1.html?#第二页的特点https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE,2,2.html?#第三页的特点https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE,2,3.html?注意：通过对于页面的观察，可以看出，就一个地方的数字变化了，因此只需要做字符串拼接，然后循环爬取即可。

3.完整的爬取代码

importrequestsimportpandasaspdfrompprintimportpprintfromlxmlimportetreeimporttimeimportwarningswarnings.filterwarnings("ignore")foriinrange(1,1501):print("正在爬取第"+str(i)+"页的数据")url_pre"https://search.51job.com/list/000000,000000,0000,00,9,99,%25E6%2595%25B0%25E6%258D%25AE,2,"url_end".html?"urlurl_pre+str(i)+url_endheaders{'User-Agent':'Mozilla/5.0(WindowsNT10.0;Win64;x64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.86Safari/537.36'}webrequests.get(url,headersheaders)web.encoding"gbk"dometree.HTML(web.text)#1、岗位名称job_namedom.xpath('//div[@class"dw_table"]/div[@class"el"]//p/span/a[@target"_blank"]/@title')#2、公司名称company_namedom.xpath('//div[@class"dw_table"]/div[@class"el"]/span[@class"t2"]/a[@target"_blank"]/@title')#3、工作地点addressdom.xpath('//div[@class"dw_table"]/div[@class"el"]/span[@class"t3"]/text()')#4、工资salary_middom.xpath('//div[@class"dw_table"]/div[@class"el"]/span[@class"t4"]')salary[i.textforiinsalary_mid]#5、发布日期release_timedom.xpath('//div[@class"dw_table"]/div[@class"el"]/span[@class"t5"]/text()')#6、获取二级网址urldeep_urldom.xpath('//div[@class"dw_table"]/div[@class"el"]//p/span/a[@target"_blank"]/@href')RandomAll[]JobDescribe[]CompanyType[]CompanySize[]Industry[]foriinrange(len(deep_url)):web_testrequests.get(deep_url[i],headersheaders)web_test.encoding"gbk"dom_testetree.HTML(web_test.text)#7、爬取经验、学历信息，先合在一个字段里面，以后再做数据清洗。命名为random_allrandom_alldom_test.xpath('//div[@class"tHeadertHjob"]//div[@class"cn"]/p[@class"msgltype"]/text()')#8、岗位描述性息job_describedom_test.xpath('//div[@class"tBorderTop_box"]//div[@class"bmsgjob_msginbox"]/p/text()')#9、公司类型company_typedom_test.xpath('//div[@class"tCompany_sidebar"]//div[@class"com_tag"]/p[1]/@title')#10、公司规模(人数)company_sizedom_test.xpath('//div[@class"tCompany_sidebar"]//div[@class"com_tag"]/p[2]/@title')#11、所属行业(公司)industrydom_test.xpath('//div[@class"tCompany_sidebar"]//div[@class"com_tag"]/p[3]/@title')#将上述信息保存到各自的列表中RandomAll.append(random_all)JobDescribe.append(job_describe)CompanyType.append(company_type)CompanySize.append(company_size)Industry.append(industry)#为了反爬，设置睡眠时间time.sleep(1)#由于我们需要爬取很多页，为了防止最后一次性保存所有数据出现的错误，因此，我们每获取一夜的数据，就进行一次数据存取。dfpd.DataFrame()df["岗位名称"]job_namedf["公司名称"]company_namedf["工作地点"]addressdf["工资"]salarydf["发布日期"]release_timedf["经验、学历"]RandomAlldf["公司类型"]CompanyTypedf["公司规模"]CompanySizedf["所属行业"]Industrydf["岗位描述"]JobDescribe#这里在写出过程中，有可能会写入失败，为了解决这个问题，我们使用异常处理。try:df.to_csv("job_info.csv",mode"a+",headerNone,indexNone,encoding"gbk")except:print("当页数据写入失败")time.sleep(1)print("数据爬取完毕，是不是很开心！！！")这里可以看到，我们爬取了1000多页的数据做最终的分析。因此每爬取一页的数据，做一次数据存储，避免最终一次性存储导致失败。同时根据自己的测试，有一些页数进行数据存储，会导致失败，为了不影响后面代码的执行，我们使用了“try-except”异常处理。

 在一级页面中，我们爬取了“岗位名称”，“公司名称”，“工作地点”，“工资”，“发布日期”，“二级网址的url”这几个字段。

 在二级页面中，我们爬取了“经验、学历信息”，“岗位描述”，“公司类型”，“公司规模”，“所属行业”这几个字段。

四、数据预处理

 从爬取到的数据中截取部分做了一个展示，可以看出数据很乱。

杂乱的数据并不利于我们的分析，因此需要根据研究的目标做一个数据预处理，得到我们最终可以用来做可视化展示的数据。

1.相关库的导入及数据的读取

dfpd.read_csv(r"G:8泰迪python_project51_jobjob_info1.csv",engine"python",headerNone)#为数据框指定行索引df.indexrange(len(df))#为数据框指定列索引df.columns["岗位名","公司名","工作地点","工资","发布日期","经验与学历","公司类型","公司规模","行业","工作描述"]2.数据去重

我们认为一个公司的公司名和和发布的岗位名一致，就看作是重复值。因此，使用drop_duplicates(subset[])函数，基于“岗位名”和“公司名”做一个重复值的剔除。

#去重之前的记录数print("去重之前的记录数",df.shape)#记录去重df.drop_duplicates(subset["公司名","岗位名"],inplaceTrue)#去重之后的记录数print("去重之后的记录数",df.shape)3.岗位名字段的处理

1）岗位名字段的探索

df["岗位名"].value_counts()df["岗位名"]df["岗位名"].apply(lambdax:x.lower())首先我们对每个岗位出现的频次做一个统计，可以看出“岗位名字段”太杂乱，不便于我们做统计分析。接着我们将岗位名中的大写英文字母统一转换为小写字母，也就是说“AI”和“Ai”属于同一个东西。

2）构造想要分析的目标岗位，做一个数据筛选

job_info.shapetarget_job['算法','开发','分析','工程师','数据','运营','运维']index[df["岗位名"].str.count(i)foriintarget_job]indexnp.array(index).sum(axis0)0job_infodf[index]job_info.shape首先我们构造了如上七个目标岗位的关键字眼。然后利用count()函数统计每一条记录中，是否包含这七个关键字眼，如果包含就保留这个字段；不过不包含就删除这个字段，最后查看筛选之后还剩余多少条记录。

3）目标岗位标准化处理

由于目标岗位太杂乱，我们需要统一一下

job_list['数据分析',"数据统计","数据专员",'数据挖掘','算法','大数据','开发工程师','运营','软件工程','前端开发','深度学习','ai','数据库','数据库','数据产品','客服','java','.net','andrio','人工智能','c++','数据管理',"测试","运维"]job_listnp.array(job_list)defrename(xNone,job_listjob_list):index[iinxforiinjob_list]ifsum(index)0:returnjob_list[index][0]else:returnxjob_info["岗位名"]job_info["岗位名"].apply(rename)job_info["岗位名"].value_counts()#数据统计、数据专员、数据分析统一归为数据分析job_info["岗位名"]job_info["岗位名"].apply(lambdax:re.sub("数据专员","数据分析",x))job_info["岗位名"]job_info["岗位名"].apply(lambdax:re.sub("数据统计","数据分析",x))首先我们定义了一个想要替换的目标岗位job_list，将其转换为ndarray数组。然后定义一个函数，如果某条记录包含job_list数组中的某个关键词，那么就将该条记录替换为这个关键词，如果某条记录包含job_list数组中的多个关键词，我们只取第一个关键词替换该条记录。接着使用value_counts()函数统计一下替换后的各岗位的频次。最后，我们将“数据专员”、“数据统计”统一归为“数据分析”。

4.工资水平字段的处理

工资水平字段的数据类似于“20-30万/年”、“2.5-3万/月”和“3.5-4.5千/月”这样的格式。我们需要做一个统一的变化，将数据格式转换为“元/月”，然后取出这两个数字，求一个平均值。

job_info["工资"].str[-1].value_counts()job_info["工资"].str[-3].value_counts()index1job_info["工资"].str[-1].isin(["年","月"])index2job_info["工资"].str[-3].isin(["万","千"])job_infojob_info[index1index2]defget_money_max_min(x):try:ifx[-3]"万":z[float(i)*10000foriinre.findall("[0-9]+.?[0-9]*",x)]elifx[-3]"千":z[float(i)*1000foriinre.findall("[0-9]+.?[0-9]*",x)]ifx[-1]"年":z[i/12foriinz]returnzexcept:returnxsalaryjob_info["工资"].apply(get_money_max_min)job_info["最低工资"]salary.str[0]job_info["最高工资"]salary.str[1]job_info["工资水平"]job_info[["最低工资","最高工资"]].mean(axis1)首先我们做了一个数据筛选，针对于每一条记录，如果最后一个字在“年”和“月”中，同时第三个字在“万”和“千”中，那么就保留这条记录，否则就删除。接着定义了一个函数，将格式统一转换为“元/月”。最后将最低工资和最高工资求平均值，得到最终的“工资水平”字段。

5.工作地点字段的处理

由于整个数据是关于全国的数据，涉及到的城市也是特别多。我们需要自定义一个常用的目标工作地点字段，对数据做一个统一处理。

#job_info["工作地点"].value_counts()address_list['北京','上海','广州','深圳','杭州','苏州','长沙','武汉','天津','成都','西安','东莞','合肥','佛山','宁波','南京','重庆','长春','郑州','常州','福州','沈阳','济南','宁波','厦门','贵州','珠海','青岛','中山','大连','昆山',"惠州","哈尔滨","昆明","南昌","无锡"]address_listnp.array(address_list)defrename(xNone,address_listaddress_list):index[iinxforiinaddress_list]ifsum(index)0:returnaddress_list[index][0]else:returnxjob_info["工作地点"]job_info["工作地点"].apply(rename)首先我们定义了一个目标工作地点列表，将其转换为ndarray数组。接着定义了一个函数，将原始工作地点记录，替换为目标工作地点中的城市。

6.公司类型字段的处理

这个很容易，就不详细说明了。

job_info.loc[job_info["公司类型"].apply(lambdax:len(x)6),"公司类型"]np.nanjob_info["公司类型"]job_info["公司类型"].str[2:-2]7.行业字段的处理

每个公司的行业字段可能会有多个行业标签，但是我们默认以第一个作为该公司的行业标签。

#job_info["行业"].value_counts()job_info["行业"]job_info["行业"].apply(lambdax:re.sub(",","/",x))job_info.loc[job_info["行业"].apply(lambdax:len(x)6),"行业"]np.nanjob_info["行业"]job_info["行业"].str[2:-2].str.split("/").str[0]8.经验与学历字段的处理

关于这个字段的数据处理，我很是思考了一会儿，不太好叙述，放上代码自己下去体会。

job_info["学历"]job_info["经验与学历"].apply(lambdax:re.findall("本科|大专|应届生|在校生|硕士",x))deffunc(x):iflen(x)0:returnnp.naneliflen(x)1orlen(x)2:returnx[0]else:returnx[2]job_info["学历"]job_info["学历"].apply(func)9.工作描述字段的处理

对于每一行记录，我们去除停用词以后，做一个jieba分词。

withopen(r"G:8泰迪python_project51_jobstopword.txt","r")asf:stopwordf.read()stopwordstopword.split()stopwordstopword+["任职","职位",""]job_info["工作描述"]job_info["工作描述"].str[2:-2].apply(lambdax:x.lower()).apply(lambdax:"".join(x)).apply(jieba.lcut).apply(lambdax:[iforiinxifinotinstopword])job_info.loc[job_info["工作描述"].apply(lambdax:len(x)6),"工作描述"]np.nan10.公司规模字段的处理

#job_info["公司规模"].value_counts()deffunc(x):ifx"['少于50人']":return"50"elifx"['50-150人']":return"50-150"elifx"['150-500人']":return'150-500'elifx"['500-1000人']":return'500-1000'elifx"['1000-5000人']":return'1000-5000'elifx"['5000-10000人']":return'5000-10000'elifx"['10000人以上']":return"10000"else:returnnp.nanjob_info["公司规模"]job_info["公司规模"].apply(func)11.构造新数据

我们针对最终清洗干净的数据，选取需要分析的字段，做一个数据存储。

feature["公司名","岗位名","工作地点","工资水平","发布日期","学历","公司类型","公司规模","行业","工作描述"]final_dfjob_info[feature]final_df.to_excel(r"G:8泰迪python_project51_job词云图.xlsx",encoding"gbk",indexNone)五、字段的特殊处理

由于我们之后需要针对不同的岗位名做不同的词云图处理，并且是在tableau中做可视化展示，因此我们需要按照岗位名分类，求出不同岗位下各关键词的词频统计。

importnumpyasnpimportpandasaspdimportreimportjiebaimportwarningswarnings.filterwarnings("ignore")dfpd.read_excel(r"G:8泰迪python_project51_jobew_job_info1.xlsx",encoding"gbk")dfdefget_word_cloud(dataNone,job_nameNone):words[]describedata['工作描述'][data['岗位名']job_name].str[1:-1]describe.dropna(inplaceTrue)[words.extend(i.split(','))foriindescribe]wordspd.Series(words)word_frewords.value_counts()returnword_frezz['数据分析','算法','大数据','开发工程师','运营','软件工程','运维','数据库','java',"测试"]foriinzz:word_freget_word_cloud(datadf,job_name'{}'.format(i))word_freword_fre[1:].reset_index()[:100]word_fre["岗位名"]pd.Series("{}".format(i),indexrange(len(word_fre)))word_fre.to_csv(r"G:8泰迪python_project51_job词云图bb.csv",mode'a',indexFalse,headerNone,encoding"gbk")六、tableau可视化展示

1.热门城市的用人需求TOP10

2.热门城市的岗位数量TOP10

3.不同工作地点岗位数量的气泡图

4.热门岗位的薪资待遇

5.热门行业的薪资待遇

6.可视化大屏的“动态”展示

2.

这里最终就不做结论分析了，因为结论通过上图，就可以很清晰的看出来。想学习实践的同学可以下载源码自己分析哦！

3.

源码链接：https://pan.baidu.com/s/1ZF_r8FKGeYxalqvz25IQwA

4.

提取码：hbix

5.

推荐阅读：

太赞了，微软正式推出Python零基础教程！31个惊艳的数据可视化作品，让你感受"数据之美"！太赞了，IDEA2020要本土化，真的是全中文了！厚颜无耻！国内竟有人把JSON注册成自有商标！GitHub热榜：歪果小姐姐教你用纯代码画画，真细腻！