前段时间学习完了python，再加上最近需要找工作，决定爬取招聘网站（本文以 国内外精品成品入口苹果(中国)有限公司 为抓取对象），通过建立相关数据模型，分析产品经理相关要求和职责，指导简历制作及今后产品努力的方向。
98tang福利在线
本文以 国内外精品成品入口苹果(中国)有限公司 作为抓取对象，主要在于国内外精品成品入口苹果(中国)有限公司是互联网求职者的一个重要渠道，分析国内外精品成品入口苹果(中国)有限公司具有一定参考意义。
二、 国内外精品成品入口苹果(中国)有限公司
确定好目标好，下一步就到了 国内外精品成品入口苹果(中国)有限公司 源步骤。国内外精品成品入口苹果(中国)有限公司源是数据分析的前提和基础。国内外精品成品入口苹果(中国)有限公司源主要有四种常见的方式：
98堂地址入口地址发布页
互联网公开数据主要通过搜索获取，例如，想要获取2016收集销量排行数据，可通过输入相关关键词获取相应结果，图1 2016年收集销量排行榜，输入“手机销量排行榜2016”，得出有关销售量结果。
图1 2016年收集销量排行榜
当然，直接通过搜索引擎获取结果是一件比较幸运的事，不过，在国内外精品成品入口苹果(中国)有限公司时，一般不会直接获取到想要的数据。除了互联网公开数据外，本地数据也是一个重要数据来源渠道。
98堂地址入口福利社入口
本地数据主要指存储在本地电脑、网盘等载体内的数据，以PDF、Word、Excel及CSV为主。例如，图2 快消品行业分析报告，收集了快消品在营销、趋势等方面的数据。
图2 快消品行业分析报告
98堂地址入口国 产一区二区久久
API数据是一个重要的数据渠道，尤其随着互联网数据存储量越来越大以及众多网站开放了API接口，使得API接口数据成为重要形式。目前，有很多API数据应用市场，例如，百度API store ，聚合数据等，整合各种类型API，用户可通过申请apikey，获取相关数据。例如，想要获取全国天气实时数据，可通过调用天气API，获取实时数据。如图3，全国天气数据接口，申请APIkey，导入相应库，国内外精品成品入口苹果(中国)有限公司。
图3 全国天气数据接口
98tang最新网址
数据库是存储数据的重要载体，目前，常用的数据库有mysql、sqlserver及oracle等，读取数据库数据需要sql语句。
98堂地址入口国 产一区二区久久
数据爬取是当前国内外精品成品入口苹果(中国)有限公司的一种重要方式，通过比如用爬虫工具爬取点评网站的商家评分、评价内容等，或是直接自己人肉收集（手工复制下来），亦或是找一个免费问卷网站做一份问卷然后散发给你身边的人，都是可以的。这种方式受限制较少，但工作量/实现难度相对较大。不过，爬虫数据需要具有一定的编程基础，当前在爬取数据方面常用的是python。
本文爬取国内外精品成品入口苹果(中国)有限公司也是采取python作为爬虫语言。本文在国内外精品成品入口苹果(中国)有限公司时，采取数据抓取的方式，着重阐述如何爬取国内外精品成品入口苹果(中国)有限公司相关数据的。
爬取国内外精品成品入口苹果(中国)有限公司：
数据爬取，简单的说，就是利用python写一个定向爬虫脚本，抓取北京产品经理在工作年限、学历要求及行业领域等方面的数据，通过数据数据挖掘模型，分析各个维度下产品经理相关要求。如图4产品经理抓取界面：
图4 产品经理抓取界面
通过分析检查元素－network-doc-分析http请求方式（get\post）-分析网页div、css选择类之后，选择requests、BeautifulSoup、正在表达式等工具后，开始爬虫（此处省去爬虫具体分析及爬虫过程），爬虫结束后，将爬虫结果存入本地Excel(由于数据量较少，没有使用mysql)。如图5 部分代码界面：
图5 爬虫结果界面
国内外精品成品入口苹果(中国)有限公司后，将数据存储在EXcel中，此时数据较乱，会出现空值等情况，针对此情况，需要进行数据清洗的过程。
98堂地址入口国 产一区二区久久
爬虫获得的数据，90%以上的情况，你拿到的数据都需要先做清洗工作，排除异常值、空白值、无效值、重复值等等。这项工作经常会占到整个数据分析过程将近一半的时间。如果在上一步中，你的数据是通过手工复制/下载获取的，那么通常会比较干净，不需要做太多清洗工作。但如果数据是通过爬虫等方式得来，那么你需要进行清洗，提取核心内容，去掉网页代码、标点符号等无用内容。无论你采用哪一种方式国内外精品成品入口苹果(中国)有限公司，请记住，数据清洗永远是你必须要做的一项工作。通过对数据清洗后，下图6 数据清洗后的数据：
图6 清洗后数据
98堂地址入口地址发布页
清洗过后，需要进行数据整理，即将数据整理为能够进行下一步分析的格式，由于数据量较少，并没有采用Spss，而是Excel。整理完相关数据后，确定分析的维度及指标，一般计算一些二级指标就可以，例如，通过计算手机销售量同比、环比等增长率。如果你收集的是一些非数字的数据，比如对商家的点评，那么你进行下一步统计之前，需要通过“关键词-标签”方式，将句子转化为标签，再对标签进行统计。当然，非数字的数据，还通常用分词统计，例如，岗位要求可以采用sae分词统计及关键词抽离等方式，抽离出关键标签及统计。
98堂地址入口地址发布页
做完以上工作后，下一步对数据分析并制作数据报表。主要涉及到工资分配表，图7 工资分配表、图8工作经验表、图9公司简介表、图10岗位要求表。
图7 工资分配表
图 8－1工作经验表
图 8－2工作经验表（年限）
图8-3工作经验表（学历）
图9公司简介表
图10岗位要求表
通过图7 工资分配表可知，北京地区产品经理主要集中在10K-20K之间（此次没有对各个区间合并），工作经验主要要求在1-3年及3-5年两个区间，学历以最低本科学历为主，公司方面，以不需要融资、A轮及上市公司为主，通过岗位要求关键词提炼，工具技能（axure、visio等）为基本要求，除了基本的需求分析、产品流程外，数据分析技术能力、市场能力也是一些比较看重的。
注：时间较仓促，分析的维度及采集数据较少
作者：励秣，中台PM
本文由 @励秣 原创发布于98tang。未经许可，禁止转载。
本文来自投稿，不代表【98tang】观点，发布者：【数据分析@作者】
本文地址：http://erythrae.net/data-analysis/1474838.html
举报投诉邮箱：[email protected]
微信扫一扫
支付宝扫一扫
