基于python数据爬虫实战

珀菲特企业管理 PERFECT CONSULTANT
基本信息 COURSE INFORMATION
课程名称
基于python数据爬虫实战
参加对象
管理者
授课天数
2 天
授课形式
内训
官网电话
400-008-4600,13382173255(Karen 郑老师)
公司官网
1500门公开课,2万门内训课,可登陆搜索:https://www.perfectpx.com/
课程背景 COURSE BACKGROUND

大数据时代,数据是企业的核心资产,如何从互联网获取数据是一个重要的课题。举例:
APP商城功能应推荐哪一个的产品?我们可以收集淘宝网的相应品类的品名、价格、支付人数的数据加以分析,找出受某类人群喜欢的产品。
每天早上自动收集新闻网站的新闻,根据事先设定的关键字进行匹配,将最符合的文章推送给客户或者领导。
从微博获取某一个话题的相关文章,分析网络热点。

课程定位
本课程的目标群体是需要自动化的从网络上收集数据的学员。需要学员有编程语言的经验,或者有较强的学习能力。

课程大纲 COURSE OUTLINE

一、爬虫技术的基本原理
1.网页是如何存储的
2.网页如何与浏览器互动
3.Html的基本语法
4.Javascript的动态网页技术
5.静态页和动态页的区别
6.如何使用Chrome浏览器查看网页代码
7.爬虫是如何工作的
8.可爬取得数据内容

二、静态网页数据抓取
1.获取第一个网页
2.BeautifulSoup库介绍
3.安装BeautifulSoup
4.BeautifulSoup对象的种类
a)Tag
b)Attributes
5.遍历文档树
a)父节点
b)子节点
c)前进后退
6.搜索文档树
7.文档解析器lxml
8.Xpath
三、数据导出
1.导出到文本文件
2.导出成为excel文件
3.导出到数据库

四、抓取动态页
1.Selenium和PhatomJS
2.安装Selenium
3.下载浏览器驱动
4.安装PhatomJS
5.加载网页
6.定位元素
7.页面交互
a)点击
b)下拉菜单
c)输入文本
8.Cookies
9.网页等待
10.Map实现多线程爬虫

五、考核
按老师的要求抓取网站数据

讲师介绍 INSTRUCTOR PROFILE
陈剑老师

珀菲特顾问 | 陈剑老师

更多课程
讲师简介 / About the Program Leader

陈剑: 数据分析专家、信息化专家、IPMA认证项目经理、MCSE、MCDBA从业经验丰富,曾主持开发大型政府业务系统、银行办公系统、电信业务系统、工业自动化控制系统等,负责过OA、ERP、BI系统的集成与实施。历任项目经理,技术总监等职务,培训风格轻松幽默、尤其注重实用。

培训课程 / Training courses

《大数据时代的决策和精准营销》
《大数据时代的数据分析与挖掘》
《商业预测技术》
《SPSS 数据分析与挖掘》
《基于R的数据分析与挖掘》
《SPSS Modeler数据分析与挖掘》
《Office在企业中的高级应用》

代表性客户 / PART OF TRAINED COMPANIES INCLUDED BUT NOT LIMITED TO

工商银行、建设银行、中国银联、兴业银行、华创证券、大连商品交易所、交银施罗德、中信银行、渤海国际信托、银雁金融、立信集团、深投投资

一汽大众、奥迪、一汽马自达、东风汽车、东风本田、神龙汽车、广汽本田、长安福特、长安铃木、南京依维柯、海马汽车、江铃汽车、奇瑞汽车、三一重工

中国远洋、南方航空、东方航空、四川航空、中国航空工业集团、海烟物流、卓志物流

中国移动、中国电信、中国联通、携程、富士通、神州数码、华星光电、冠捷电子、OPPO、新易讯、凡谷电子、东方雨虹、凌阳科技、方正电路板、洲明科技、长城计算机、东软、天合光能、雅士电子、帅康、和林电子、亿道电子、德赛西威

中海油、扬子巴斯夫、北元化工、中沙石化、东方物探、中轻南方炼糖纸业、虔东稀土、三和化工

恩华药业、复兴医药、大众医药、金域医疗检验、福田医疗、国药控股、奇正藏药

蒙牛、伊利、大成集团、劲牌、维他奶、中烟、一鸣食品、顶新、中纺粮油、不二制油、丹宝利酵母

红豆男装、黛安芬、巴鲁夫、Bacardi、雅芳、贝亲婴儿用品、麦考林

恒安集团、Widex、宝理工程塑料、日立电梯、贺利氏古莎、世家洁具、华正新材、征双环、四季沐歌、健业纺织、景兴商务、哈尔斯、攀岭鞋业、泉林包装、东风置业、中钞特种防伪、金茂集团、中国测试技术研究院、共创、株洲硬质合金、万通、腾达电器、仪征双环、瑞安天地、中电广西、科达、星河地产、泰凯英轮胎、九星印刷、科达、沈鼓集团、CTI论坛、麦格昆磁、纷美、泰凯英、天威、松雷集团、红蜻蜓、爱施德、博深工具、雅致集成房屋、龙头股份、派克、新世界集团、北广传媒

中山大学、北京交大、上海交大MBA班等。

服务流程 Service Procedure

提交需求

明确内训需求与课程方向

沟通诊断

了解岗位、学员与业务痛点

项目调研

调研实际场景与学习目标

方案设计

定制课程内容与实操安排

达成共识

确认培训方案与实施细节

项目实施

讲师授课与现场实操

持续跟踪

跟进学习应用与问题反馈

效果评估

评估培训成果与落地效果

关于珀菲特顾问 ABOUT PERFECT CONSULTANT

我们是谁 Who We Are

珀菲特顾问成立于2011年,是一家专业为企业提供一体化解决方案的知识供应商。我们紧跟AI技术发展趋势,整合AI实战讲师资源,为企业提供从AI认知到落地的全链条赋能培训解决方案。

Founded in 2011, PERFECT CONSULTANT is a knowledge supplier specializing in integrated enterprise solutions. We closely follow AI technology trends and integrate practical AI instructor resources to provide full-chain empowerment from AI awareness to implementation.

我们做什么 What We Do

承接组织绩效提升与人才学习发展业务,覆盖企业内训、公开课、在线学习和项目咨询四大板块,并将AI赋能内容融入不同业务与岗位场景。

We support organizational performance improvement and talent learning development across enterprise internal training, public courses, online learning and project consulting, embedding AI empowerment into business and role-specific scenarios.

服务对象 Our Clients

服务世界500强企业、合资工厂、国有企业、快速发展的民营企业及行业代表性企业,客户包括微软、Intel、阿里巴巴、腾讯、华为、三星、丰田等知名科技与制造企业。

We serve Fortune 500 companies, joint ventures, state-owned enterprises, fast-growing private companies and industry leaders, including Microsoft, Intel, Alibaba, Tencent, Huawei, Samsung, Toyota and other leading technology and manufacturing enterprises.

公司数据 Company at a Glance

2011 成立年份Founded
6000+ 服务企业Enterprise Clients
60万+ 累计学员Total Learners
2000+ 签约&特邀讲师Signed & Guest Instructors
300+ AI热门课题AI Courses
1500+ 现有公开课Public Courses
20000+ 现有内训课Internal Courses
20+ 覆盖城市Cities Covered
线下业务 OFFLINE BUSINESS

公开课

覆盖AI赋能与领导力、通用管理、人力资源、精益智造及个人效能等方向,为不同岗位提供实战课程。

企业内训

围绕组织绩效与人才发展定制培训方案,可将AI办公、智能体、AI研发与数字化供应链等内容嵌入业务场景。

项目咨询

提供人才梯队、智能制造与AI转型咨询,通过案例驱动、工具实操和模板交付推动方案落地。

视频资讯 Video Information
珀菲特顾问企业视频号二维码企业视频号
珀菲特顾问公司微信公众号二维码公司微信公众号
珀菲特顾问公开课小程序二维码公开课小程序
【见证企业成长每一步】

AI效能提升 × HR实战干货 × 领导力精要,前沿管理智慧每周更新,
关注视频号获取全场景管理解决方案,让卓越触手可及!

AI productivity, practical HR insights and leadership essentials, updated weekly.
Follow our video channel for management solutions across every scenario.

培训的客户涵盖多个行业的知名企业 PART OF TRAINED COMPANIES INCLUDED BUT NOT LIMITED TO

数字化搭建企业学习平台,加速人才培养

专属云大学,一键部署,智能配课,千人千面

1.点击下面按钮复制微信号

13382173255

点击复制微信号

珀菲特企业管理
Karen /郑老师