1. 研究目的与意义
求职一直是大学生毕业的一大难题，虽然现今网上有各种各样的招聘网站，但是信息过于繁杂。
我们期望制作一个可以整合各类招聘网站的求职信息，并且精简到和it相关的大学生的岗位信息，同时能拥有各类智能排序功能的网站。
这样便于那些毕业期望在IT行业工作的大学生能够找到自己满意的工作。
2. 研究内容和预期目标
研究的内容有以下几个方面： 1、 爬虫使用什么语言和框架 2、 爬取哪些网站 3、 编写爬虫程序 4、 爬虫过程中的反爬虫技术 拟解决的问题有： 1、 如何编写程序爬取网站 2、 反爬虫的网站如何破解 3、各类网站招聘信息进入数据库后怎么避免重复信息写作提纲 1、编写爬虫所用到的技术 2、编写程序过程中遇到的问题 3、遇到反爬虫的网站是如何解决的 4、怎么把信息整合并且导入数据库
3. 国内外研究现状
01语言：理论上来说，任何支持网络通信的语言都是可以写爬虫的，爬虫本身虽然语言关系不大，但是，总有相对顺手、简单的。
目前来说，大多数爬虫是用后台脚本类语言写的，其中python无疑是用的最多最广的，并且页诞生了很多优秀的库和框架，如scrapy、BeautifulSoup 、pyquery、Mechanize等。
但是一般来说，搜索引擎的爬虫对爬虫的效率要求更高，会选用c 、java、go(适合高并发)，详情排名前50的开源Web爬虫用于数据挖掘。
4. 计划与进度安排
1、2022年11月10日（本学期第十三周）--完成选题工作 2、2022年11月30日（本学期结束）前--完成开题工作 3、2022年3月18日前--完成初稿和中期检查工作 4、2022年4月30日前--完成论文修改、定稿
5. 参考文献
RichardLawson. 用Python写网络爬虫[M]. 人民邮电出版社, 2016. 罗刚. 自己动手写网络爬虫(修订版)[M]. 清华大学出版社, 2016. 盛亚如, 魏振钢, 刘蒙. 基于主题网络爬虫的信息数据采集方法的研究与应用[J]. 电子技术与软件工程, 2016(7):168-169. 杜长燕, 李祥龙. 基于WEB的网络爬虫的设计[J]. 无线互联科技, 2015(5):49-50. 钱程, 阳小兰, 朱福喜. 基于Python的网络爬虫技术[J]. 黑龙江科技信息, 2016(36):273-273. 邹科文, 李达, 邓婷敏,等. 网络爬虫针对'反爬'网站的爬取策略研究[J]. 电脑知识与技术:学术交流, 2016, 12(3):61-63. 杨青松. 爬虫技术在互联网领域的应用探索[J]. 电脑知识与技术:学术交流, 2016, 12(15):62-64. 曹海燕. 网页爬虫系统的设计[J]. 中国科技博览, 2015(5):226-226. 冯俐. 爬虫技术综述[J]. 电脑知识与技术, 2017, 13(27). 柳超, 梁双, 闫肃,等. 反爬虫系统及方法:, CN 106657057 A[P]. 2017. 邹纲, 皮冰锋, 张军,等. 网页抓取方法及爬虫:, CN 103294732 B[P]. 2016. 苟顺涛, 李巍. 服务器、反爬虫系统和反爬虫验证方法:, CN 105812366 A[P]. 2016. 田俊. 浅谈主题网络爬虫关键技术[J]. 天津职业院校联合学报, 2017, 19(3):78-85. 陈利婷. 大数据时代的反爬虫技术[J]. 电脑与信息技术, 2016, 24(6). 潘巍, 晋松. 分布式网络爬虫系统的研究现状[J]. 经济技术协作信息, 2017(23):85-85.
以上是毕业论文开题报告，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。
