1. 研究目的与意义
当今,气象资料对人们的衣食住行起到重要作用,如何能让气象资料更好地服务大众成为当前紧迫的研究课题之一。
课题基于超声波测风传感器在气象业务中的试验,分析了超声波测风传感器与机械式测风传感器之间的区别,针对多个不同厂家参试的超声波测风数据,开发数据入库、展示以及统计分析的软件功能。
2. 课题关键问题和重难点
编写超声风数据录入与展示平台关键在:(1)如何进行数据的处理,MapReduce作为Hadoop的处理框架,改变了以往把数据集中在一起的计算方式,而是把计算作为一项任务推送到存放的数据之上。
MapReduce 框架运用了计算机算法中最常用的一个概念Divide and Conquer(分而治之),也就是把一个大的问题切割成多个小问题,处理完成之后,再把答案汇总到一起。
(2)如何将大量数据进行实时处理,Spark Steaming起着关键作用。
3. 国内外研究现状(文献综述)
通过查询文献,主要了解了Hadoop在数据处理方面的能力,了解了Hadoop的数据处理框架MapReduce。
在实时数据处理方面了解了Spark Steaming计算框架。
一.数据采集数据采集作为整个数据的来源,整个数据主要来自石家庄正朗、正邦海洋、天津超声波测风所得的数据。
4. 研究方案
设计方案:1.首先通过查阅资料了解该课题的内容以及设计的目标位置;2.其次进行需求分析,分析当下流行的数据计算算法,用以实现系统的高效能的分析过程;3.然后分析数据如何进行具体的处理。
实现整个项目功能;4.最后进行系统测试,检查系统错误并修改以完善系统,并且系统中错误信息记录下来,整理成文档。
本系统拟使用Hadoop和Spark框架。
5. 工作计划
本课题主要是通过Hadoop应用框架,利用Spark、MapReduce技术,来实现对海量超声风数据的录入,处理清洗,最终来展示数据。
在整个过程中主要完成以下工作:(1)对系统进行需求分析,对超声风的数据就行系统的研究;(2)程序的详细设计和开发,通过前期的分析和调查:了解超声风的数据,数据在今后如何更好的应用;(3)进行后期系统运行测试是与必要的系统维护;(4)完成后期论文的撰写和完善。
预期效果:完成一套超声风数据录入与展示软件设计。
以上是毕业论文开题报告,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。