基于hadoop的超声风数据录入与展示平台开题报告

 2022-10-11 11:04:09

1. 研究目的与意义

当今,气象资料对人们的衣食住行起到重要作用,如何能让气象资料更好地服务大众成为当前紧迫的研究课题之一。

课题基于超声波测风传感器在气象业务中的试验,分析了超声波测风传感器与机械式测风传感器之间的区别,针对多个不同厂家参试的超声波测风数据,开发数据入库、展示以及统计分析的软件功能。

2. 课题关键问题和重难点

编写超声风数据录入与展示平台关键在:(1)如何进行数据的处理,MapReduce作为Hadoop的处理框架,改变了以往把数据集中在一起的计算方式,而是把计算作为一项任务推送到存放的数据之上。

MapReduce 框架运用了计算机算法中最常用的一个概念Divide and Conquer(分而治之),也就是把一个大的问题切割成多个小问题,处理完成之后,再把答案汇总到一起。

(2)如何将大量数据进行实时处理,Spark Steaming起着关键作用。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

3. 国内外研究现状(文献综述)

通过查询文献,主要了解了Hadoop在数据处理方面的能力,了解了Hadoop的数据处理框架MapReduce。

在实时数据处理方面了解了Spark Steaming计算框架。

一.数据采集数据采集作为整个数据的来源,整个数据主要来自石家庄正朗、正邦海洋、天津超声波测风所得的数据。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

4. 研究方案

设计方案:1.首先通过查阅资料了解该课题的内容以及设计的目标位置;2.其次进行需求分析,分析当下流行的数据计算算法,用以实现系统的高效能的分析过程;3.然后分析数据如何进行具体的处理。

实现整个项目功能;4.最后进行系统测试,检查系统错误并修改以完善系统,并且系统中错误信息记录下来,整理成文档。

本系统拟使用Hadoop和Spark框架。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

5. 工作计划

本课题主要是通过Hadoop应用框架,利用Spark、MapReduce技术,来实现对海量超声风数据的录入,处理清洗,最终来展示数据。

在整个过程中主要完成以下工作:(1)对系统进行需求分析,对超声风的数据就行系统的研究;(2)程序的详细设计和开发,通过前期的分析和调查:了解超声风的数据,数据在今后如何更好的应用;(3)进行后期系统运行测试是与必要的系统维护;(4)完成后期论文的撰写和完善。

预期效果:完成一套超声风数据录入与展示软件设计。

剩余内容已隐藏,您需要先支付 1元 才能查看该篇文章全部内容!立即支付

以上是毕业论文开题报告,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。