开源分布式内存文件系统部署设计和实现开题报告

 2023-01-04 11:17:04

1. 研究目的与意义

(一)内容:

理论学习:学习分布式内存文件系统的架构和原理,研究基于开源分布式内存文件系统Alluxio或者Tachyon,研究其配置与部署的方法。。

系统环境搭建,具有以下功能,实现以下性能:

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

2. 文献综述

1.研究背景:

Spark平台以分布式内存计算的模式达到更高的计算性能,然而,分布式内存计算的模式也是一柄双刃剑,在提高性能的同时不得不面对分布式数据存储所产生的问题,具体问题主要有以下几个:

当两个Spark作业需要共享数据时,必须通过写磁盘操作。比如:作业1要先把生成的数据写入HDFS,然后作业2再从HDFS把数据读出来。在此,磁盘的读写可能造成性能瓶颈。

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

3. 设计方案和技术路线

设计方案:

通过了解项目的背景和技术背景,了解相关技术和各种算法,了解Hadoop的整体架构,分布式存储及其计算模型,对其模型进行部署,最后进行测试。

技术路线:

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

4. 工作计划

1周2周:收集资料

3周:需求分析

4周10周:分布式内存文件系统部署

剩余内容已隐藏,您需要先支付后才能查看该篇文章全部内容!

5. 难点与创新点

1.Linux通过Handop和jdk对Tachyon编译和打包

2.性能稳定

3.对部分信息图形方式显示,直观清晰

剩余内容已隐藏,您需要先支付 1元 才能查看该篇文章全部内容!立即支付

以上是毕业论文开题报告,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。