【大数据技术】大数据相关的五大技术
大数据技术指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
1、Avro与Protobuf
Avro与Protobuf均是数据序列化系统,可以提供丰富的数据结构类型,十分适合做数据存储,还可进行不同语言之间相互通信的数据交换格式,学习大数据,需掌握其具体用法。
2、Cassandra
Apache Cassandra是一个高性能,可扩展性和高线性可用的数据库,可以运行在服务器或云基础设施上,为关键任务数据提供完美的平台,。 Cassandra支持多个数据中心之间复制是同类产品中最好,为用户提供更低的延迟,甚至不惧怕停电。 Cassandra的数据模型提供了便利的列索引,高性能试图和强大的内置缓存。
3、Kafka
Kafka是一种高吞吐量的分布式发布订阅消息系统,其在大数据开发应用上的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理,也是为了通过集群来提供实时的消息。大数据开发需掌握Kafka架构原理及各组件的作用和使用方法及相关功能的实现!
4、Chukwa
是一个开源大型分布式系统的数据采集监视系统。它是建立在Hadoop分布式文件系统(HDFS)和Map/ Reduce框架之上,并继承了Hadoop的可伸缩性和健壮性。 Chukwa还包括一个灵活而强大的工具包,用于显示,监测和分析结果,以便做出最佳地使用所收集的数据。
5、Flume
Flume是一款高可用、高可靠、分布式的海量日志采集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同时,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。大数据开发需掌握其安装、配置以及相关使用方法。
相关阅读
最新文章
随机推荐
- 2017第二届中国(国际)汽车旅游大会怀化站圆满举行
- 中纪委揭秘巡视故事
- 老人被扔荒郊等死
- 这款雷电3扩展坞完美应对Win10和Mac os
- 远离地球2.89亿公里,16倍子弹速度飞行,敞篷跑车变危险小行星
- 距离锤子科技 2017 春季新品发布会还有 4 天
- 菲律宾媒体妄议中国海军宣传片
- 我是演说家 淮南高校赛区盛装启动
- 尊诺提琴音响,听见音乐的灵魂
- 再回想教你识别土鸡蛋
- 惠人原汁机哪款好?韩国原装Hurom榨汁机型号区别
- 百企大战AI+新药研发:全视野透视78家AI创新企业、26家全球制药巨头
- 剧场设计:约克皇家剧院室内空间升级
- 探亲礼轻情义浓,男神伴你更甜蜜
- 有网友爆料称有人网上叫卖北京工作居住证
- 当165秦岚撞上172古力娜扎,终于明白腿长真的影响穿搭效果
- 爆料大神放出华为Mate 20高清图
- 深圳首届房车露营大会暨广东首届房车露营高峰论坛新闻发布会
- 牧云堂:轻奢茶器,大师工艺
- 软银旗下移动部门将于 12 月 19 日上市,规模达 210 亿美元
最新评论
更多评论