相关文章
Shark:针对大数据的实时查询和分析
2024-11-10 18:23

Hadoop的优势在于批处理,MapReduce并不特别适用于交互/特殊指定的查询。 实时(Real-time)1SQL查询(在Hadoop数据上)通常使用自定义连接器来执行MPP数据库。实际上这意味着在独立的Hadoop和数据库集群之间有连接器。在过去几个月中,一些提供快速的系统Hadoop集群中的SQL访问受到关注。 Hadoop和快速MPP数据库集群之间的连接器并没有消失,但是人们越来越感兴趣于将许多交互式SQL任务转移到与Hadoop共存于同一集群上的系统中。

Shark:针对大数据的实时查询和分析

拥有支持快速/交互式SQL查询的Hadoop集群可以追溯到几年前HadoopDB,一个来自耶鲁的开源项目。 HadoopDB的创建者此后开始了一家商业软件公司(Hadapt),旨在构建一个将Hadoop /MapReduce和SQL相结合的系统。在Hadapt中,(Postgres)数据库放置在Hadoop集群的节点中,形成一个系统2可以使用MapReduce、SQL和搜索(Solr)。从版本2.0开始,Hadapt是容错系统,具有分析功能(HDK),可以通过SQL使用。

开源系统本文的其余部分介绍了两个相对较新的开源工具:Impala和Shark。 自Strata NYC发布以来,Cloudera的Impala系统产生的嗡嗡声突出显示了大数据社区需要Hadoop中的实时查询系统的程度。自从发布以来,已经有许多关于Impala的优秀文章(参见这里和这里),所以这里不会深入涉及它的设计细节。我会强调一下Cloudera展现的令人印象深刻的性能数据。

对于纯粹的I/O绑定查询,我们通常会看到3-4倍范围内的性能提升。 …对于至少有一次连接的查询,我们已经看到7-45X的性能提升。 …如果通过查询访问的数据从缓存中提取出来,由于Impala的卓越效率,加速将更加激烈。在这些情况下,即使在简单的聚合查询中,我们也看到了Hive上20倍-90倍的加速。

Shark Shark是一个Spark组件,一个开源的分布式和容错内存分析系统,可以安装在与Hadoop相同的集群上。特别是,Shark完全兼容Hive和支持HiveQL,Hive数据格式和用户自定义功能。另外Shark可以用来查询来自4在HDFS,Hbase和Amazon S3的数据。

Shark的创作者刚刚发表了一篇论文,在文中他们系统地比较了它与Hive的表现,Hadoop和MPP数据库。他们发现Shark比Hive在各种查询上快得多:大概来说,Shark在磁盘上的速度要快5-10倍,而Shark内存模式的速度要快100倍。重要的是,Shark的表现收益是与MPP数据库中观察到的相当!

在这个阶段,用户至少有两个可用于Hadoop中快速/交互式SQL的开源系统。虽然Impala引起了更多的关注,但Shark团队已悄悄地将高扩展系统集成在一起,该系统具有引人注目的功能包括数据联合分区(co-partitioning),容错(fault-tolerance)以及将机器学习(machine-learning)集成到分析师的工作流程中。

内存列存储和列压缩使用Impala时获得的最佳性能是通过使用Trevni列存储格式实现的。在Shark的情况下,他们的自定义列式存储和压缩将存储和查询时间缩短了大约5倍。

控制数据分区=>快速,分散式JOINSShark让用户使用指定的键分区表。特别是如果表经常是“joined”,那么可以使用通用(“join”)键对它们进行分区。 Co-partitioning是许多MPP数据库用来加速“joins”涉及大量表的技巧。

容错(Fault-tolerance)Shark可以从节点故障中优雅地恢复6,并且在重建丢失的(数据)分区之后继续执行查询。对大数据集的初始测试表明恢复对性能的影响很小(并且比re-executing查询快得多)。

SQL “optimizer”Shark已经实现了一个简单的优化器(部分DAG执行或PDE)使用数据统计(重击者,近似直方图)在需要时动态地改变查询计划。例如,Shark的PDE系统使用数据统计信息为“joins”执行run-time优化。

机器学习(Machine-learning)支持 RDD的是分散式可以缓存在跨计算节点集群内存中的对象。它们是Spark中使用的基本数据对象。用户可以创建RDD(使用sql2rdd命令)并将machine-learning函数应用于它们。目前machine-learning和分析函数可以用Scala和Java编写,并且即将支持Python。用户不仅可以从相同的内部获得执行简单SQL查询和复杂计算的好处7框架,而且Shark比Hadoop快100倍:

与BI工具集成Impala与Tableau和QlikView的。有Shark用户使用Tableau之类的工具,但BI集成是Shark内的相对未探索(“unexplored”)区域。

总结Impala和Shark是Hadoop的交互式SQL系统。一个新文章显示Shark提供加速与MPP数据库中观察到的相当。除了比Hive for SQL快100倍以外,Shark的框架比(迭代式)machine-learning算法的Hadoop快100倍。

    以上就是本篇文章【Shark:针对大数据的实时查询和分析】的全部内容了,欢迎阅览 ! 文章地址:http://yejunbin01.xhstdz.com/news/5279.html 
     栏目首页      相关文章      动态      同类文章      热门文章      网站地图      返回首页 物流园资讯移动站 http://yejunbin01.xhstdz.com/mobile/ , 查看更多   
最新文章
做seo为什么要从白帽seo做起
本人十三君跟着师父十二君做seo也有些时间了,从接触seo以来,发现一个有趣的现象:很多做seo的人员,尤其是新人总想着玩黑帽与
企业工信部备案提交教程(电子化备案)
一、教程目的 本教程主要针对首次备案过程中所需基本信息的填写说明。 (非经营性网站:只要是通过第三方支付࿰
伊金霍洛网站排名优化费用是如何计算的?
伊金霍洛网站seo优化百度搜索引擎关键词快速排名推广提升自然流量点击SEO优化师、网站设计师、梦想者您的流量获取专家“创新互联
【R9s(全网通)搜狗手机输入法下载】OPPO R9s 全网通搜狗手机输入法12.1.1免费下载
搜狗输入法,拥有超大中文词库,输入更加精准,智能。搜狗智能旺仔带你用表达,斗图,妙语,输入更加有趣。******特色功能******
57、曾正忠三部曲 《变化球 Breaking Ball》《迟来的决战 The Last Battle》《无胆狗雄 TATAMI》
水平有限,还望轻喷。\\\ ( 'ω' ) //// 相较去年,重心从挑选top10变成了尽量多列举一些作品,所以今年提及的漫画数量比较
微信公众号及服务号文章爬取
使用Python爬取公众号文章主要两种方法:通过爬取第三方公众号聚合网站通过微信公众平台引用文章接口微信传送门已被封杀,现存可
人工智能板块震荡:投资者应关注AI ETF与软件ETF动态
随着科技的不断发展,人工智能(AI)领域的投资持续引发市场的关注。根据最新市场数据,截至今日收盘,中证人工智能主题指数上涨
男科专题:宁波市男科医院排名更新,宁波普仁男科医院怎么样
男科专题:宁波市男科医院排名更新,宁波普仁男科医院怎么样?男科疾病常常困扰着男性的生活与工作,影响着他们的身心健康。因此
品牌升级前必须思考的5个关键问题
重塑品牌事关重大,改变现有的品牌名称或形象可能会非常冒险。但同时,品牌形象升级也可能恰恰是治愈品牌病痛的不二良方。当企业
城口SEO优化神器,企业线上崛起的利器揭秘
城口SEO优化推广软件,为企业线上崛起提供强劲助力。通过精准关键词优化、网站结构优化等手段,提升网站在搜索引擎排名,吸引潜
相关文章