注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

中吴南顾惟一笑

成功法则就是那19个字

 
 
 

日志

 
 

Twitter开放实时分布式系统Storm源代码  

2011-09-23 12:52:37|  分类: dbms |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

Twitter在Strange Loop大会上公布分布式实时计算系统Storm的源代码,可以用于各种编程语言,弥补了Hadoop实时性的缺失,意义重大。

据了解,Storm代码来自于Twitter上月收购的BackType,后来被Twitter收购用于Twitter。业内普遍认为这是Twitter为方便用户解析数据所作出的努力。Twitter首席工程师Nathan Marz在博客上表示:“这是一件非常重大的事情,至少对使用大量数据的极客来说是如此,因为相比大多数企业,Twitter要处理更多的实时数据。”除此之外,Nathan Marz还指出Storm在业内有着相当广阔的使用前景,比如流处理、持续演算及远程处理命令等。

现在,Storm的发展势头相当强劲,Twitter开发的相应工具已使其功能变得更加强大。Storm类似于另一个开源数据操作平台Hadoop,Storm也可能成为一项重要业务。

Twitter列举了Storm的三大类应用:

1. 信息流处理(Stream processing)

Storm可用来实时处理新数据和更新数据库,兼具容错性和可扩展性。

2. 连续计算(Continuous computation)

Storm可进行连续查询并把结果即时反馈给客户端。比如把Twitter上的热门话题发送到浏览器中。

3. 分布式远程程序调用(Distributed RPC)

Storm可用来并行处理密集查询。Storm的拓扑结构是一个等待调用信息的分布函数,当它收到一条调用信息后,会对查询进行计算,并返回查询结果。 举个例子Distributed RPC可以做并行搜索或者处理大集合的数据。

  评论这张
 
阅读(192)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017