你的位置:主页 > 最新消息 >

智联招聘基于Apache Pulsar打造企业级事件中心

2019-01-08 18:56      点击:

   

  九月Apache的脉冲星在2018年成为正式Apache顶级项目,脉冲星的Apache是,直到2016年年底,出版?订阅(pub - 分)消息最初的系统,这是由雅虎开发者开发的,开源公司。脉冲星,权力雅虎的主要应用为三年以上运行,雅虎邮件,雅虎?财经,雅虎体育,Flickr等,在生产环境雅虎夏尔巴作为双子座和雅虎的广告平台存储的键和值?分布式系统。非常关注起来,对开源社区是天的孵化,开发商的社会,因为它的运作是贡献了大量的企业级功能在一起的脉冲星,。脉冲星这些贡献存储流数据和互联网功能式量,以及从所述初始集合进化的信息的系统消息的计算。脉冲星的阿帕奇,相对其他传统消息中间件系统是根本不同的。这些不同点,它可能包括以下。

  消息模型和API级,脉冲发生器日志存储抽象的,统一的消息队列(队列)和流(流式)经典消息两者的?中间件?根据应用场景。用户,从而实现数据的真正含义,为了打破基础应用和服务之间的数据孤岛,它能够支持不同的应用场景另一个预订(订阅)模式下,它必须使用使用“台湾系统。“。

  图1:在Apache的订阅模式的脉冲星摘要

  在架构级别,脉冲发生器传统消息中继(代理)和远处消息存储(储存)的前沿,作为中继与来自彼此独立的计算和存储的想法原始消息(经纪人)无状态服务层中的一个。非券商状态变成经纪人,经纪人故障恢复显著提高服务的可用性,可以在很短的时间内完成,独立,它有可能延长储存后。然后,分层架构中,最有效地利用云计算基础设施的本地脉冲发生器可以可以很容易地扩展安排的环境中,如容器内Kubernetes。

  图2:Apache的脉冲星的分层结构

  存储级,下行 - 切片(段)为簿记员脉冲星的Apache的粒径,传统的分区?从尺寸上,日志存储系统,使用内存大小。当存储器大小被细分,物理分区不再结合。更多的分区,分区可以被切成均匀的散射粒状碎片整个集群,一个逻辑概念层次中,为了最大限度地提高的可能性显著度,不仅数据的排列,部署以提供已聚集降低和复杂性,恢复等操作。在历史数据的分级存储性能是显著过去的企业数据?为了确保前提的热性能数据以减少存储成本,它可以被存储在较便宜的存储设备(Arikumo OSS,AWS S3等)。

 

  最初为了打造自己的平台水平,智联招聘在综合管理的活动中心和存储事件的2018年计划。智联招聘使用的RabbitMQ +卡夫卡等产品这个消息是智联招聘之前,支持邮件系统的数据流,进行批量处理的支持,RabbitMQ的主要支持在线业务的分布,卡夫卡是主要的处理日志,流处理中,在间歇方法中使用,例如作为场景。在应用过程中,我遇到了一些痛苦的一个观点:

  1。这两款产品,带来了维护成本高

  2。的两套系统数据的一致性

  3。缺乏分布式数据存储和透明度的

  脉冲星的Apache层次的抽象,多项技术攻关活动,创造的迫在眉睫的平台水平,设计和多租户,多订阅模式等多种功能的存储的活动中心,仅次于美国我着迷。充足的学习和Apache脉冲星团队和核心人员沟通,最终即使在技术的选择是非常成功的,告一段落,脉冲星的Apache,以建立我们的第一选择中心舞台活动它已成为一个平台。

  租赁是平台级别的事件,主要提供更好的事件管理解决方案,我们希望,用户可以使用的资源进行访问控制的隔离特性,多租户您。您减少显著运行和维护的成本,这将能够维持一个全方位服务的智联线服务,一套服务招收的平台级的。访问方是对用户透明,自己可以申请一个名字空间事件的平台,用户不必担心维修工作。

  流媒体已经统一与队列模式?模式好,流批量处理的需求,也可以支持在线的业务需求和工作队列,发件人,利用各种所需的工作产生的唯一事件数据的副本,企业数据的一致性可以比面更长,而不用关心开销和数据显著减少匹配系统。

  保留策略,在现实世界中的场景,在同一时间,也很方便,可以限制时间和大小,我们有一个基于随着时间的推移各种活动和价值的重要性,保留策略可以评估,以满足回事件的需要,它可以是一个很好的机制。

  脉冲星的Apache是,在房间里,非常好复制事件带有企业级功能?它能以确保数据中心的灾难恢复能力,你可以,为了提供这个功能,数据空间,可以保存多个灾难恢复能力的重要事件提供。

  分层存储的功能提供了用于冷存储事件数据,优良的支持我们,OSS,阿里云AWS S3等产品,其延长卸载数据到二次存储装置您可能需要保存。这是为了确保读取很写作和事件,热数据的表现,我们是更好的杂志和Léger双SSD存储?在不影响热数据的性能,使用记账员,可以减少数据的冷库的成本。

  在这些功能,通过严格的控制和脉冲星玛定义的属性和事件,智联招聘可通过事件中心事件平台透明度用户级完成。用户,一些事件,你可以检查事件,并成为平台更改明确要求的情况下,将是一个方式来定义事件中心平台。该产品也将是一个非常有意义的数据。

  活动中心是智联招聘2018平台的平台水平之一?要水平的重要项目,良好的在线业务,流?它也可以提供一个人工智能功能,支持计算批次和基础设施的方向。项目于2018年8月正式登陆,并开始逐渐有机会获得商业方面,活动中心远,11月20个十亿事件每天发布量低访问量一直提供的增加,预计到了500万周,每天的活动送货服务。

  智联招聘也,脉冲星一纸空文主题,新的功能,如客户端拦截器等强大功能,阿帕奇继续贡献将是2.2。0版的发布到服务用户的脉冲星。我们还计划在支持这一进程作出贡献延迟的消息和其他好等特点更多的社区服务,并感谢streamlio的贡献。

  免责声明:自其它媒体,信息传递的不仅详细信息目的本网站传输的内容,代表了这个网站,你赞同其观点和我们的意见,也意义或那内容的真实性它不会使性爱。