熊猫直播:大视频数据业务的云上历程

  • 时间:
  • 浏览:1
  • 来源:3分时时彩官网_哪里可以玩3分时时彩_3分时时彩在哪里玩

在海量数据的大视频行业,怎么满足大数据需求? 12 月 20 日举办的北京云栖大会“企业云上业务优化”分论坛上,熊猫直播大数据技术专家卢圣刚,分享了熊猫直播不断优化云上资源,建立起灵活配置、高扩展性、易于运维的云上架构的宝贵经验。

作为知名泛娱乐直播平台,熊猫直播所含游戏、娱乐、综艺、户外、体育等多种泛娱乐直播内容。在身处大视频时代的当下,熊猫直播代表了众多大视频企业的大数据需求:面对分散在MySQL、Redis、MongoDB之中的数据源头,需用实现统一的数据存储;面对不同的业务场景和高速的业务发展,需用实现灵活的横向扩展——不仅能灵活加进开源组建,还需用能快速增加计算节点。

作为高速发展的直播平台,熊猫直播数据纬度多、数据量巨大——累计肯能达到PB级,仅仅每天新增的都在几十T。就离线计算的数据量看,每天几百个日常计算任务,以及几滴 的临时查询需求。

为了满足原来 的大数据需求,卢圣刚分享了熊猫直播从Fluentd + ODPS、到Flume + Ambari、再到Flume + EMR的架构演进历程。

阿里云EMR——Elastic MapReduce(E-MapReduce),是基于阿里云ECS之上半托管开源大数据软件栈。

卢圣刚分享了选择EMR的导致 :“EMR的弹性动态伸缩,可以帮助熊猫直播直线快捷的扩容、缩容EMR Hadoop集群,灵活、快速部署开源大数据服务(HBase、Kafka、Impala,Flink等),还具备数据存储成本低的优势。”

卢圣刚还有点儿了强调运维机制对于选择EMR的关键作用。阿里云企业服务对熊猫直播给予7* 24 小时钉钉群支持,快速处里集群使用问題图片。阿里云服务的支撑保障,使熊猫直播可以减少运维工作,更专注于业务。

未来,熊猫直播会将依托阿里云,继续深耕大视频数据业务,满足大视频时代不断演进的大数据需求。

本文由站长之家用户投稿,未经站长之家同意,严禁转载。如广大用户朋友,发现稿件处于不实报道,欢迎读者反馈、纠正、举报问題图片(反馈入口)。

免责声明:本文为用户投稿的文章,站长之家发布此文仅为传递信息,不代表站长之家赞同其观点,不对对内容真实性负责,仅供用户参考之用,不构成任何投资、使用建议。请读者自行核实真实性,以及肯能处于的风险,任何后果均由读者自行承担。

有好的文章希望站长之家帮助分享推广,猛戳这里让我 投稿