前后端通信用的是graphql;
后台服务使用了zuul、eureka、sprgboot框架技术;
数据库用的是evdra、ckroachdb等数据库;
消息流处理用的是apak;
视频存储用的是s和openek和spark做数据处理,tabeau做可视化、redshift用于结构化数据仓库;
cicd上使用了多种工具,比如jira、fuens、grade、onkey、spnaker、atas等去完成……
这其中,绝大多数可都是奈飞自己搞出来的,而将它们组合在一起,所展现出来的能量,也是足以让人瞠目结舌的。
这,就是奈飞赖以成名,用以搜集影音大数据背后的数据工程技术架构了。
这是一个为了支持全球影音流媒体,而搭建的一个庞大的基础架构。
有专门的团队,负责将上千亿流媒体时长的数据,转换成各种分析洞察,以此决定奈飞怎么去为客户,推荐更合适的视频。
而数亿客户,通过数千种不同类型的设备和软件,产生的事件资讯,更是多达百万种。
所以如何将这些资讯,汇集整理成容易理解的合理形式,以支持各种个性化的应用,以及分析的需求,就是一项很大系统工程。
所以奈飞从oo年,推出线上视频流媒体服务开始,就在打造自己的数据仓库系统,并续研出了许多数据技术和工具,用来支持各种数据工程实务上的需求。
从内容绩效评估、观众理解分析、程序化展战略等各方面,去推动整个数据工程的展。
整个数据工程技术架构的核心原则,其实很简单,那就是要让常见需求更容易进行,而且可以兼顾到不同层级的定制化需求。
但这也就决定了,很多任务和工具,都需要由他们自己去开。
要知道,数据工程技术架构中最典型的两大数据流程,就是批处理和流媒体处理。
这也是企业常见的两种数据流程。
但想要全靠自身去研,那难度可就太高了,但是没有办法,这事儿从外面,还真就找不到现成的,所以也只能靠自力更生了。
而批处理流程有四大关键步骤:
第一步,是数据转换和逻辑汇集处理,这里会涉及到云储存、云计算和大数据
请勿开启浏览器阅读模式,否则将导致章节内容缺失及无法阅读下一章。
从小兵开始修仙 开挂后,我成了最强驭兽师 男神嗜妻如命[娱乐圈] 贵妻 脸红心跳 我只想当个技术宅[星际] 巅峰狱少 遇上霸总被宠上天 重生后,摄政王被她撩疯了 她是明月与大海 清宫:舒妃传 修仙:从永恒道法开始 太古战魂 监狱里的永罚龙 异世娇宠,种种田生生崽 在女多男少世界里做完美男神 末世重生,种田养娃建基地 谋嫁三爷 末世病娇养成 镇国神婿
叶蓁与灵主交易,穿到三千世界,通过完成任务获取灵愿来兑换物品。不过,这些身份怎么都那么惨。被挖肾,被替身,被换亲算了,为了养活一家老小,再惨也得迎上去...
曾经以为身处地狱,后来发现,有他的地方就是天堂末世到来,夏初错估人心,能核被毁,身体残疾。所有人都想将她往死里踩,唯独陆聿修倾尽所有的对她好,就算最后为了她丢掉性命,他也无怨无悔夏初拖着残躯...
穿越到类似中世纪欧洲的李察,成为了一名男爵家的少爷,正当李察以为这一世可以躺平时,他发现这个世界潜藏了无数危险幸运的是,他能日常性的体悟到灵感!在灵感面板的加持下,仅三等巫师资质的李察,修习巫术一路突飞猛进,开启了一段神秘非凡的巫师之旅!各位书友要是觉得巫师从获得灵感面板开始还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...
一句话文案一个真白月光被鸠占鹊巢的故事。可容颜变幻,沧海枯竭,对我最好的人,始终都是你。正式文案死吧,只要你死了,就没人知道我是假的了。眼看着眼前人一点一点被三尺白绫勒死,薛快雪清...
周礼大司马之职,掌建邦国之九法,以佐王平邦国。...
重生回到小时候,只想这辈子能和家人好好在一起,把弟弟接到身边好好教育,帮妈妈避开不幸福的感情,减轻负担,一家人可以好好过日子,如果可以的话,能够大赚一笔改善生活,实现自己的梦想,做自己喜欢做的事,成为一个成功的人,不用为生活琐事烦恼忧愁,快乐潇洒过一生。各位书友要是觉得重生只想过的好一点还不错的话请不要忘记向您QQ群和微博里的朋友推荐哦!...