etl是企业数据仓库构建过程中的一个核心步骤y我们可以借助于etl
工具来高效地完成数据抽取转换和加载工作之所以需要etl工具y
主要有以下几个原因x
?
?当数据来自不同的物理主机y这时候如果使用sql语句去处理的
话y就显得比较吃力且开销也更大]
?
?数据来源可以是各种不同的数据库或者文件y这时候需要先把它
们整理成统一的格式后才可以进行数据的处理y这一过程用代码实现
显然有些麻烦]
?
?在数据库中我们当然可以使用存储过程去处理数据y但是y处理
海量数据的时候y存储过程显然比较吃力y而且会占用较多数据库的
资源y这可能会导致数据库资源不足y进而影响数据库的性能。
。
在选择etl工具时主要考虑如下因素x
?对平台的支持程度]
?抽取和装载的性能是不是较高y且对业务系统的性能影响大不
大,高不高]。
?对数据源的支持程度]。
?是否具有良好的集成性和开放性]。
?数据转换和加工的功能。
?是否具有管理和调度的功能。
cdc解决方案包括变化捕捉代理变化数据服务和变化分机制三个
组成部分
?
?变化捕捉代理变化捕捉代理是一个软件组件y它负责确定和捕
捉生在操作型数据存储源系统中的数据变化可以对变化捕捉代理
进行专门优化y使它适用于特定的源系统y比如使用数据库触器]
也可以使用通用的方法y比如数据日志比较。
变化数据服务变化数据服务为变化数据捕捉的成功实现提供了
请勿开启浏览器阅读模式,否则将导致章节内容缺失及无法阅读下一章。
超度 叶迟秦始皇 重生断绝关系,家人们全都泪崩了 断点续传 裴总又在明撩暗哄 [咒回]向5t5告白失败后 丞相有喜以后 逍遥小阎王 领域之主 杨辰傅春和 黑色笔记之都市猎人 异界领主:种田,工业与魔法 年代文家庭食物链顶端[空间] 龙王成了配角,那我还算反派吗? 我为道士的最后十年 穿书成吃瓜群众后,女总裁盯上我 悟性逆天,清扫雕像领悟道法三千 夏安安霍初尧 重生在东京渔村当海王 妹妹死后,我化身阎罗杀戮世界
秦华穿越了,到了强人遍地的洪荒,他却成了一只没有自保能力的小妖。赶上了鸿钧讲道末班车,人阐两教嫌弃他是妖,西方二圣对他恨之人骨,女蜗娘娘摇头叹息你还是走吧!没奈何,他只好投人截教。他将如何走自己路,寻自己的道,在以后的封神大劫中保住自己的命,保住在意自己和自己在意的人的命,让我们拭目以待。...
多结局这是一个可可爱爱没有脑袋的霍格沃兹挂寡王的故事,全家都是穿越者,buff叠了百来代,安妮帕尼克直呼好家伙橘光同名重申重新回归,存文处,全文免费,不喜绕道。在这个穿越为家常便饭的时代...
又名祖国在召唤。华锋语是公认的国宝女科学家,科研成果斐然仰慕者无数,于3005年寿终正寝。 没想到,却穿到了2005年一个假千金身上,她果断选择离开豪门,回到乡下继续读书。 一路逆袭当学神,进入最...
...
周帆穿越到了汉末,成了周瑜他哥,又多了个驯兽师系统,从此天下动物尽在掌控之中。公孙瓒你有白马义从,你等着,我组个黑马义从来玩玩。曹操你有虎豹骑,你等着,我...
丹,无所不能也。混沌初开,天地应混沌之气而生,造就万千宇宙万物应混沌之灵而长,成就万千生灵。取天地灵物之精华,去其糟粕,凝结成丹,服之,可治百症善资质升修为破桎梏,皆为应药理而生药性,此为小丹之道。然小丹乃小道,不可为也。混沌丹道,乃通天大道,天…...