云计算在经分系统的推广解决方案

  • 来源:新浪科技
  •  2014-10-24
  •   浏览 868 次

自从研究院进行大云平台研发以来,随着BC-ETL/PDM的成熟度提升,在经分系统引入云平台的呼声也越来越多。去年,集团进行了云ETL试点。从试点情况来看。主要有以下模式:

1、 选择集成商基于社区版本的Hadoop平台,对于ETL过程,编码实现。

2、 选择集成商基于社区版本的Hadoop平台,由集成商对平台能力进行封装,提供ETL工具。

上述方案1,可持续性和可维护性不好,众所周知ETL是一个平台能力,主要完成数据的抽取、转换、加载,数据的不断变化,要求该过程有足够的灵活性。采用硬编码的形式对需求相应效率是个大问题,业务人员和技术人员就数据处理问题的交流也存在障碍。

上述方案2,由于采取工具形式,提供ETL的配置界面,数据处理人员可以根据业务需要,进行数据处理的配置,而不需要考虑复杂的M/R程序编写。便于灵活 支撑数据处理过程。目前移动侧接触的厂商(研究院)具备云ETL平台的有:研究院的BC-ETL/PDM,华为的BDI,以及亚联的云ETL平台。

方案2虽然解决了应用的问题,但对于后续发展也存在障碍。主要在与平台和兼容性问题:

1、 Hadoop平台是厂商自己根据社区版本进行改造的。 没有公开发行。

2、 厂商提供的云ETL平台,没有与公开发行的Hadoop版本进行兼容性测试。

上述两个问题,随着云化的深入,非常容易被捆绑。 这种捆绑,相对于IOE时代的对硬件平台的捆绑依赖,转变为对软件平台的捆绑依赖。你能想象某个运营商的程序只能跑在SuceLinux,而不能跑在RedHat上么?事实上,这就是目前运营商在云计算发展方面的问题。

因此,若需要云计算的深入推广,充分竞争是必须的。但竞争的前提是大家都遵循统一的标准来竞争。 总部需要责无旁贷的制定相关标准,如: Hadoop平台必须是公开发行的版本。 云ETL必须发布兼容性测试报告,说明兼容的Hadoop平台情况。建立一定程度的准入标准。 进一步规范云化进程。


To Top