新老DataHub迁移手册

  • 时间:
  • 浏览:0
  • 来源:UU直播快三_UU直播快3平台

完全写入新DataHub示例代码

新增配置

[TODO] 都须要放有4个多新老的diff文件example

新增配置

原依赖

类似于于:

原写入土妙招

新版DataHub居于主题-Topic的概念,与Odps的Table类似于于,还可不可以 不等于Odps的Table,通常肯能是须要导入数据到Odps一句话,须要为每张表创建有4个多Topic,且字段类型、顺序与名称须要一致,Odps中的分区字段当做普通的Topic字段除理,新版DataHub会根据该分区字段再DataHub中的数据值,将数据同步到Odps离线表中。

老DataHub在写入数据时须要直接指定分区,肯能是通过fluend或logstash等插件写入的用户是须要配置分区信息肯能通过某个时间字段转为固定格式作为分区

通过OGG工具写入数据的用户,迁移除了上述准备工作外,还需进行有4个多步骤

新安装一句话(也可按照新版文档提供的一键安装包安装logstash)

原获取Shard列表及情況土妙招

通过Logstash插件写入数据的用户,迁移除了上述准备工作外,还需进行有4个多步骤

新版本具有更多的底部形态,性能功能就有不少提升,都须要同去支持数据一份数据同步到Odps、OSS、ElasticSearch等多个不同服务中,且提供WebConsole控制台进行更简单的操作。

除以上配置外,一点DataHub相关配置均独立到configure.xml文件配置,具体含义请参看新版OGG工具文档。

创建Topic都须要通过以下土妙招:

input偏离 配置不需更改,更改output偏离 配置即可。

新版Logstash插件使用文档

偏离 配置不需更改,更改match 偏离 配置即可。

原安装一句话

原Odps版内测DataHub(下文统称为老DataHub服务),于2016年11月21日起肯能居于维护情況,新版DataHub届时肯能开启公测,公测至今已有两天以上时间,当我门我门 决定结速英文英文逐步下线老DataHub服务,老版偏离 用户须要迁移至新版DataHub。

新版OGG工具文档

新写入土妙招

新土妙招

通过Fluend插件写入数据的用户,迁移除了上述准备工作外,还需进行有4个多步骤

通过Flume工具写入数据的用户,迁移除了上述准备工作外,还需进行有4个多步骤

DataHub产品使用文档

新版Flume工具文档

DataHub控制台

新依赖

本文档针对使用Logstash、Fluentd、Flume以及使用SDK写入老DataHub服务的用户,提供迁移到新服务的指引,过程中遇到任何困难都须要联系当我门我门

新Client初始化步骤

新版Fluentd插件使用文档

类似于于:

新版DataHub在这个行为上有所改变,Odps表的分区字段再DataHub中肯能变成有4个多普通字段,后台Connector同步任务在同步数据到Odps表就有根据分区字段比如pt具体每条记录的值写入Odps对应分区中。

原Client初始化步骤

新版DataHub中居于项目空间-Project概念,与Odps中Project类似于于,还可不可以 不等于Odps中的Project,为了方便管理,当我门我门 建议迁移时在DataHub中创建与Odps Project同名的Project(不同名称也都须要)