数据库运维
记录DBA学习成长历程

DM8-HS数据同步搭建

文章目录

HS数据同步:数据同步功能支持两个数据源之间的数据实时同步,可应用于本地数据灾备、查询与报表分流、商业智能分析以及实时数据仓库等多种业务场景。

特点:

源端基于数据库日志分析进行增量数据捕获。

目标端基于标准数据库接口进行增量数据应用

以数据库事务为最小复制单位,确保复制数据的完整性和一致性

支持主流关系型数据库(DM系列,ORACLE系列,MySql系列,PostgreSQL,DB2,SQL SERVER)

支持多种软硬件平台、支持多种复制拓扑结构

支持断点续传、支持同步数据链路冗余

丰富的高级功能支持:文件转化、复杂拓扑、FTP架构、kafka支持、ETL支持

主机规划

web端 10.0.0.203 安装好dm8软件
源端 10.0.0.202 DM8单机
目标端 10.0.0.200 共享存储双节点集群

一、部署web管理端

创建目录,上传软件包

[dmdba@web ~]$ mkdir hs
[dmdba@web ~]$ cd hs
[dmdba@web hs]$ ls
-rwxrwxrwx 1 dmdba dinstall 492317201 5月 16 13:31 dmhs_V4.1.1_dm8_rev99696_rh6_64_veri_20210527.bin

命令行安装

[dmdba@web hs]$ ./dmhs_V4.1.1_dm8_rev99696_rh6_64_veri_20210527.bin -i
Extract install files.........

1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
/tmp/DMHSInstall/install.log
1.免费试用达梦数据实时同步
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据实时同步]:
1.精简版
2.完整版(web客户端)
3.自定义
安装类型[1.精简版]:2
1.实时同步软件服务器
2.远程部署工具
3.实时同步软件客户端
4.内置数据库
5.实时同步软件配置助手
6.手册
所需磁盘空间:899 MB
安装目录: [/home/dmdba/dmhs]/home/dmdba/hs
该路径不为空,是否继续安装?[Y or N]Y 
安装路径可能存在覆盖安装
1.统一部署
2.现在初始化
是否初始化达梦数据实时同步系统[1.统一部署]:
正在安装
default start ... default finished.
server start ... server finished.
hs_agent start ... hs_agent finished.
webmanager start ... webmanager finished.
db start ... db finished.
hsca start ... hsca finished.
doc start ... doc finished.
doc start ... doc finished.
postinstall start ... postinstall finished.
正在创建快捷方式
安装成功
远程部署工具配置
远程部署工具名称[HsAgent]:web
主机Ip(外网)[192.168.122.1](192.168.122.1,10.0.0.203):10.0.0.203
远程部署工具管理端口[5456](1000-65535):
内置数据库轮询间隔[3](1-60):
内置数据库IP[192.168.122.1]:
内置数据库端口[15236]:
内置数据库用户名[SYSDBA]:
内置数据库密码[SYSDBA]:
服务脚本环境变量设置
依赖库路径
提示:此配置项供用户配置源或目的数据库依赖库路径和odbc依赖库路径, 多个路径以":"隔开(例:/opt/dmdbms/bin:/usr/local/lib),此配置项会添加到服务脚本的NEED_LIB_PATH的变量值中。
请配置依赖库路径:/dm8/bin
内置数据库服务
1.自动
2.手动
启动方式:[2.手动]1
正在创建内置数据库服务
初始化内置数据库
远程控制服务
1.自动
2.手动
启动方式:[2.手动]1
正在创建远程控制服务
web服务
1.自动
2.手动
启动方式:[2.手动]1
正在创建web服务
以下配置脚本需要以"root"用户的身份运行.
要执行以下脚本命令:
要执行配置脚本,请执行以下操作:
1.打开终端窗口
2.以"root"身份登录
3.运行脚本命令
/home/dmdba/hs/scripts/root/root_installer.sh
是否已执行shell脚本?yes/no[no]yes
达梦数据实时同步V4.0安装完成
更多安装信息,请查看安装日志文件:
/home/dmdba/hs/log/install.log
[root@web ~]# /home/dmdba/hs/scripts/root/root_installer.sh
修改服务器权限
创建DmServiceHSDB服务
Created symlink from /etc/systemd/system/multi-user.target.wants/DmServiceHSDB.service to /usr/lib/systemd/system/DmServiceHSDB.service.
创建服务(DmServiceHSDB)完成
创建DmhsAgentServiceHsAgent服务
Created symlink from /etc/systemd/system/multi-user.target.wants/DmhsAgentServiceHsAgent.service to /usr/lib/systemd/system/DmhsAgentServiceHsAgent.service.
创建服务(DmhsAgentServiceHsAgent)完成
创建DmhsWebService服务
Created symlink from /etc/systemd/system/multi-user.target.wants/DmhsWebService.service to /usr/lib/systemd/system/DmhsWebService.service.
创建服务(DmhsWebService)完成
启动DmServiceHSDB服务
启动DmhsAgentServiceHsAgent服务
启动DmhsWebService服务
[root@web ~]#

安装完成后登陆web页面查看 IP:8080/manager     admin/888888

二、部署源端

内置数据库IP指定为web端IP,主机Ip(外网)注意不要跟web端的重复,源端一定要开启归档,并开区逻辑附加日志

[dmdba@loaclhost hs]$ ./dmhs_V4.1.1_dm8_rev99696_rh6_64_veri_20210527.bin -i
Extract install files.........

1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
/tmp/DMHSInstall/install.log
1.免费试用达梦数据实时同步
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据实时同步]:
1.精简版
2.完整版(web客户端)
3.自定义
安装类型[1.精简版]:2
1.实时同步软件服务器
2.远程部署工具
3.实时同步软件客户端
4.内置数据库
5.实时同步软件配置助手
6.手册
所需磁盘空间:899 MB
安装目录: [/home/dmdba/dmhs]/home/dmdba/hs
该路径不为空,是否继续安装?[Y or N]Y
安装路径可能存在覆盖安装
1.统一部署
2.现在初始化
是否初始化达梦数据实时同步系统[1.统一部署]:
正在安装
default start ... default finished.
server start ... server finished.
hs_agent start ... hs_agent finished.
webmanager start ... webmanager finished.
db start ... db finished.
hsca start ... hsca finished.
doc start ... doc finished.
doc start ... doc finished.
postinstall start ... postinstall finished.
正在创建快捷方式
安装成功
远程部署工具配置
远程部署工具名称[HsAgent]:source
主机Ip(外网)[192.168.122.1](192.168.122.1,10.0.0.202):10.0.0.202
远程部署工具管理端口[5456](1000-65535):
内置数据库轮询间隔[3](1-60):
内置数据库IP[192.168.122.1]:10.0.0.203
内置数据库端口[15236]:
内置数据库用户名[SYSDBA]:
内置数据库密码[SYSDBA]:
服务脚本环境变量设置
依赖库路径
提示:此配置项供用户配置源或目的数据库依赖库路径和odbc依赖库路径, 多个路径以":"隔开(例:/opt/dmdbms/bin:/usr/local/lib),此配置项会添加到服务脚本的NEED_LIB_PATH的变量值中。
请配置依赖库路径:/dm8/bin
内置数据库服务
1.自动
2.手动
启动方式:[2.手动]1
正在创建内置数据库服务
初始化内置数据库
远程控制服务
1.自动
2.手动
启动方式:[2.手动]1
正在创建远程控制服务
web服务
1.自动
2.手动
启动方式:[2.手动]1
正在创建web服务
以下配置脚本需要以"root"用户的身份运行.
要执行以下脚本命令:
要执行配置脚本,请执行以下操作:
1.打开终端窗口
2.以"root"身份登录
3.运行脚本命令
/home/dmdba/hs/scripts/root/root_installer.sh
是否已执行shell脚本?yes/no[no]yes
达梦数据实时同步V4.0安装完成
更多安装信息,请查看安装日志文件:
/home/dmdba/hs/log/install.log
[root@loaclhost ~]# /home/dmdba/hs/scripts/root/root_installer.sh
修改服务器权限
创建DmServiceHSDB服务
Created symlink from /etc/systemd/system/multi-user.target.wants/DmServiceHSDB.service to /usr/lib/systemd/system/DmServiceHSDB.service.
创建服务(DmServiceHSDB)完成
创建DmhsAgentServicesource服务
Created symlink from /etc/systemd/system/multi-user.target.wants/DmhsAgentServicesource.service to /usr/lib/systemd/system/DmhsAgentServicesource.service.
创建服务(DmhsAgentServicesource)完成
创建DmhsWebService服务
Created symlink from /etc/systemd/system/multi-user.target.wants/DmhsWebService.service to /usr/lib/systemd/system/DmhsWebService.service.
创建服务(DmhsWebService)完成
启动DmServiceHSDB服务
启动DmhsAgentServicesource服务
启动DmhsWebService服务

三、部署目标端

[dmdba@rac1 hs]$ ./dmhs_V4.1.1_dm8_rev99696_rh6_64_veri_20210527.bin -i
Extract install files.........

1.英文(English)
2.简体中文(简体中文)
请选择安装语言[2.简体中文(简体中文)]:
/tmp/DMHSInstall/install.log
1.免费试用达梦数据实时同步
2.使用已申请的Key文件
验证许可证文件[1.免费试用达梦数据实时同步]:
1.精简版
2.完整版(web客户端)
3.自定义
安装类型[1.精简版]:2
1.实时同步软件服务器
2.远程部署工具
3.实时同步软件客户端
4.内置数据库
5.实时同步软件配置助手
6.手册
所需磁盘空间:899 MB
安装目录: [/home/dmdba/dmhs]/home/dmdba/hs
该路径不为空,是否继续安装?[Y or N]Y
安装路径可能存在覆盖安装
1.统一部署
2.现在初始化
是否初始化达梦数据实时同步系统[1.统一部署]:
正在安装
default start ... default finished.
server start ... server finished.
hs_agent start ... hs_agent finished.
webmanager start ... webmanager finished.
db start ... db finished.
hsca start ... hsca finished.
doc start ... doc finished.
doc start ... doc finished.
postinstall start ... postinstall finished.
正在创建快捷方式
安装成功
远程部署工具配置
远程部署工具名称[HsAgent]:target
主机Ip(外网)[192.168.122.1](192.168.122.1,10.0.0.200):10.0.0.200
远程部署工具管理端口[5456](1000-65535):
内置数据库轮询间隔[3](1-60):
内置数据库IP[192.168.122.1]:10.0.0.203
内置数据库端口[15236]:
内置数据库用户名[SYSDBA]:
内置数据库密码[SYSDBA]:
服务脚本环境变量设置
依赖库路径
提示:此配置项供用户配置源或目的数据库依赖库路径和odbc依赖库路径, 多个路径以":"隔开(例:/opt/dmdbms/bin:/usr/local/lib),此配置项会添加到服务脚本的NEED_LIB_PATH的变量值中。
请配置依赖库路径:/dm8/bin
内置数据库服务
1.自动
2.手动
启动方式:[2.手动]1
正在创建内置数据库服务
初始化内置数据库
远程控制服务
1.自动
2.手动
启动方式:[2.手动]1
正在创建远程控制服务
web服务
1.自动
2.手动
启动方式:[2.手动]1
正在创建web服务
以下配置脚本需要以"root"用户的身份运行.
要执行以下脚本命令:
要执行配置脚本,请执行以下操作:
1.打开终端窗口
2.以"root"身份登录
3.运行脚本命令
/home/dmdba/hs/scripts/root/root_installer.sh
是否已执行shell脚本?yes/no[no]yes
达梦数据实时同步V4.0安装完成
更多安装信息,请查看安装日志文件:
/home/dmdba/hs/log/install.log
[root@rac1 ~]# /home/dmdba/hs/scripts/root/root_installer.sh
修改服务器权限
创建DmServiceHSDB服务
Created symlink from /etc/systemd/system/multi-user.target.wants/DmServiceHSDB.service to /usr/lib/systemd/system/DmServiceHSDB.service.
创建服务(DmServiceHSDB)完成
创建DmhsAgentServicetarget服务
Created symlink from /etc/systemd/system/multi-user.target.wants/DmhsAgentServicetarget.service to /usr/lib/systemd/system/DmhsAgentServicetarget.service.
创建服务(DmhsAgentServicetarget)完成
创建DmhsWebService服务
Created symlink from /etc/systemd/system/multi-user.target.wants/DmhsWebService.service to /usr/lib/systemd/system/DmhsWebService.service.
创建服务(DmhsWebService)完成
启动DmServiceHSDB服务
启动DmhsAgentServicetarget服务
启动DmhsWebService服务

四、查看页面是否识别

五、目标端配置执行器

启动

6、配置捕获器

创建捕获器后配置复制规则,我这里用一张表演示。

启动捕获器实例

启动实例后打开控制台装载字典

启动捕获器模块

验证数据

赞(4)
MySQL学习笔记 » DM8-HS数据同步搭建