文档中心

实时第三方数据复制

随着机器学习、人工智能的发展,越来越多的企业倾向于实时的获取数据的价值,而不满足于通过夜间运行批量任务作业的方式来处理信息。 本文档将介绍如何将 DB2, Oracle, MySQL 的数据实时复制至 SequoiaDB 巨杉数据库中。

DB2和Oracle数据实时复制

对于 DB2 和 Oracle 的数据实时复制存在很多种方案,通常的做法如下:

  • 使用 Oracle 官方数据迁移工具,如 OGG(Oracle GlodenGate)、CDC(Change Data Capture)
  • 自研数据导入导出程序实现
  • 使用第三方数据迁移工具

MySQL 数据实时复制

SequoiaDB 巨杉数据库作为分布式数据库,由数据库存储引擎与数据库实例两大模块构成。 其中,数据库存储引擎模块是数据存储的核心,负责提供整个数据库的读写服务、数据的高可用与容灾、ACID 与分布式事务等全部核心数据服务能力。 用户可以通过添加 SequoiaSQL-MySQL 实例,基于 binlog Replication 方式实时同步 MySQL 的数据至 SequoiaDB 中。 在 MySQL 与 SequoiaDB 之间建立主从复制需要以下4个步骤:

  • 安装部署 Sequoiasql-MySQL,详细步骤参见 SequoiaSQL-MySQL 安装部署
  • 存量数据从 MySQL 迁移至 SequoiaSQL-MySQL
  • MySQL数据库开启 binlog 日志,配置为主库
  • SequoiaSQL-MySQL 开启 binlog 日志,配置为从库
  • 配置 binlog Replication 主从关系

存量数据从 MySQL 迁移至 Sequoiadb-MySQL

MySQL 的 binlog Replication 机制只能实时同步增量数据,不能同步存量数据,因此存量数据需要使用 mydumper 工具导出,再使用 myloader 工具导入到 SequoiaSQL-MySQL 中。可参考mydumper&myloader的使用

SequoiaSQL-MySQL 采用的存储引擎是 SequoiaDB 分布式数据库引擎,而非 InnoDB 引擎,对于 mydumper 导出的建表语句需要进行相应的修改,因此需要分别导出数据表结构以及数据。 假设 MySQL 数据库中存在存量数据 info 库,将该库的数据迁移至 SequoiaSQL-MySQL 需要以下5个步骤:

  1. 导出 info 库的所有表结构:

    mydumper -h sdbserver1 -P 3306 -u sdbadmin -p sdbadmin -d -t 4 -s 1000000 -e -B info -o /home/sdbadmin/info/schema
  2. 导出 info 库的所有数据表的数据:

    mydumper -h sdbserver1 -P 3306 -u sdbadmin -p sdbadmin -m -t 4 -s 1000000 -e -B info -o /home/sdbadmin/info/data
  3. 修改表结构的存储引擎为 SequoiaDB,字符编码修改为 utf8mb4

  4. 导入 info 库的表结构至 SequoiaSQL-MySQL:

    myloader -h sdbserver2 -P 3306 -u sdbadmin -p sdbadmin -t 4 -d /home/sdbadmin/info/schema
  5. 导入 info 库的数据表数据至 SequoiaSQL-MySQL的 info 库中:

    myloader -h sdbserver2 -P 3306 -u sdbadmin -p sdbadmin -t 4 -d /home/sdbadmin/info/data

MySQL开启binlog

  1. 修改 MySQL 配置文件 /etc/mysql/mysql.conf.d/mysqld.cnf

    [mysqld]
    port=3306
    log-bin=master-bin
    server-id=1
  2. 重启 MySQL 服务

    service mysql restart
  3. 查看 binlog 日志状态

    mysql> show variables like '%log_bin%';
    +---------------------------------+------------------------------------------------------+
    | Variable_name                   | Value                                                |
    +---------------------------------+------------------------------------------------------+
    | log_bin                         | ON                                                   |
    | log_bin_basename                | /opt/sequoiasql/mysql/database/3306/master-bin       |
    | log_bin_index                   | /opt/sequoiasql/mysql/database/3306/master-bin.index |
    | log_bin_trust_function_creators | OFF                                                  |
    | log_bin_use_v1_row_events       | OFF                                                  |
    | sql_log_bin                     | ON                                                   |
    +---------------------------------+------------------------------------------------------+
    6 rows in set (0.00 sec)

SequoiaSQL-MySQL 开启 binlog

  1. 修改 SequoiaSQL-MySQL 配置文件/opt/sequoiasql/mysql/database/3306/auto.cnf

    [mysqld]
    server-id=3
    relay_log=relay-log
    relay_log_index=relay-log.index
  2. 重启 SequoiaSQL-MySQL 服务

    service sequoiasql-mysql restart
  3. 查看 replay_log 日志状态

    mysql> show variables like '%relay_log%';
    +---------------------------+-----------------------------------------------------+
    | Variable_name             | Value                                               |
    +---------------------------+-----------------------------------------------------+
    | max_relay_log_size        | 0                                                   |
    | relay_log                 | relay-log                                           |
    | relay_log_basename        | /opt/sequoiasql/mysql/database/3306/relay-log       |
    | relay_log_index           | /opt/sequoiasql/mysql/database/3306/relay-log.index |
    | relay_log_info_file       | relay-log.info                                      |
    | relay_log_info_repository | FILE                                                |
    | relay_log_purge           | ON                                                  |
    | relay_log_recovery        | OFF                                                 |
    | relay_log_space_limit     | 0                                                   |
    | sync_relay_log            | 10000                                               |
    | sync_relay_log_info       | 10000                                               |
    +---------------------------+-----------------------------------------------------+
    11 rows in set (0.06 sec)

配置 Binlog Recplication 主从关系

  1. 在 MySQL 主库上查看主库 binlog 日志文件位置

    mysql> show master status\G
    *************************** 1. row ***************************
             File: master-bin.000001
         Position: 154
     Binlog_Do_DB:
    Binlog_Ignore_DB:
    Executed_Gtid_Set:
    1 row in set (0.00 sec)
  2. 在主库上授权复制用户

    mysql> grant replication slave,replication client on *.* to 'repl'@'%' identified by 'sequoiadb';
    mysql> flush privileges;
  3. 在 SequoiaSQL-MySQL 从库上配置主从关系,使用有复制权限的用户账号连接主库,启动复制线程

    reset slave;
    change master to
    master_host='sdbserver1',
    master_user='repl',
    master_password='sequoiadb',
    master_port=3306,
    master_log_file='master-bin.000001',
    master_log_pos=154;
    start slave;
  4. 查看 Slave 状态

    mysql> show slave status\G
    *************************** 1. row ***************************
               Slave_IO_State: Waiting for master to send event
                  Master_Host: sdbserver1
                  Master_User: repl
                  Master_Port: 3306
                Connect_Retry: 60
              Master_Log_File: master-bin.000001
          Read_Master_Log_Pos: 154
               Relay_Log_File: relay-log.000002
                Relay_Log_Pos: 321
        Relay_Master_Log_File: master-bin.000001
             Slave_IO_Running: Yes
            Slave_SQL_Running: Yes
              Replicate_Do_DB:
          Replicate_Ignore_DB:
           Replicate_Do_Table:
       Replicate_Ignore_Table:
      Replicate_Wild_Do_Table:
    Replicate_Wild_Ignore_Table:
                   Last_Errno: 0
                   Last_Error:
                 Skip_Counter: 0
          Exec_Master_Log_Pos: 154
              Relay_Log_Space: 522
              Until_Condition: None
               Until_Log_File:
                Until_Log_Pos: 0
           Master_SSL_Allowed: No
           Master_SSL_CA_File:
           Master_SSL_CA_Path:
              Master_SSL_Cert:
            Master_SSL_Cipher:
               Master_SSL_Key:
        Seconds_Behind_Master: 0
    Master_SSL_Verify_Server_Cert: No
                Last_IO_Errno: 0
                Last_IO_Error:
               Last_SQL_Errno: 0
               Last_SQL_Error:
    Replicate_Ignore_Server_Ids:
             Master_Server_Id: 1
                  Master_UUID: dec14b1d-b772-11e9-af76-0050562a7848
             Master_Info_File: /opt/sequoiasql/mysql/database/3306/master.info
                    SQL_Delay: 0
          SQL_Remaining_Delay: NULL
      Slave_SQL_Running_State: Slave has read all relay log; waiting for more updates
           Master_Retry_Count: 86400
                  Master_Bind:
      Last_IO_Error_Timestamp:
     Last_SQL_Error_Timestamp:
               Master_SSL_Crl:
           Master_SSL_Crlpath:
           Retrieved_Gtid_Set:
            Executed_Gtid_Set:
                Auto_Position: 0
         Replicate_Rewrite_DB:
                 Channel_Name:
           Master_TLS_Version:
    1 row in set (0.03 sec)
  5. 至此,基于 binlog Replication 实时数据同步环境已搭建完成。

mydumper&myloader安装

mydumper&myloader 是用于对MySQL数据库进行多线程备份和恢复的开源 (GNU GPLv3)工具。 安装部署如下:

  1. mydumper 官网 下载 mydumper安装包
  2. 切换到 root 权限用户,执行以下命令安装
  • Centos6 / Red Hat6:
sudo yum install mydumper-0.9.5-2.el6.x86_64.rpm
  • Centos7 / Red Hat7:
sudo yum install mydumper-0.9.5-2.el7.x86_64.rpm
  • Ubuntu / Debian
sudo dkpg -i mydumper_0.9.5-2.xenial_amd64.deb

小结

SequoiaDB 巨杉数据库支持通过 Oracle 官方迁移工具、第三方迁移工具等方式从 DB2、Oracle 中实时同步数据至 SequoiaDB 以及支持基于 MySQL 的 binlog Replication 机制实时复制 MySQL 的数据至 SequoiaDB 中。

回到顶部