数栈数据安全案例:混合云环境数据库备份容灾实现

数栈是云原生—站式数据中台PaaS,我们在github上有一个有趣的开源项目:FlinkX,欢迎给我们点个starstarstar

https://github.com/DTStack/flinkx

FlinkX是一个基于Flink的批流统一的数据同步工具,既可以采集静态的数据,比如MySQL,HDFS等,也可以采集实时变化的数据,比如MySQL binlog,Kafka等,是全域、异构、批流一体的数据同步引擎,大家如果有兴趣,欢迎来github社区找我们玩~

近些年,数据安全事件频发。

数栈数据安全案例:混合云环境数据库备份容灾实现

数栈数据安全案例:混合云环境数据库备份容灾实现

作为企业的核心资产,数据的外泄、破坏都会导致不可挽回的经济损失和核心竞争力缺失。规范的制度建设、权限管理和变更流程是保证数据安全的重要落地措施。

袋鼠云DBA团队承接多个客户的容灾架构设计需求,制定可靠、有效的容灾架构方案并推动落地。备份重于一切。我们会优先考虑数据库备份集的容灾设计:两地三中心VS混合云、权限分配&监控告警&恢复演练。

基于混合云的备份容灾方案,已成功向多个客户输出。今天来谈一下阿里云—IDC混合云场景下的备份容灾设计:

1. 阿里云RDS等数据库产品,备份集、binlog保留在OSS对象存储,下载后可见;同时提供备份/日志API接口,用于编程开发;

2. 云环境和IDC容灾机房走了专线,带宽根据备份、日志量,传输时间窗口来规划;

3. IDC容灾机房重要是存储的规划:RAID&文件保留期限&容量&权限;

4. 备份集、日志文件的抽取、验证程序;5. 运维监控平台,收集、分析IDC容灾机房程序日志,发现、告警,运维及时响应。

数栈数据安全案例:混合云环境数据库备份容灾实现

数栈数据安全案例:混合云环境数据库备份容灾实现

具体实现:

1. 元数据。阿里云RDS提供了两个API:备份文件信息DescribeBackups、日志文件信息DescribeBinlogFiles,传入参数instance_id即可获取备份集、日志文件的基础信息:下载路径、大小、文件名、checksum值等。

袋鼠云智能运维中台可以准实时同步RDS元数据信息,确保备份集、日志文件的抽取时效。

数栈数据安全案例:混合云环境数据库备份容灾实现

数栈数据安全案例:混合云环境数据库备份容灾实现


2. 文件抽取。依赖元数据信息,分为备份集和日志文件两个抽取程序,每个程序均配置有文件大小、checksum值双重验证。

数栈数据安全案例:混合云环境数据库备份容灾实现

数栈数据安全案例:混合云环境数据库备份容灾实现

对拉取进程超时、文件不完整等问题,会自动重新拉取。

数栈数据安全案例:混合云环境数据库备份容灾实现

数栈数据安全案例:混合云环境数据库备份容灾实现

控制抽取进程并发数量,避免专线拥挤。

3. 运维监控平台接入,分析同步任务运行日志,配置抽取失败、传输超时等告警;同时接入IDC存储空间使用量、使用率变化趋势告警,对异常问题主动发现、及时处理。

数栈数据安全案例:混合云环境数据库备份容灾实现

数栈数据安全案例:混合云环境数据库备份容灾实现

4. 恢复演练。制定演练计划,模拟以时间点恢复、数据误操作等运维事件,收集操作过程,整理成册。

数栈数据安全案例:混合云环境数据库备份容灾实现

数栈数据安全案例:混合云环境数据库备份容灾实现

5. IDC存储管理由机房运维部门负责,云平台运维部门操作存储需严格按照审批流程进行申请。

从架构设计、权限管理到程序开发、告警响应、异常处理、恢复演练,多环节无死角确保备份集安全。

只要备份安全,数据一定能恢复。

版权声明

本文仅代表作者观点,不代表本站立场。
本文系作者授权发表,未经许可,不得转载。