1.运维在数据库备份恢复方面的职责
1.设计备份策略
全备 、增量、时间、自动
2.日常备份检查
备份存在性
备份空间够用否
** 3.定期恢复演练(测试库)**
一季度 或者 半年
4.故障恢复
通过现有备份,能够将数据库恢复到故障之前的时间点.
5.迁移
1. 停机时间
2. 回退方案
2.Mysql数据损坏类型
1.物理损坏
磁盘损坏:硬件,磁道坏,dd,格式化
文件损坏:数据文件损坏,redo损坏
2.逻辑损坏
1
2
3
4
drop
delete
truncate
update
Copy 3. 备份类型
1.热备
在数据库正常业务时,备份数据,并且能够一致性恢复(只能是innodb)
对业务影响非常小
2.温备
锁表备份,只能查询不能修改(myisam)
影响到写入操作
3.冷备
关闭数据库业务,数据库没有任何变更的情况下,进行备份数据.
业务停止
4. 备份方式及工具介绍
1.逻辑备份工具
1
2
3
基于SQL语句进行备份
mysqldump *****
mysqlbinlog *****
Copy 2. 物理备份工具
1
2
3
基于磁盘数据文件备份
xtrabackup( XBK) :percona 第三方 *****
MySQL Enterprise Backup(MEB)
Copy 5. 逻辑备份和物理备份的比较
mysqldump (MDP)
优点:
1.不需要下载安装
2.备份出来的是SQL,文本格式,可读性高,便于备份处理
3.压缩比较高,节省备份的磁盘空间
缺点:
依赖于数据库引擎,需要从磁盘把数据读出,然后转换成SQL进行转储,比较耗费资源,数据量大的话效率较低
建议:
100G以内的数据量级,可以使用mysqldump
超过TB以上,我们也可能选择的是mysqldump,配合分布式的系统
1EB =1024 PB =1000000 TB
6.备份策略
备份方式:
全备:全库备份,备份所有数据
增量:备份变化的数据
备份工具
逻辑备份=mysqldump+mysqlbinlog
物理备份=xtrabackup_full+xtrabackup_incr+binlog或者xtrabackup_full+binlog
备份周期:
根据数据量设计备份周期
比如:周日全备,周1-周6增量
备份监控
7.容灾策略
备份
架构
高可用 负载均衡
演示从库 主从同步
灾备库 异地备份
定期的故障恢复演练
8.mysqldump应用
介绍:逻辑备份工具。备份的是sql语句
备份方式
InnoDB
可以采取快照备份的方式
开启一个独立的事务,获取当前最新的一致性快照,将快照数据,放在临时表中,转换成SQL(Create database,create table,insert),保存到sql文件中
非InnoDB
需要锁表备份。触发FTWRL,全局锁表。
将快照数据,放在临时表中,转换成SQL(Create database,create table,insert),保存到sql文件中
核心参数
建立备份目录,授权
1
2
mkdir -p /data/backup
chown -R mysql.mysql /data/backup/
Copy 连接参数
-u #用户
-p #密码
-h #主机地址
-P #端口
-S #socket连接
-A #全备
1
mysqldump -uroot -proot -A >/data/backup/full.sql
Copy
1
mysqldump -uroot -proot -B gtid gtid2 >/data/backup/db.sql
Copy 备份库下的多个表(不加参数)
1
mysqldump -uroot -proot gtid t1 t1 >/data/backup/db.sql
Copy 备份高级参数
1
2
3
4
5
6
7
8
9
10
11
12
13
以注释的形式,保存备份开始时间点的binlog的状态信息
mysqldump -uroot -p -A -R --triggers --master-data= 2 >/back/world.sql
[ root@db01 ~] # grep 'CHANGE' /backup/world.sql
-- CHANGE MASTER TO MASTER_LOG_FILE = 'mysql-bin.000035' , MASTER_LOG_POS = 194;
功能:
(1)在备份时,会自动记录,二进制日志文件名和位置号
0 默认值
1 以change master to命令形式,可以用作主从复制
2 以注释的形式记录,备份时刻的文件名+postion号
(2) 自动锁表
(3)如果配合--single-transaction,只对非InnoDB表进行锁表备份,InnoDB表进行“热“”备,实际上是实现快照备份。
Copy
1
2
3
4
5
6
innodb 存储引擎开启热备( 快照备份) 功能
master-data可以自动加锁
(1)在不加--single-transaction ,启动所有表的温备份,所有表都锁定
(1)加上--single-transaction ,对innodb进行快照备份,对非innodb表可以实现自动锁表功能
例子6: 备份必加参数
mysqldump -uroot -p -A -R -E --triggers --master-data= 2 --single-transaction --set-gtid-purged= OFF >/data/backup/full.sql
Copy
1
2
3
4
5
6
7
auto , on
off
使用场景:
1. --set-gtid-purged= OFF,可以使用在日常备份参数中.
mysqldump -uroot -p -A -R -E --triggers --master-data= 2 --single-transaction --set-gtid-purged= OFF >/data/backup/full.sql
2. auto , on:在构建主从复制环境时需要的参数配置
mysqldump -uroot -p -A -R -E --triggers --master-data= 2 --single-transaction --set-gtid-purged= ON >/data/backup/full.sql
Copy
1
2
3
4
mysqldump -uroot -p -A -R -E --triggers --master-data= 2 --single-transaction --set-gtid-purged= OFF --max-allowed-packet= 256M >/data/backup/full.sql
--max-allowed-packet= #
The maximum packet length to send to or receive from server.
Copy
-R 备份存储过程及函数
--triggers 备份触发器
-E 备份事件
生产备份语句(只是建议,根据自己需求来改)
1
mysqldump -uroot -p -A -R -E --triggers --master-data= 2 --single-transaction --set-gtid-purged= OFF --max-allowed-packet= 256M >/data/backup/full.sql
Copy 练习 实现所有表的单独备份
1
2
3
4
5
提示:
information_schema.tables
mysqldump -uroot -p123 world city >/backup/world_city.sql
select concat( "mysqldump -uroot -p123 " ,table_schema," " ,table_name," --master-data=2 --single-transaction --set-gtid-purged=0 -R -E --triggers>/backup/" ,table_schema,"_" ,table_name,".sql" ) from information_schema.tables where table_schema not in ( 'sys' ,'information_schema' ,'performance_schema' ) ;
Copy 9. 备份时优化参数:
1
2
3
4
5
6
7
(1) max_allowed_packet 最大的数据包大小
mysqldump -uroot -p123 -A -R --triggers --set-gtid-purged=OFF --master-data=2 max_allowed_packet=128M --single-transaction|gzip > /backup/full_$(date +%F).sql.gz
(2) 增加key_buffer_size (临时表有关)
(3) 分库分表并发备份 (作业)
(4) 架构分离,分别备份 (架构拆分,分布式备份)
Copy 10. MySQL物理备份工具-xtrabackup(XBK、Xbackup)
安装并安装
1
2
3
4
5
wget https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.12/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.12-1.el7.x86_64.rpm
https://www.percona.com/downloads/XtraBackup/Percona-XtraBackup-2.4.4/binary/redhat/6/x86_64/percona-xtrabackup-24-2.4.4-1.el6.x86_64.rpm
yum -y install percona-xtrabackup-24-2.4.4-1.el7.x86_64.rpm
Copy 备份命令介绍:
1
2
xtrabackup
innobackupex ******
Copy 备份方式——物理备份
1
2
(1)对于非Innodb表(比如 myisam)是,锁表cp数据文件,属于一种温备份。
(2)对于Innodb的表(支持事务的),不锁表,拷贝数据页,最终以数据文件的方式保存下来,把一部分redo和undo一并备走,属于热备方式。
Copy xbk 在innodb表备份恢复的流程
1
2
3
4
0、xbk备份执行的瞬间,立即触发ckpt,已提交的数据脏页,从内存刷写到磁盘,并记录此时的LSN号
1、备份时,拷贝磁盘数据页,并且记录备份过程中产生的redo和undo一起拷贝走,也就是checkpoint LSN之后的日志
2、在恢复之前,模拟Innodb“自动故障恢复”的过程,将redo(前滚)与undo(回滚)进行应用
3、恢复过程是cp 备份到原来数据目录下
Copy innobackupex使用
全备
1
innobackupex --user= root --password= 123 /data/backup
Copy 自主定制备份路径名
1
innobackupex --user= root --password= 123 --no-timestamp /data/backup/full
Copy 备份集中多出来的文件:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
-rw-r----- 1 root root 24 Jun 29 09:59 xtrabackup_binlog_info
-rw-r----- 1 root root 119 Jun 29 09:59 xtrabackup_checkpoints
-rw-r----- 1 root root 489 Jun 29 09:59 xtrabackup_info
-rw-r----- 1 root root 2560 Jun 29 09:59 xtrabackup_logfile
xtrabackup_binlog_info :(备份时刻的binlog位置)
[ root@db01 full] # cat xtrabackup_binlog_info
mysql-bin.000003 536749
79de40d3-5ff3-11e9-804a-000c2928f5dd:1-7
记录的是备份时刻,binlog的文件名字和当时的结束的position,可以用来作为截取binlog时的起点。
xtrabackup_checkpoints :
backup_type = full-backuped
from_lsn = 0 上次所到达的LSN号( 对于全备就是从0开始,对于增量有别的显示方法)
to_lsn = 160683027 备份开始时间( ckpt) 点数据页的LSN
last_lsn = 160683036 备份结束后,redo日志最终的LSN
compact = 0
recover_binlog_info = 0
(1)备份时刻,立即将已经commit过的,内存中的数据页刷新到磁盘( CKPT) .开始备份数据,数据文件的LSN会停留在to_lsn位置。
(2)备份时刻有可能会有其他的数据写入,已备走的数据文件就不会再发生变化了。
(3)在备份过程中,备份软件会一直监控着redo的undo,如果一旦有变化会将日志也一并备走,并记录LSN到last_lsn。
从to_lsn ----》last_lsn 就是,备份过程中产生的数据变化.
Copy innobackupex 增量备份(incremental)
(1)增量备份的方式,是基于上一次备份进行增量。
(2)增量备份无法单独恢复。必须基于全备进行恢复。
(3)所有增量必须要按顺序合并到全备中。
增量备份命令
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
(1)删掉原来备份
略.
(2)全备(周日)
[ root@db01 backup] # innobackupex --user=root --password --no-timestamp /backup/full >&/tmp/xbk_full.log
(3)模拟周一数据变化
db01 [( none)] >create database cs charset utf8;
db01 [( none)] >use cs
db01 [ cs] >create table t1 ( id int) ;
db01 [ cs] >insert into t1 values( 1) ,( 2) ,( 3) ;
db01 [ cs] >commit;
(4)第一次增量备份(周一)
innobackupex --user= root --password= 123 --no-timestamp --incremental --incremental-basedir= /backup/full /backup/inc1 & >/tmp/inc1.log
(5)模拟周二数据
db01 [ cs] >create table t2 ( id int) ;
db01 [ cs] >insert into t2 values( 1) ,( 2) ,( 3) ;
db01 [ cs] >commit;
(6)周二增量
innobackupex --user= root --password= 123 --no-timestamp --incremental --incremental-basedir= /backup/inc1 /backup/inc2 & >/tmp/inc2.log
(7)模拟周三数据变化
db01 [ cs] >create table t3 ( id int) ;
db01 [ cs] >insert into t3 values( 1) ,( 2) ,( 3) ;
db01 [ cs] >commit;
db01 [ cs] >drop database cs;
Copy 恢复到周三误drop之前的数据状态
1
2
3
4
5
6
7
恢复思路:
1. 挂出维护页,停止当天的自动备份脚本
2. 检查备份:周日full+周一inc1+周二inc2,周三的完整二进制日志
3. 进行备份整理(细节),截取关键的二进制日志(从备份——误删除之前)
4. 测试库进行备份恢复及日志恢复
5. 应用进行测试无误,开启业务
6. 此次工作的总结
Copy 恢复过程
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
1. 检查备份
1afe8136-601d-11e9-9022-000c2928f5dd:7-9
2. 备份整理(apply-log)+合并备份(full+inc1+inc2)
( 1) 全备的整理
[ root@db01 one] # innobackupex --apply-log --redo-only /data/backup/full
( 2) 合并inc1到full中
[ root@db01 one] # innobackupex --apply-log --redo-only --incremental-dir=/data/backup/inc1 /data/backup/full
( 3) 合并inc2到full中
[ root@db01 one] # innobackupex --apply-log --incremental-dir=/data/backup/inc2 /data/backup/full
( 4) 最后一次整理全备
[ root@db01 backup] # innobackupex --apply-log /data/backup/full
3. 截取周二 23:00 到drop 之前的 binlog
[ root@db01 inc2] # mysqlbinlog --skip-gtids --include-gtids='1afe8136-601d-11e9-9022-000c2928f5dd:7-9' /data/binlog/mysql-bin.000009 >/data/backup/binlog.sql
4. 进行恢复
[ root@db01 backup] # mkdir /data/mysql/data2 -p
[ root@db01 full] # cp -a * /data/mysql/data2
[ root@db01 backup] # chown -R mysql. /data/*
[ root@db01 backup] # systemctl stop mysqld
vim /etc/my.cnf
datadir = /data/mysql/data2
systemctl start mysqld
Master [( none)] >set sql_log_bin = 0;
Master [( none)] >source /data/backup/binlog.sql
Copy 下面是我画的思维导图,可以很快加强记忆。