MySQL学习笔记备份恢复工具介绍
逻辑：** mongoexport/mongoimport 用作迁移，不常用，导出json csv 1.异构平台迁移 mysql <---> mongodb 2.同平台，跨大版本：mongodb 2 ----> mongodb 3 --------------------------------- 物理：***** mongodump/mongorestore 日常备份恢复时使用
导出工具mongoexport
1.单表备份至json格式
mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log -o /mongodb/log.json 注：备份文件的名字可以自定义，默认导出了JSON格式的数据。
2. 单表备份至csv格式
如果我们需要导出CSV格式的数据，则需要使用----type=csv参数： mongoexport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log --type=csv -f uid,name,age,date -o /mongodb/log.csv ---------------------------- 把csv文件导出到windows桌面 [mongod@db01 ~]$ sz /mongodb/log.csv
导入工具mongoimport
1.恢复json格式表数据到log1 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log1 /mongodb/log.json 2.恢复csv格式的文件到log2 上面演示的是导入JSON格式的文件中的内容，如果要导入CSV格式文件中的内容，则需要通过--type参数指定导入格式。 注意： （1）csv格式的文件头行，有列名字 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log2 --type=csv --headerline --file /mongodb/log.csv （2）csv格式的文件头行，没有列名字 mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log3 --type=csv -f id,name,age,date --file /mongodb/log.csv --headerline:指明第一行是列名，不需要导入。
异构平台迁移案例
mysql -----> mongodb world数据库下city表进行导出，导入到mongodb
（1）mysql开启安全路径
vim /etc/my.cnf --->添加以下配置 secure-file-priv=/tmp --重启数据库生效 /etc/init.d/mysqld restart
（2）导出mysql的city表数据
source /root/world.sql select * from world.city into outfile '/tmp/city1.csv' fields terminated by ',';
（3）处理备份文件
desc world.city ID | int(11) | NO | PRI | NULL | auto_increment | | Name | char(35) | NO | | | | | CountryCode | char(3) | NO | MUL | | | | District | char(20) | NO | | | | | Population vim /tmp/city.csv ----> 添加第一行列名信息 ID,Name,CountryCode,District,Population
(4)在mongodb中导入备份
mongoimport -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c city
--type=csv -f ID,Name,CountryCode,District,Population --file /tmp/city1.csv
[mongod@db01 ~]$ mongo -uroot -proot123 admin
> use world
> show tables;
city
db.city.find({CountryCode:"CHN"});
world共100张表，全部迁移到mongodb
导入：
提示，使用infomation_schema.columns + information_schema.tables
select table_name ,group_concat(column_name) from columns where table_schema='world' group by table_name;获取所有列名字
select * from world.city into outfile '/tmp/world_city.csv' fields terminated by ',';
select concat("select * from ",table_schema,".",table_name ," into outfile '/tmp/",table_schema,"_",table_name,".csv' fields terminated by ',';")
from information_schema.tables where table_schema ='world';
mysql导出csv
select * from test_info into outfile '/tmp/test.csv' fields terminated by ',' ------字段间以,号分隔 optionally enclosed by '"' ------字段用"号括起 escaped by '"' ------字段中使用的转义符为" lines terminated by '\r\n'; ------行以\r\n结束
mysql导入csv
load data infile '/tmp/test.csv' into table test_info fields terminated by ',' optionally enclosed by '"' escaped by '"' lines terminated by '\r\n';
mongodump和mongorestore
mongodump能够在Mongodb运行时进行备份，它的工作原理是对运行的Mongodb做查询，然后将所有查到的文档写入磁盘。 但是存在的问题时使用mongodump产生的备份不一定是数据库的实时快照，如果我们在备份时对数据库进行了写入操作， 则备份出来的文件可能不完全和Mongodb实时数据相等。另外在备份时可能会对其它客户端性能产生不利的影响。
mongodump参数说明
$ mongodump --help 参数说明： -h:指明数据库宿主机的IP -u:指明数据库的用户名 -p:指明数据库的密码 -d:指明数据库的名字 -c:指明collection的名字 -o:指明到要导出的文件名 -q:指明导出数据的过滤条件 -j, --numParallelCollections= number of collections to dump in parallel (4 by default) --oplog 备份的同时备份oplog
基本使用
全库备份 mkdir /mongodb/backup mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup 备份world库 mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -o /mongodb/backup/ 备份oldboy库下的log集合 $ mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -c log -o /mongodb/backup/ 压缩备份 mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy -o /mongodb/backup/ --gzip mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -o /mongodb/backup/ --gzip mongodump -uroot -proot123 --port 27017 --authenticationDatabase admin -d app -c vast -o /mongodb/backup/ --gzip 恢复world库 mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d world1 /mongodb/backup/world 恢复oldguo库下的t1集合 mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d world -c t1 --gzip /mongodb/backup.bak/oldboy/log1.bson.gz drop表示恢复的时候把之前的集合drop掉(危险) mongorestore -uroot -proot123 --port 27017 --authenticationDatabase admin -d oldboy --drop /mongodb/backup/oldboy
mongodump和mongorestore高级企业应用（--oplog）
注意：这是replica set或者master/slave模式专用 --oplog use oplog for taking a point-in-time snapshot
oplog介绍
在replica set中oplog是一个定容集合（capped collection），它的默认大小是磁盘空间的5%（可以通过--oplogSizeMB参数修改）. ----------------------------------------------- 位于local库的db.oplog.rs，有兴趣可以看看里面到底有些什么内容。 其中记录的是整个mongod实例一段时间内数据库的所有变更（插入/更新/删除）操作。 当空间用完时新记录自动覆盖最老的记录。 其覆盖范围被称作oplog时间窗口。需要注意的是，因为oplog是一个定容集合， 所以时间窗口能覆盖的范围会因为你单位时间内的更新次数不同而变化。 想要查看当前的oplog时间窗口预计值，可以使用以下命令： my_repl:PRIMARY> use local my_repl:PRIMARY> show tables; me oplog.rs my_repl:PRIMARY> db.oplog.rs.find().pretty() "ts" : Timestamp(1553597844, 1), "op" : "n" "o" : ---------------------------------------------- "i": insert "u": update "d": delete "c": db cmd --------------------------------- test:PRIMARY> rs.printReplicationInfo() configured oplog size: 1561.5615234375MB <--集合大小 log length start to end: 423849secs (117.74hrs) <--预计窗口覆盖时间 oplog first event time: Wed Sep 09 2015 17:39:50 GMT+0800 (CST) oplog last event time: Mon Sep 14 2015 15:23:59 GMT+0800 (CST) now: Mon Sep 14 2015 16:37:30 GMT+0800 (CST)
oplog企业级应用
（1）实现热备，在备份时使用--oplog选项
注：为了演示效果我们在备份过程，模拟数据插入
（2）准备测试数据
[mongod@db01 ~]$ mongo --port 28017
my_repl:PRIMARY>use oldboy
my_repl:PRIMARY>for(var i = 1 ;i < 100; i++) {
db.foo.insert({a:i});
}
my_repl:PRIMARY> use local
switched to db local
my_repl:PRIMARY> db.oplog.rs.find({"op":"i"}).pretty()
---------------------------------------------
oplog 配合mongodump实现热备
mongodump --port 28017 --oplog -o /mongodb/backup
作用介绍：--oplog 会记录备份过程中的数据变化。会以oplog.bson保存下来
恢复
mongorestore --port 28017 --oplogReplay /mongodb/backup
oplog高级应用案例
背景：每天0点全备，oplog恢复窗口为48小时 某天，上午10点world.city 业务表被误删除。
恢复思路
0、停应用 2、找测试库 3、恢复昨天晚上全备 4、截取全备之后到world.city误删除时间点的oplog，并恢复到测试库 5、将误删除表导出，恢复到生产库
1、全备数据库
模拟原始数据
mongo --port 28017
use wo
for(var i = 1 ;i < 20; i++) {
db.ci.insert({a: i});
}
全备:
rm -rf /mongodb/backup/*
mongodump --port 28017 --oplog -o /mongodb/backup
---------------------------------------
--oplog功能:在备份同时,将备份过程中产生的日志进行备份
文件必须存放在/mongodb/backup下,自动命令为oplog.bson
---------------------------------------
再次模拟数据
db.ci1.insert({id:1})
db.ci2.insert({id:2})
2、上午10点：删除wo库下的ci表
10:00时刻,误删除
my_repl:PRIMARY> use oldboy
my_repl:PRIMARY> db.ci1.insert({id:1})
WriteResult({ "nInserted" : 1 })
my_repl:PRIMARY> db.ci2.insert({id:2})
WriteResult({ "nInserted" : 1 })
my_repl:PRIMARY> show tables;
ci1
ci2
foo
log
my_repl:PRIMARY> db.ci1.drop()
3、备份现有的oplog.rs表
mongodump --port 28017 -d local -c oplog.rs -o /mongodb/backup
4、截取oplog并恢复到drop之前的位置
更合理的方法：登陆到原数据库
[mongod@db03 local]$ mongo --port 28017
my_repl:PRIMARY> use local
my_repl:PRIMARY> show tables;
oplog.rs
my_repl:PRIMARY> db.oplog.rs.find({op:"c"}).pretty();
{
"ts" : Timestamp(1603986220, 1),
"t" : NumberLong(3),
"h" : NumberLong("4511253627425891661"),
"v" : 2,
"op" : "c",
"ns" : "oldboy.$cmd",
"ui" : UUID("a8b2c15a-c71c-4b26-8ae2-eb854f110794"),
"wall" : ISODate("2020-10-29T15:43:40.173Z"),
"o" : {
"drop" : "ci1"
}
}
获取到oplog误删除时间点位置:"ts" : Timestamp(1603986220, 1),
5、恢复备份+应用oplog
[mongod@db01 backup]$ cd /mongodb/backup/local/ [mongod@db01 local]$ ls oplog.rs.bson oplog.rs.metadata.json [mongod@db01 local]$ cp oplog.rs.bson ../oplog.bson [mongod@db01 local]$ rm -rf /mongodb/backup/local/ 一般找一个测试库进行恢复： mongorestore --port 38021 --oplogReplay --oplogLimit "1603986220:1" --drop /mongodb/backup/ 查看恢复是否成功 [mongod@db01 oldboy]$ mongo --port 38021 sh1:PRIMARY> use oldboy sh1:PRIMARY> show tables;
分片集群的备份思路
1、你要备份什么？ config server shard 节点 单独进行备份 2、备份有什么困难和问题 （1）chunk迁移的问题 人为控制在备份的时候，避开迁移的时间窗口 （2）shard节点之间的数据不在同一时间点。 选业务量较少的时候 Ops Manager