Redis 持久化

/ 云计算分布式NoSQL / 没有评论 / 870浏览

Redis

前言

Redis 是缓存数据库、但是也有持久化的能力。那么为什么需要持久化的能力呢？

  1. Redis是内存数据库，宕机后数据会消失。
  2. Redis重启后快速恢复数据，要提供持久化机制
  3. Redis持久化是为了快速的恢复数据而不是为了存储数据。

Redis有两种持久化方式:RDB和AOF
注意:Redis持久化不保证数据的完整性。 当Redis用作DB时，DB数据要完整，所以一定要有一个完整的数据源(文件、mysql) 在系统启动时，从这个完整的数据源中将数据load到Redis中 数据量较小，不易改变，比如:字典库(xml、Table) 通过info命令可以查看关于持久化的信息
实际场景中缓存数据库的数据可通过MySQL等持久化数据库保存数据源、并恢复。

一 RDB

RDB(Redis DataBase)，是redis默认的存储方式，RDB方式是通过快照( snapshotting )完成的。不关注过程。

1.1 RDB 执行流程

alt

  1. Redis父进程首先判断:当前是否在执行save，或bgsave/bgrewriteaof(aof文件重写命令)的子进程，如果在执行则bgsave命令直接返回。
  2. 父进程执行fork(调用OS(操作系统)函数复制主进程)操作创建子进程，这个复制过程中父进程是阻塞的， Redis不能执行来自客户端的任何命令。
  3. 父进程fork后，bgsave命令返回”Background saving started”信息并不再阻塞父进程，并可以响 应其他命令。
  4. 子进程创建RDB文件，根据父进程内存快照生成临时快照文件，完成后对原有文件进行原子替换。 (RDB始终完整)
  5. 子进程发送信号给父进程表示完成，父进程更新统计信息。
  6. 父进程fork子进程后，继续工作。

1.2 RDB文件结构

alt 1、头部5字节固定为“REDIS”字符串
2、4字节“RDB”版本号(不是Redis版本号)，当前为9，填充后为0009
3、辅助字段，以key-value的形式
alt 4、存储数据库号码
5、字典大小
6、过期key
7、主要数据，以key-value的形式存储
8、结束标志 9、校验和，就是看文件是否损坏，或者是否被修改。

1.3 RDB总结

优点
RDB是二进制压缩文件，占用空间小，便于传输(传给slaver) 主进程fork子进程，可以最大化Redis性能，主进程不能太大，Redis的数据量不能太大，复制过程中主进程阻塞.
缺点
不保证数据完整性，会丢失最后一次快照以后更改的所有数据.

二 AOF

2.1 AOF 实现

和 RDB 持久化数据库键值对来记录数据库状态不同，AOF 是通过保存对数据库的写命令集来记录数据库状态的。AOF 持久化实现可以分为命令追加(append)、文件写入(write)、文件同步(fsync) 三个步骤。Append 追加命令到 AOF 缓冲区，Write 将缓冲区的内容写入到程序缓冲区，Fsync 将程序缓冲区的内容写入到文件。

命令追加

当 AOF 持久化功能打开时，server 端每执行完一个写命令，会以协议格式将被执行的写命令追加到 server 端 redisServer 结构体中的 aof_buf 缓冲区末尾。

文件写入与同步

Redis server 进程是一个事件循环(event loop)，server 每结束一个事件循环之前都会调用 flushAppendOnlyFile 函数，考虑是否将 aof_buf 缓冲区中的内容吸入和保存到 AOF 文件，而 flushAppendOnlyFile 函数的行为由 appendfsync 选项来控制 alt

2.2 AOF 的优点

比RDB可靠。你可以制定不同的 fsync 策略：no、everysec 和 always。默认是 everysec。这意味着你最多丢失一秒钟的数据。

AOF日志文件是一个纯追加的文件。就算是遇到突然停电的情况，也不会出现日志的定位或者损坏问题。甚至如果因为某些原因（例如磁盘满了）命令只写了一半到日志文件里，我们也可以用 redis-check-aof 这个工具很简单的进行修复。

当AOF文件太大时，Redis 会自动在后台进行重写。重写很安全，因为重写是在一个新的文件上进行，同时 Redis 会继续往旧的文件追加数据。新文件上会写入能重建当前数据集的最小操作命令的集合。当新文件重写完，Redis 会把新旧文件进行切换，然后开始把数据写到新文件上。

AOF 把操作命令以简单易懂的格式一条接一条的保存在文件里，很容易导出来用于恢复数据。例如我们不小心用 FLUSHALL 命令把所有数据刷掉了，只要文件没有被重写，我们可以把服务停掉，把最后那条命令删掉，然后重启服务，这样就能把被刷掉的数据恢复回来。

2.3 AOF 的缺点

在相同的数据集下，AOF 文件的大小一般会比 RDB 文件大。

在某些 fsync 策略下，AOF 的速度会比 RDB 慢。通常 fsync 设置为每秒一次就能获得比较高的性能，而在禁止 fsync 的情况下速度可以达到 RDB 的水平。

在过去曾经发现一些很罕见的BUG导致使用AOF重建的数据跟原数据不一致的问题。

本文由 chaoohuua 创作，采用 知识共享署名4.0 国际许可协议进行许可
本站文章除注明转载/出处外，均为本站原创或翻译，转载前请务必署名
最后编辑时间为: 2023/03/07 17:45