分享好友 最新动态首页 最新动态分类 切换频道
Redis缓存问题与缓存更新机制详解
2025-02-03 14:46
一、缓存问题1.1 缓存穿透1.1.1 问题来源1.1.2 解决方案1.2 缓存击穿1.2.1 问题来源1.2.2 解决方案1.3 缓存雪崩1.3.1 问题来源1.3.2 解决方案二、缓存更新机制2.1 缓存更新策略分类2.2 内存淘汰机制2.2.1 noeviction2.2.2 volatile-lru2.2.3 volatile-lfu2.2.4 volatile-ttl2.2.5 volatile-random2.2.6 allkey-lru2.2.7 allkey-lfu2.2.8 allkey-random2.3 超时剔除2.3.1 定时删除2.3.2 惰性删除2.4 主动更新2.4.1 主动更新策略2.4.2 主动更新策略需要考虑的三个问题2.5 缓存更新机制总结总结

1.1.1 问题来源

缓存穿透是指缓存和数据库中都没有的数据,而用户不断发起请求。由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义。在流量大时,可能DB就挂掉了,要是有人利用不存在的key频繁攻击我们的应用,这就是漏洞。

1.1.2 解决方案

1.1.2.1 缓存空对象

从缓存取不到的数据,在数据库中也没有取到,这时也可以将key-value对写为key-null,缓存有效时间可以设置短点,如30秒(设置太长会导致正常情况也没法使用)。这样可以防止攻击用户反复用同一个id暴力攻击。

1.1.2.2 使用布隆过滤器

类似于一个hash set,用于快速判某个元素是否存在于集合中,其典型的应用场景就是快速判断一个key是否存在于某容器,不存在就直接返回。布隆过滤器的关键就在于hash算法和容器大小。

1.2.1 问题来源

缓存击穿是指缓存某些热点数据失效(一般是缓存时间到期),这时由于并发用户特别多,同时读缓存没读到数据,又同时去数据库去取数据,引起数据库压力瞬间增大,造成过大压力。

1.2.2 解决方案

1.2.2.1 设置热点数据永远不过期

可以在刷缓存时,设置热点数据不过期。

1.2.2.2 新增后台定时更新缓存线程(逻辑不过期)

后台新增一个缓存更新线程,缓存快要过期前刷新缓存时间,防止缓存失效。

1.2.2.3 使用分布式互斥锁

可以使用Redis提供的分布式互斥锁,保证只有一个请求查询数据库和更新缓存,其他请求阻塞等待缓存更新完成后在访问缓存。

1.2.2.4 接口限流与熔断,降级

重要的接口一定要做好限流策略,防止用户恶意刷接口,同时要降级准备,当接口中的某些服务不可用时候,进行熔断,失败快速返回机制。

1.3.1 问题来源

缓存雪崩是指Redis缓存不能正常提供服务了(阻塞、服务宕机、大面积缓存失效等造成),导致所有请求都落到了数据库上,增加了数据库压力或者导致数据库宕机。

1.3.2 解决方案

1.3.2.1 缓存过期时间随机

缓存数据的过期时间设置随机,防止同一时间大量数据过期现象发生。

1.3.2.2 分布式部署

采用分布式部署方式部署缓存,避免缓存服务单节点,同时将热点数据均匀分布在不同的缓存数据库中。

1.3.2.3 设置热点数据永远不过期

可以在刷缓存时,设置热点数据不过期。

1.3.2.4 接口限流与熔断,降级

重要的接口一定要做好限流策略,防止用户恶意刷接口,同时要降级准备,当接口中的某些服务不可用时候,进行熔断,失败快速返回机制。

内存淘汰超时剔除主动更新说明重要的接口一定要做好限流策略,防止用户恶意刷接口,同时要降级准备,当接口中的某些服务不可用时候,进行熔断,失败快速返回机制。给缓存数据添加TTL时间,到期后自动删除缓存,下次查询时更新缓存编写业务逻辑,在修改数据的同时,更新缓存一致性差一般好维护成本无低高

2.2.1 noeviction

不淘汰,这是默认的淘汰策略;

当内存达到限制后,写请求(set)会返回错误,读请求(get)和删除请求(del)可以继续进行

2.2.2 volatile-lru

内存不足时,在设置了过期时间的key中,优先删除最近最少使用的key

2.2.3 volatile-lfu

内存不足时,在设置了过期时间的key中,优先删除使用频率最少的key

2.2.4 volatile-ttl

内存不足时,在设置了过期时间的key中,优先删除存活剩余时间最少的key

2.2.5 volatile-random

内存不足时,在设置了过期时间的key中,随机删除某个key

2.2.6 allkey-lru

内存不足时,在全体key范围内,优先删除最近最少使用的key

2.2.7 allkey-lfu

内存不足时,在全体key范围内,优先删除使用频率最少的key

2.2.8 allkey-random

内存不足时,在全体key范围内,随机删除某个key

2.3.1 定时删除

设置一个定时任务,随机抽取部分过期时间的key,检查是否过期,过期了就清除掉

2.3.2 惰性删除

查询获取数据时,检查缓存是否过期,过期则删除,没过期不删除

Redis 默认采用惰性删除+定时删除结合的过期策略

2.4.1 主动更新策略

2.4.1.1 Cache Aside Pattern

由缓存的调用者在更新数据库的同时更新缓存

2.4.1.2 Read/Write Through Pattern

缓存和数据库整合为一个服务,由服务来维护一致性。调用者调用服务,不用关心一致性问题。

2.4.1.3 Write Behind Caching Pattern

调用者只操作缓存,由其他线程异步的将缓存数据持久化到数据库,最终保持一致。

在企业中使用最多的主动更新策略是 Cache Aside Pattern。也就是我们自己编码来保证数据的一致性。

2.4.2 主动更新策略需要考虑的三个问题

2.4.1 删除缓存还是更新缓存?

2.4.1.1 删除缓存

更新数据库时让缓存失效,查询时再更新缓存。(延迟加载)一般选择这个方案。

这个方案比较合理一点,可以避免过多的无效写操作,缓存删除后,只要没人来查询这条数据,数据就不会被写入缓存,这样就可以避免大量无效的写操作

2.4.1.2 更新缓存

每次更新数据库都更新缓存,无效写操作比较多。

这种方式的缺点很明显,举个例子:假如我更新了100次数据库,然后又同时更新了100次缓存,但是在更新的时候并没有人来查这个数据,那么我更新这100次缓存好像也没啥用吧,相当于前99次都是无用功,只有最后一次才是有用的。这就是无效写操作过多的原因。

2.4.2 如何保证缓存与数据库的操作同时成功或失败?

1)单体系统,将缓存与数据库操作放在一个事务中。

2)分布式系统,利用TCC等分布式事务方案。

2.4.3 先操作缓存还是数据库?

2.4.3.1 先删除缓存,再操作数据库

这种方式存在很明显的问题,假设有两个并发操作,线程A更新,线程B查询。线程A先删除缓存,然后还没来得及更新数据库,CPU资源被线程B抢走,线程B查询缓存发现没有命中(因为已经被线程A删除了),查询数据库,然后把结果写入到缓存中。这个时候线程A终于抢到CPU资源了,然后更新数据库,此时就会造成数据不一致问题。

2.4.3.2 先操作数据库,再删除缓存

这种处理方式使用的频率是最高的,因为出错的概率非常小,只有一种比较极端的情况才会出现数据一致性问题。

同样有两个并发请求,线程A查询、线程B更新,当线程A查询的时候,缓存刚好失效,然后就去查询数据库拿到数据,在准备写入缓存的时候,CPU资源被线程B抢走,线程B开始更新数据库,然后删除缓存(这一步其实等于无用,因为缓存已经过期)。此时线程A再次获取到CPU资源,然后写入缓存,此时写入的是更新前的旧数据,会产生数据一致性问题。

看起来这确实也是一个问题,但是我们仔细分析一下这种情况都需要满足哪些条件:

1)并发读写操作2)读缓存时,缓存刚好失效3)写数据库操作要比写缓存快

写数据库是操作磁盘,写缓存是操作内存的,所以不太可能会出现写磁盘的速度快于写内存的。因此使用这种方式出现数据一致性的概率是很小的。

2.4.3.3 延时双删策略

延迟双删策略是分布式系统中数据库存储和缓存数据保持一致性的常用策略,但它不是强一致。其实不管哪种方案,都避免不了Redis存在脏数据的问题,只能减轻这个问题,要想彻底解决,得要用到同步锁和对应的业务逻辑层面解决。

前面两种方案的不足点我们进行了分析,第二种方式的使用频率比较高,但是也有一些小缺陷,虽然说发生的概率很低,但是这个概率到了线上会不会发生也不好说,所以就有了延时双删策略对第二种方式做补充。

所谓延时双删就是先进行缓存清除,再执行数据库操作,最后(延迟N秒)再执行缓存清除。延迟N秒的时间要大于一次写操作的时间,这个延时N秒就是了完善保证第二种策略中不足,可以保证线程A的写缓存和线程B的修改数据库、删除缓存都执行完毕,然后再删除缓存一次,就可以保证后面再来的查询请求可以查询到最新数据。

ps: 一般的延时时间设置为3S左右,具体情况要根据业务场景取最佳值。

1)内存淘汰:不用自己维护,利用Redis内存淘汰机制,自动删除部分缓存数据,这些被删除的数据在下一次被查询时更新。这种方式一致性最差。2)超时剔除:给缓存数据加上过期时间 ,到期后自动删除,下次查询时更新,数据一致性问题大概率会出现。维护成本比较低。3)主动更新:编写业务逻辑,在修改数据库的同时更新缓存,一致性比较好,维护成本比较高。一般采用先操作数据库再更新缓存的方式。

一般在数据一致性要求比较低的场景下可以使用内存淘汰机制,比如商城首页的分类信息,这些东西基本上是不会变化的。如果一致性要求比较高,我们可以采用主动更新+超时剔除兜底的方式来处理。

最新文章
“好生态能换钱,逐渐成了共识”
本报记者 鲜 敢格林村与远处的雪山、近处的森林共同构成一幅生态画卷。黄家斌摄在西藏自治区墨脱县甘登乡,有一个叫“格林”的小山村。这里的春天,桃花竞相开放,森林茂密幽深,云海翻涌,雪山矗立,当地群众的生活更是比蜜甜。 从墨脱县
独家|专访F1 CEO多梅尼卡利:从赛道到荧幕 75岁F1讲述新故事
本报记者 尹丽梅 张硕 北京报道在2025赛季世界一级方程式锦标赛(F1)中国大奖赛落幕不久,F1主席兼CEO斯蒂法诺·多梅尼卡利(Stefano Domenicali),这位身上有着很多光环的传奇人物接受了《中国经营报》记者的专访。多梅尼卡利从2021年1
AI方大同、开设收费“纪念音乐会”,赋音乐维权
3月31日,赋音乐接连发布公告进行维权。其一是针对短视频平台中有一账号疑似利用方大同ai独白散布不实信息,操纵舆论,误导大众,其内容包含大量不实信息,对方大同造成不良影响,赋音乐向平台提起侵权投诉。其二是再度提示粉丝官方目前并
vivo Y37 远山青 6GB+128GB 天玑6300八核 双卡5G 5000毫安大电池 15W闪充 1300万影像手机参数vivoy37手机多少钱「vivo Y37 远山青 6GB+128GB
详细参数品牌:vivo型号:vivo Y37上市时间(日):2024-07-11入网许可证号:00-B220-241673整机质保年限:1年机身内存:128GB运行内存:6GB屏幕尺寸:6.56英寸屏幕分辨率:1600x720屏幕材质:LCD屏幕类型:全面屏屏幕前摄组合:水滴
从春晚舞台到消博会,宇树科技为何说机器人普及将不是梦?
当“AI孙悟空”作为中国馆唯一大模型展项,在日本大阪·关西世博会为全球游客提供中、日、英三国语言幽默问答和智慧导览时,这两天的海口,科大讯飞同样以国产自主可控讯飞星火大模型,向世界展示中国科技创新的先锋力量。第五届中国国际消
2025年粤港澳大湾区羽毛球混合团体赛即将开赛
记者4月9日获悉,2025年粤港澳大湾区羽毛球混合团体赛(宝安总决赛)将于4月19日至20日在深圳宝安体育馆举行,广州、深圳、珠海、佛山、惠州、东莞、中山、江门、肇庆以及香港、澳门等11个城市的24支羽毛球精英队伍将齐聚深圳,共同赛出湾
手机数据恢复管家手机短信一键恢复「手机数据恢复管家」
手机数据恢复管家是一款手机上照片恢复及数据库管理类软件工具。不用申请注册,专注于对于开展数据化管理。一键扫描仪迅速恢复手机拍摄的图片,相册图片中查询太大图的恢复几率更高一些,找回手机图片,文档,视频。归类展现图片,文档,视
激光雷达、高阶智驾都是基操?这款中大型SUV,还有车载无人机
如今我国汽车市场上,新能源汽车逐渐成为主流,各种新能源车型得到消费者喜爱,汽车市场的发展呈现“智能化”的特点。什么是智能化?在很多消费者的眼里,除去车辆座舱内部,需要搭载大尺寸屏幕,支持各种智能互联功能之外,还要搭载丰富的
OPPO手机的差异化营销策略分析 .pdf手机营销「OPPO手机的差异化营销策略分析 .pdf」
新校园百家讲坛OPPO手机的差异化营销策略分析 何 迪 潘 婷 (通化师范学院工商管理学院,吉林 通化 134001) 摘要:我国手机市场发展迅速,一直处于销量上升趋势。在手机市场竞争愈发激烈的情况下,差异化营销的地位日益突出。以手机市
什么样的手机壳更适合你呢?你必须了解的手机壳材质!手机壳什么材质的好「什么样的手机壳更适合你呢?你必须了解的手机壳材质!」
​​从聚碳酸酯(PC)的坚韧与透明,到硅胶的柔软与耐用,再到金属的高档与风格,手机壳的材质丰富多样,每一种都有其独特的特点与优势。那么怎样更适合呢?不妨看看下面手机壳优缺点!选购适合你的那款手机壳! ​聚碳酸酯 优点:耐冲击
相关文章
推荐文章
发表评论
0评