数据库系列：大厂使用数据库中间件解决什么问题？

相关文章

数据库系列：MySQL慢查询分析和性能优化
数据库系列：MySQL索引优化总结（综合版）
数据库系列：高并发下的数据字段变更
数据库系列：覆盖索引和规避回表
数据库系列：数据库高可用及无损扩容
数据库系列：使用高区分度索引列提升性能
数据库系列：前缀索引和索引长度的取舍
数据库系列：MySQL引擎MyISAM和InnoDB的比较
数据库系列：InnoDB下实现高并发控制
数据库系列：事务的4种隔离级别
数据库系列：RR和RC下，快照读的区别
数据库系列：MySQL InnoDB锁机制介绍
数据库系列：MySQL不同操作分别用什么锁？
数据库系列：业内主流MySQL数据中间件梳理

1 背景

互联网大厂的业务场景，业务流量的规模都可以达到千万甚至亿级别，这时候简单的数据层连接和调用无法承接业务规模的需求。
需要数据库中间件来管理一些中间桥接工作，类似 连接池、负载均衡、故障隔离、监控预警等工作，大幅度提高性能和稳定性，应对大流量的冲击。
下面我们具体来看看，我们使用数据库中间件具体解决哪些存在痛点的业务场景。

2 数据库中间件解决的问题和实现方案

2.1 连接池管理

2.1.1 业务场景

客户端连接无限制，不可复用，不可隔离，业务间互相影响（如单个服务超载调用可能导致雪崩）

2.1.2 解决方案

归口到Proxy统一管理，提供连接池、连接数限制、重试、超时断开保护等能力。

如上，各业务线统一读写访问入口，所以业务连接池不会有

db1.read:3306,db2.write.com:3306

而是统一只有

db.all:3306

Service服务对db的访问，统一到一个入口上来了，由中间层来对请求进行智能路由、连接池管理、限流、重试、超时等工作。这种模式解决了业务直接管理数据实现层的问题。

2.2 读写分离机制

2.2.1 业务场景

需要为业务提供读写分离机制，而不是由业务花费精力去维护

2.2.2 解决方案

数据服务存在主从部署模式，业务在路有时Porxy自动区分读写，写路由到主存储服务（master），读路由到从存储服务（slave）
对业务是透明的，业务开发的同学无需关注读写的隔离。

这边可以看到，Proxy会自动将读和写操作分流，业务开发人员无需关注即可。

2.3 负载均衡策略

2.3.1 业务场景

需要为数据库分片提供负载均衡机制，如果多个读库甚至多个写库，需要一定的负载策略，类似VIP

2.3.2 解决方案

归口到Proxy统一管理，提供负载均衡能力，包括但不限于：

• 轮询（Round Robin）
• 来源 IP 哈希（IP Hash）
• 最少连接（Least Connection）
• 加权轮询（Weighted Round Robin）
• 加权最少连接（Weighted Least Connection）
• 随机策略

2.4 数据库分库分表sharding

2.4.1 业务场景

数据量比较大的场景下，需提供业务分库分表能力

2.4.2 解决方案

调用方屏蔽分表细节，跟单表操作一直。Proxy实现对分库分表的核心细节，不同大部分中间件会有一些限制（如带分表字段，不支持跨库join等）

从上面的图中可以看到，Proxy在逻辑表和物理表中间起桥接作用，开发同学不需要知道太多细节，也不需要改变访问的SQL脚本。

2.5 故障切换

2.5.1 业务场景

主/备发生异常、宕机等故障，需业务来处理故障切换

2.5.2 解决方案

屏蔽后端DB故障问题，自动故障切换

1. master 故障，slave切换为master
   

2. slave 故障，多副本模式下进行异常副本的驱逐
   

3. slave 故障，单实例情况下读写都调度到master
   

2.6 安全保障等

常见问题	说明	解决方案
权限	1. 账号权限放太开，没有最小化权限； 2.机器迁移等都需手动申请权限较麻烦	1. 通过user/pwds/ip等做权限控制，最小化权限。 2. 机器迁移自动权限扩缩容。
安全	需业务自己处理sql注入，核心数据加密等问题	Proxy增加一层保护机制，包含sql注入，sql黑名单（如sleep/drop），数据加密等
日志审计	MySQL 数据被修改了，无法确认被谁修改的	提供便捷的日志审计，日志流控和动态变更，方便定位查询

2.7 监控和预警

2.7.1 业务场景

需业务根据自己需求搭建监控系统

2.7.2 解决方案

提供诸多监控和预警能力，包括但不限于：
连接数监测、慢查询数统计、慢请求Sql采集、Sql语句统计、索引命中率分析、索引分析、DB负载、所属主机性能分析

2.8 备份和恢复能力

2.8.1 业务场景

Proxy需要为业务提供备份能力，通过简单配置即可，避免业务花费较大精力关注

2.8.2 解决方案

• 提供多种类备份策略，一键配置
  • 全量备份
  • 增量备份
• 备份模式
  • 定时备份
  • 手动备份
• 通过管控平台功能快速恢复数据
  • 指定范围恢复，精确到表
  • 指定时间恢复，精确到秒

参考以下备份流程：

3 总结

本文介绍了互联网场景数据库中间件主要解决的业务难题，后续有时间我们详细介绍下下业内评价较高的几种数据库中间件，如 ProxySQL、 DBProxy、TDDL 等。