第 1 章 Mysql 逻辑架构

作者: Brinnatt 分类: mysql 经验专题 发布时间: 2023-01-13 15:24

1.1、逻辑架构剖析

首先 MySQL 是典型的 C/S 架构,即 Clinet/Server 架构,服务端程序使用的 mysqld。

不论客户端进程和服务器进程是采用哪种方式进行通信,最后实现的效果是:客户端进程向服务器进程发送一段文本(SQL语句),服务器进程处理后再向客户端进程发送一段文本(处理结果)

那服务器进程对客户端进程发送的请求做了什么处理,才能产生最后的处理结果呢?这里以查询请求为例展示:

从我们可以理解的角度:

mysql arch

官方逻辑架构图:

mysql_arch1

1.1.1、Connectors

Connectors 指的是不同语言中与 SQL 的交互。MySQL 首先是一个网络程序,在 TCP 之上定义了自己的应用层协议。所以要使用 MySQL,我们可以编写代码,跟 MySQL Server 建立TCP连接,之后按照其定义好的协议进行交互。

或者比较方便的方法是调用 SDK,比如 Native C API、JDBC、PHP 等各语言 MySQL Connecotr,或者通过 ODBC。但通过 SDK 来访问 MySQL,本质上还是在 TCP 连接上通过 MySQL 协议跟 MySQL 进行交互。

1.1.2、MySQL Server

MySQL Server 结构可以分为如下三层:

  1. 连接层

    系统(客户端)访问 MySQL 服务器前,做的第一件事就是建立 TCP 连接。 经过三次握手建立连接成功后,MySQL 服务器对 TCP 传输过来的账号密码做身份认证、权限获取。

    • 用户名或密码不对,会收到一个 Access denied for user 错误,客户端程序结束执行。
    • 用户名密码认证通过,会从权限表查出账号拥有的权限与连接关联,之后的权限判断逻辑,都将依赖于此时读到的权限。

    MySQL Server 收到 TCP 连接请求后,必须要分配一个线程专门与这个客户端进行交互。所以还会有个线程池,去走后面的流程。每一个连接从线程池中获取线程,省去了创建和销毁线程的开销。

    所以连接管理的职责是负责认证、管理连接、获取权限信息。

  2. 服务层

    第二层架构主要完成大多数的核心服务功能,如 SQL 接口,并完成缓存的查询,SQL 的分析和优化及部分内置函数的执行。所有跨存储引擎的功能也在这一层实现,如过程、函数等。

    在该层,服务器会解析查询并创建相应的内部解析树,并对其完成相应的优化:如确定查询表的顺序,是否利用索引等,最后生成相应的执行操作。

    如果是 SELECT 语句,服务器还会查询内部的缓存。如果缓存空间足够大,这样在解决大量读操作的环境中能够很好的提升系统的性能。

    • SQL Interface:SQL 接口

      • 接收用户的 SQL 命令,并且返回用户需要查询的结果。比如 SELECT ... FROM 就是调用 SQL Interface。
      • MySQL 支持 DML(数据操作语言)、DDL(数据定义语言)、存储过程、视图、触发器、自定 义函数等多种 SQL 语言接口。
    • Parser:解析器

      • 在解析器中对 SQL 语句进行语法分析、语义分析。将 SQL 语句分解成数据结构,并将这个结构传递到后续步骤,以后 SQL 语句的传递和处理就是基于这个结构。如果在分解构成中遇到错误,那么就说明这个 SQL 语句是不合理的。
      • 在 SQL 命令传递到解析器的时候会被解析器验证和解析,并为其创建语法树 ,并根据数据字典丰富查询语法树,会验证该客户端是否具有执行该查询的权限 。创建好语法树后,MySQL 还会对 SQl 查询进行语法上的优化,进行查询重写。
    • Optimizer:查询优化器

      • SQL 语句在语法解析之后、查询之前会使用查询优化器确定 SQL 语句的执行路径,生成一个执行计划 。

      • 这个执行计划表明应该使用哪些索引进行查询(全表检索还是使用索引检索),表之间的连接顺序如何,最后会按照执行计划中的步骤调用存储引擎提供的方法来真正的执行查询,并将查询结果返回给用户。

      • 例如:使用 "选取-投影-连接" 策略进行查询。

      SELECT id,name FROM student WHERE gender = '女';

      这个 SELECT 查询先根据 WHERE 语句进行选取 ,而不是将表全部查询出来以后再进行 gender 过 滤。

      这个 SELECT 查询先根据 id 和 name 进行属性投影,而不是将属性全部取出以后再进行过滤,将这两个查询条件连接起来生成最终查询结果。

    • Caches & Buffers: 查询缓存组件

      • MySQL 内部维持着一些 Cache 和 Buffer,比如 Query Cache 用来缓存一条 SELECT 语句的执行结 果,如果能够在其中找到对应的查询结果,那么就不必再进行查询解析、优化和执行的整个过程了,直接将结果反回给客户端。
      • 这个缓存机制是由一系列小缓存组成的。比如表缓存,记录缓存,key 缓存,权限缓存等。这个查询缓存可以在不同客户端之间共享。
      • 从 MySQL 5.7.20 开始,不推荐使用查询缓存,并在 MySQL 8.0 中删除 。
  3. 引擎层

    插件式存储引擎层( Storage Engines),真正地负责了 MySQL 中数据的存储和提取,对物理服务器级别维护的底层数据执行操作,服务器通过 API 与存储引擎进行通信。不同的存储引擎具有的功能不同,这样我们可以根据自己的实际需要进行选取。

    Server version: 8.0.30 MySQL Community Server 默认支持的存储引擎如下:

    mysql> show engines;
    +--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
    | Engine             | Support | Comment                                                        | Transactions | XA   | Savepoints |
    +--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
    | FEDERATED          | NO      | Federated MySQL storage engine                                 | NULL         | NULL | NULL       |
    | MEMORY             | YES     | Hash based, stored in memory, useful for temporary tables      | NO           | NO   | NO         |
    | InnoDB             | DEFAULT | Supports transactions, row-level locking, and foreign keys     | YES          | YES  | YES        |
    | PERFORMANCE_SCHEMA | YES     | Performance Schema                                             | NO           | NO   | NO         |
    | MyISAM             | YES     | MyISAM storage engine                                          | NO           | NO   | NO         |
    | MRG_MYISAM         | YES     | Collection of identical MyISAM tables                          | NO           | NO   | NO         |
    | BLACKHOLE          | YES     | /dev/null storage engine (anything you write to it disappears) | NO           | NO   | NO         |
    | CSV                | YES     | CSV storage engine                                             | NO           | NO   | NO         |
    | ARCHIVE            | YES     | Archive storage engine                                         | NO           | NO   | NO         |
    +--------------------+---------+----------------------------------------------------------------+--------------+------+------------+
    9 rows in set (0.00 sec)

最后就是操作系统存储层:

所有的数据,数据库、表的定义,表的每一行的内容,索引,都是存在文件系统 上,以文件的方式存在的,并完成与存储引擎的交互。

当然有些存储引擎比如 InnoDB,也支持不使用文件系统直接管理裸设备,但现代文件系统的实现使得这样做没有必要了。在文件系统之下,可以使用本地磁盘,可以使用 DAS、NAS、SAN 等各种存储系统。

1.2、SQL 执行流程

1.2.1、MySQL 中的 SQL 执行流程

mysql_sql_process

MySQL 的查询流程:

  1. 查询缓存:Server 如果在查询缓存中发现了这条 SQL 语句,就会直接将结果返回给客户端;如果没有,就进入到解析器阶段。需要说明的是,因为查询缓存往往效率不高,所以在 MySQL8.0 之后就抛弃了这个功能。

    目前为止,还有相当部分企业在使用 mysql 5.7.x 版本,所以下面使用 Server version: 5.7.39 MySQL Community Server 进行实验。mysql 8.0.x 以上版本不能操作,因为该功能已废弃。

    查询缓存往往弊大于利,查询缓存的失效非常频繁。

    一般建议大家在静态表里使用查询缓存,什么叫静态表呢?就是一般我们极少更新的表。比如,一个系统配置表、字典表,这张表上的查询才适合使用查询缓存。

    好在 MySQL 也提供了这种按需使用的方式。你可以把 my.cnf 中 query_cache_type 参数设置成 DEMAND,代表当 sql 语句中有 SQL_CACHE 关键字时才缓存。比如:

    # query_cache_type 有3个值。 0代表关闭查询缓存OFF,1代表开启ON,2代表(DEMAND)
    query_cache_type=2

    这样对于默认的 SQL 语句都不使用查询缓存。而对于你确定要使用查询缓存的语句,可以供 SQL_CACHE 显示指定,像下面这个语句一样:

    SELECT SQl_CACHE * FROM test WHERE ID=5;

    查看当前 mysql 实例是否开启缓存机制:

    # MySQL5.7中:
    show global variables like "%query_cache_type%";

    监控查询缓存的命中率:

    mysql> show status like '%Qcache%';
    +-------------------------+---------+
    | Variable_name           | Value   |
    +-------------------------+---------+
    | Qcache_free_blocks      | 1       |
    | Qcache_free_memory      | 1031832 |
    | Qcache_hits             | 0       |
    | Qcache_inserts          | 0       |
    | Qcache_lowmem_prunes    | 0       |
    | Qcache_not_cached       | 1       |
    | Qcache_queries_in_cache | 0       |
    | Qcache_total_blocks     | 1       |
    +-------------------------+---------+
    8 rows in set (0.00 sec)
    • Qcache_free_blocks:表示查询缓存中还有多少剩余的 blocks,如果该值显示较大,则说明查询缓存中的内部碎片过多了,可能在一定的时间进行整理。
    • Qcache_free_memory:查询缓存的内存大小,通过这个参数可以很清晰的知道当前系统的查询内存是否够用,DBA 可以根据实际情况做出调整。
    • Qcache_hits:表示有多少次命中缓存。我们主要可以通过该值来验证我们的查询缓存的效果。数字越大,缓存效果越理想。
    • Qcache_inserts:表示多少次未命中然后插入,意思是新来的 SQL 请求在缓存中未找到,不得不执行查询处理,执行查询处理后把结果 insert 到查询缓存中。这样的情况的次数越多,表示查询缓存应用到的比较少,效果也就不理想。当然系统刚启动后,查询缓存是空的,这也正常。
    • Qcache_lowmem_prunes:该参数记录有多少条查询因为内存不足而被移除出查询缓存。通过这个值,用户可以适当的调整缓存大小。
    • Qcache_not_cached:表示因为 query_cache_type 的设置而没有被缓存的查询数。
    • Qcache_queries_in_cache:当前缓存中缓存的查询数量。
    • Qcache_total_blocks:当前缓存的 block 数量。
  2. 解析器:在解析器中对 SQL 语句进行语法分析、语义分析。

    如果没有命中查询缓存,就要开始真正执行语句了。首先,MySQL 需要知道你要做什么,因此需要对 SQL 语句做解析。SQL 语句的分析分为词法分析与语法分析。

    分析器先做词法分析。你输入的是由多个字符串和空格组成的一条 SQL 语句,MySQL 需要识别出里面的字符串分别是什么,代表什么。

    MySQL 从你输入的 "select" 这个关键字识别出来,这是一个查询语句。它也要把字符串 "T" 识别成 "表名 T",把字符串 "ID" 识别成 "列 ID"。

    接着,要做语法分析。根据词法分析的结果,语法分析器(比如:Bison)会根据语法规则,判断你输入的这个 SQL 语句是否满足 MySQL 语法。

    select department_id,job_id, avg(salary) from employees group by department_id;

    如果 SQL 语句正确,则会生成一个这样的语法树:

    mysql_sql_tree

    下图是 SQL 语句分析的过程步骤:

    mysql_sql_analize

    至此解析器的工作任务也基本圆满了。

  3. 优化器:在优化器中会确定 SQL 语句的执行路径,比如是根据全表检索,还是根据索引检索等。

    经过解释器,MySQL 就知道你要做什么了。在开始执行之前,还要先经过优化器的处理。一条查询可以有很多种执行方式,最后都返回相同的结果。优化器的作用就是找到这其中最好的执行计划

    比如:优化器是在表里面有多个索引的时候,决定使用哪个索引;或者在一个语句有多表关联 (join) 的时候,决定各个表的连接顺序,还有表达式简化、子查询转为连接、外连接转为内连接等。

    举例:如下语句是执行两个表的 join:

    select * from test1 join test2 using(ID) where test1.name='zhangwei' and test2.name='mysql高级课程';
    
    方案1:可以先从表 test1 里面取出 name='zhangwei'的记录的 ID 值,再根据 ID 值关联到表 test2,再判
    断 test2 里面 name的值是否等于 'mysql高级课程'。
    
    方案2:可以先从表 test2 里面取出 name='mysql高级课程' 的记录的 ID 值,再根据 ID 值关联到 test1,
    再判断 test1 里面 name的值是否等于 zhangwei。
    
    这两种执行方法的逻辑结果是一样的,但是执行的效率会有不同,而优化器的作用就是决定选择使用哪一个方案。优化器阶段完成后,这个语句的执行方案就确定下来了,然后进入执行器阶段。
    如果你还有一些疑问,比如优化器是怎么选择索引的,有没有可能选择错等。后面讲到索引我们再谈。

    在查询优化器中,可以分为逻辑查询优化阶段和物理查询优化阶段。

    • 逻辑查询优化就是通过改变 SQL 语句的内容来使得 SQL 查询更高效,同时为物理查询优化提供更多的候选执行计划。

      通常采用的方式是对 SQL 语句进行等价变换,对查询进行重写,而查询重写的数学基础就是关系代数。对条件表达式进行等价谓词重写、条件简化,对视图进行重写,对子查询进行优化,对连接语义进行了外连接消除、嵌套连接消除等。

    • 物理查询优化是基于关系代数进行的查询重写,而关系代数的每一步都对应着物理计算,这些物理计算往往存在多种算法,因此需要计算各种物理路径的代价,从中选择代价最小的作为执行计划。在这个阶段里,对于单表和多表连接的操作,需要高效地使用索引,提升查询效率。

  4. 执行器:截止到现在,还没有真正去读写真实的表,仅仅只是产出了一个执行计划。于是就进入了执行器阶段 。

    在执行之前需要判断该用户是否具备权限。如果没有,就会返回权限错误。如果具备权限,就执行 SQL 查询并返回结果。在 MySQL8.0 以下的版本,如果设置了查询缓存,这时会将查询结果进行缓存。

    select * from test where id=1;

    比如:表 test 中,ID 字段没有索引,那么执行器的执行流程是这样的:

    1.调用 InnoDB 引擎接口取这个表的第一行,判断 ID 值是不是1,如果不是则跳过,如果是则将这行存在结果集中;
    2.调用引擎接口取“下一行”,重复相同的判断逻辑,直到取到这个表的最后一行。
    3.执行器将上述遍历过程中所有满足条件的行,组成记录集作为结果集返回给客户端。

    至此,这个语句就执行完成了。对于有索引的表,执行的逻辑也差不多。

    SQL 语句在 MySQL 中的流程是: SQL语句查询缓存解析器优化器执行器

1.2.2、MySQL8 中 SQL 执行原理

  1. 确认 profiling 是否开启

    了解查询语句底层执行的过程:select @profiling 或者 show variables like '%profiling' 查看是否开启计划。开启它可以让 MySQL 收集在 SQL 执行时所使用的资源情况,命令如下:

    mysql> select @@profiling;
    mysql> show variables like 'profiling';

    profiling=0 代表关闭,我们需要把 profiling 打开,即设置为 1:

    mysql> set profiling=1;
  2. 多次执行相同 SQL 查询

    然后我们执行一个 SQL 查询(你可以执行任何一个 SQL 查询):

    mysql> select * from employees;
  3. 查看 profiles

    查看当前会话所产生的所有 profiles:

    # 显示最近的几次查询
    mysql> show profiles;
    +----------+------------+-------------------------+
    | Query_ID | Duration   | Query                   |
    +----------+------------+-------------------------+
    |        1 | 0.00014975 | SELECT DATABASE()       |
    |        2 | 0.00033875 | select * from employees |
    |        3 | 0.00038650 | select * from employees |
    |        4 | 0.00030475 | select * from employees |
    +----------+------------+-------------------------+
    4 rows in set, 1 warning (0.00 sec)
  4. 查看 profile

    显示执行计划,查看程序的执行步骤:

    mysql> show profile;
    +--------------------------------+----------+
    | Status                         | Duration |
    +--------------------------------+----------+
    | starting                       | 0.000056 |
    | Executing hook on transaction  | 0.000005 |
    | starting                       | 0.000009 |
    | checking permissions           | 0.000006 | --》 权限检查
    | Opening tables                 | 0.000034 | --》 打开表
    | init                           | 0.000006 | --》 初始化
    | System lock                    | 0.000009 | --》 锁系统
    | optimizing                     | 0.000004 | --》 优化查询
    | statistics                     | 0.000014 |
    | preparing                      | 0.000015 | --》 准备
    | executing                      | 0.000096 | --》 执行
    | end                            | 0.000011 |
    | query end                      | 0.000004 |
    | waiting for handler commit     | 0.000009 |
    | closing tables                 | 0.000009 |
    | freeing items                  | 0.000012 |
    | cleaning up                    | 0.000007 |
    +--------------------------------+----------+
    17 rows in set, 1 warning (0.00 sec)

    当然你也可以查询指定的 Query ID,比如:

    mysql> show profile for query 3;

    此外,还可以查询更丰富的内容:

    mysql> show profile cpu,block io for query 3;
    +--------------------------------+----------+----------+------------+--------------+---------------+
    | Status                         | Duration | CPU_user | CPU_system | Block_ops_in | Block_ops_out |
    +--------------------------------+----------+----------+------------+--------------+---------------+
    | starting                       | 0.000053 | 0.000009 |   0.000041 |            0 |             0 |
    | Executing hook on transaction  | 0.000004 | 0.000000 |   0.000003 |            0 |             0 |
    | starting                       | 0.000008 | 0.000002 |   0.000007 |            0 |             0 |
    | checking permissions           | 0.000006 | 0.000001 |   0.000005 |            0 |             0 |
    | Opening tables                 | 0.000053 | 0.000009 |   0.000045 |            0 |             0 |
    | init                           | 0.000009 | 0.000001 |   0.000006 |            0 |             0 |
    | System lock                    | 0.000009 | 0.000001 |   0.000007 |            0 |             0 |
    | optimizing                     | 0.000004 | 0.000001 |   0.000003 |            0 |             0 |
    | statistics                     | 0.000015 | 0.000003 |   0.000013 |            0 |             0 |
    | preparing                      | 0.000015 | 0.000002 |   0.000013 |            0 |             0 |
    | executing                      | 0.000161 | 0.000027 |   0.000135 |            0 |             0 |
    | end                            | 0.000009 | 0.000001 |   0.000005 |            0 |             0 |
    | query end                      | 0.000004 | 0.000001 |   0.000003 |            0 |             0 |
    | waiting for handler commit     | 0.000009 | 0.000002 |   0.000008 |            0 |             0 |
    | closing tables                 | 0.000009 | 0.000001 |   0.000007 |            0 |             0 |
    | freeing items                  | 0.000012 | 0.000002 |   0.000010 |            0 |             0 |
    | cleaning up                    | 0.000008 | 0.000002 |   0.000007 |            0 |             0 |
    +--------------------------------+----------+----------+------------+--------------+---------------+
    17 rows in set, 1 warning (0.00 sec)
    • 除了查看 cpu、io 阻塞等参数情况,还可以查询下列参数的利用情况。

      Syntax:
      SHOW PROFILE [type [, type] ... ]
      [FOR QUERY n]
      [LIMIT row_count [OFFSET offset]]
      
      type: {
      | ALL -- 显示所有参数的开销信息
      | BLOCK IO -- 显示IO的相关开销
      | CONTEXT SWITCHES -- 上下文切换相关开销
      | CPU -- 显示CPU相关开销信息
      | IPC -- 显示发送和接收相关开销信息
      | MEMORY -- 显示内存相关开销信息
      | PAGE FAULTS -- 显示页面错误相关开销信息
      | SOURCE -- 显示和Source_function,Source_file,Source_line 相关的开销信息
      | SWAPS -- 显示交换次数相关的开销信息
      }
    • 发现两次查询当前情况都一致,说明没有缓存。

      在 8.0 版本之后,MySQL 不再支持缓存的查询。一旦数据表有更新,缓存都将清空,因此只有数据表是静态的时候,或者数据表很少发生变化时,使用缓存查询才有价值,否则如果数据表经常更新,反而增加了 SQL 的查询时间。

1.2.3、MySQL5.7 中 SQL 执行原理

上述操作在 MySQL5.7 中测试,发现前后两次相同的 sql 语句,执行的查询过程仍然是相同的。不是会使用缓存吗?这里我们需要显式开启查询缓存模式 。在 MySQL5.7 中如下设置:

  1. 配置文件中开启查询缓存

    在 /etc/my.cnf 中新增一行:

    query_cache_type=1
  2. 重启 mysql 服务

    systemctl restart mysqld
  3. 开启查询执行计划

    由于重启过服务,需要重新执行如下指令,开启profiling。

    mysql> set profiling=1;
  4. 执行语句两次:

    mysql> select * from employees;
  5. 查看 profiles

    mysql> show profiles;
    +----------+------------+-------------------------+
    | Query_ID | Duration   | Query                   |
    +----------+------------+-------------------------+
    |        1 | 0.00030425 | select * from employees |
    |        2 | 0.00005200 | select * from employees |
    +----------+------------+-------------------------+
    2 rows in set, 1 warning (0.00 sec)
  6. 查看 profile

    显示执行计划,查看程序的执行步骤:

    mysql> show profile for query 1;
    +--------------------------------+----------+
    | Status                         | Duration |
    +--------------------------------+----------+
    | starting                       | 0.000020 |
    | Waiting for query cache lock   | 0.000003 |
    | starting                       | 0.000002 |
    | checking query cache for query | 0.000032 |
    | checking permissions           | 0.000005 |
    | Opening tables                 | 0.000015 |
    | init                           | 0.000016 |
    | System lock                    | 0.000007 |
    | Waiting for query cache lock   | 0.000002 |
    | System lock                    | 0.000068 |
    | optimizing                     | 0.000007 |
    | statistics                     | 0.000010 |
    | preparing                      | 0.000008 |
    | executing                      | 0.000002 |
    | Sending data                   | 0.000065 |
    | end                            | 0.000003 |
    | query end                      | 0.000006 |
    | closing tables                 | 0.000006 |
    | freeing items                  | 0.000005 |
    | Waiting for query cache lock   | 0.000002 |
    | freeing items                  | 0.000007 |
    | Waiting for query cache lock   | 0.000002 |
    | freeing items                  | 0.000002 |
    | storing result in query cache  | 0.000002 |
    | cleaning up                    | 0.000011 |
    +--------------------------------+----------+
    25 rows in set, 1 warning (0.00 sec)
    mysql> show profile for query 2;
    +--------------------------------+----------+
    | Status                         | Duration |
    +--------------------------------+----------+
    | starting                       | 0.000020 |
    | Waiting for query cache lock   | 0.000002 |
    | starting                       | 0.000002 |
    | checking query cache for query | 0.000005 | --》 使用缓存
    | checking privileges on cached  | 0.000003 |
    | checking permissions           | 0.000008 |
    | sending cached result to clien | 0.000009 |
    | cleaning up                    | 0.000004 |
    +--------------------------------+----------+
    8 rows in set, 1 warning (0.00 sec)

    结论不言而喻。执行编号 2 时,比执行编号 1 时少了很多信息,从结果中可以看出查询语句直接从缓存中获取数据。

SQL 语法顺序:随着 Mysql 版本的更新换代,其优化器也在不断的升级,优化器会分析不同执行顺序产生的性能消耗而动态调整执行顺序。

1.3、数据库缓冲池(buffer pool)

InnoDB 存储引擎是以页为单位来管理存储空间的,我们进行的增删改查操作其实本质上都是在访问页面(包括读页面、写页面、创建新页面等操作)。

而磁盘 I/O 需要消耗的时间很多,而在内存中进行操作,效率则会高很多,为了能让数据表或者索引中的数据随时被我们所用,DBMS 会申请占用内存来作为数据缓冲池,在真正访问页面之前,需要把在磁盘上的页缓存到内存中的 Buffer Pool 之后才可以访问。

这样做的好处是可以让磁盘活动最小化,从而减少与磁盘直接进行 I/O 的时间。要知道,这种策略对提升 SQL 语句的查询性能来说至关重要。如果索引的数据在缓冲池里,那么访问的成本就会降低很多。

buffer pool 的数据结构

mysql_buffer_pool_construction

1.3.1、缓冲池 vs 查询缓存

缓冲池和查询缓存是一个东西吗?不是。

  1. 缓冲池(Buffer Pool)

    首先我们需要了解在 InnoDB 存储引擎中,缓冲池都包括了哪些。

    在 InnoDB 存储引擎中有一部分数据会放到内存中,缓冲池则占了这部分内存的大部分,它用来存储各种数据的缓存,如下图所示:

    mysql_buffer

    从图中,你能看到 InnoDB 缓冲池包括了数据页、索引页、插入缓冲、锁信息、自适应 Hash 和数据字典信息等。

    缓存对于提高数据的加载效率进而提高程序的整体性能起着很重要的作用。涉及计算机科学领域的访问局部性原理

    缓存原则

    位置 * 频次 这个原则,可以帮我们对 I/O 访问效率进行优化。

    首先,位置决定效率,提供缓冲池就是为了在内存中可以直接访问数据。

    其次,频次决定优先级顺序。因为缓冲池的大小是有限的,比如磁盘有 200G,但是内存只有 16G,缓冲池大小只有 1G,就无法将所有数据都加载到缓冲池里,这时就涉及到优先级顺序,会优先对使用频次高的热数据进行加载

    缓冲池的预读特性

    缓冲池的作用就是提升 I/O 效率,而我们进行读取数据的时候存在一个局部性原理,也就是说我们使用了一些数据,大概率还会使用它周围的一些数据,因此采用预读的机制提前加载,可以减少未来可能的磁盘 I/O 操作。

  2. 查询缓存

    那么什么是查询缓存呢?

    查询缓存是提前把查询结果缓存起来,这样下次不需要执行就可以直接拿到结果。

    需要说明的是,在 MySQL 中的查询缓存,不是缓存查询计划,而是查询对应的结果。因为命中条件苛刻,而且只要数据表发生变化,查询缓存就会失效,因此命中率低。

1.3.2、缓冲池如何读取数据

缓冲池管理器会尽量将经常使用的数据保存起来,在数据库进行页面读操作的时候,首先会判断该页面是否在缓冲池中,如果存在就直接读取,如果不存在,就会通过内存或磁盘将页面存放到缓冲池中再进行读取。

缓存在数据库中的结构和作用如下图所示:

mysql_buffer_construct

如果我们执行 SQL 语句的时候更新了缓存池中的数据,那么这些数据会马上同步到磁盘上吗?

实际上,当我们对数据库中的记录进行修改的时候,首先会修改缓冲池中页里面的记录信息,然后数据库会以一定的频率刷新到磁盘中。注意并不是每次发生更新操作,都会立即进行磁盘回写。缓冲池会采用一种叫做 checkpoint 的机制 将数据回写到磁盘上,这样做的好处就是提升了数据库的整体性能。

比如,当缓冲池不够用时,需要释放掉一些不常用的页,此时就可以强行采用 checkpoint 的方式,将不常用的脏页回写到磁盘上,然后再从缓存池中将这些页释放掉。这里的脏页 (dirty page) 指的是缓冲池中被修改过的页,与磁盘上的数据页不一致。

1.3.3、设置缓冲池的大小

如果你使用的是 MySQL MyISAM 存储引擎,它只缓存索引,不缓存数据,对应的键缓存参数为 key_buffer_size,你可以用它进行查看。

如果你使用的是 InnoDB 存储引擎,可以通过查看 innodb_buffer_pool_size 变量来查看缓冲池的大小。命令如下:

mysql> show variables like 'innodb_buffer_pool_size';
+-------------------------+-----------+
| Variable_name           | Value     |
+-------------------------+-----------+
| innodb_buffer_pool_size | 134217728 |
+-------------------------+-----------+
1 row in set (0.02 sec)

你能看到此时 InnoDB 的缓冲池大小只有 134217728/1024/1024=128MB。我们可以修改缓冲池大小,比如改为 256MB,方法如下:

set global innodb_buffer_pool_size = 268435456;

或者:

[server]
innodb_buffer_pool_size = 268435456

1.3.4、多个 Buffer Pool 实例

在 my.cnf 配置文件中如下设置:

[server]
innodb_buffer_pool_instances = 2

这样就表明我们要创建 2 个 Buffer Pool 实例。我们看下如何查看缓冲池的个数,使用命令:

mysql> show variables like 'innodb_buffer_pool_instances';
+------------------------------+-------+
| Variable_name                | Value |
+------------------------------+-------+
| innodb_buffer_pool_instances | 2     |
+------------------------------+-------+
1 row in set (0.01 sec)

那每个 Buffer Pool 实例实际占多少内存空间呢?其实使用这个公式算出来的:

innodb_buffer_pool_size/innodb_buffer_pool_instances

也就是总共的大小除以实例的个数,结果就是每个 Buffer Pool 实例占用的大小。

不过也不是说 Buffer Pool 实例创建的越多越好,分别管理各个 Buffer Pool 也是需要性能开销的。

InnoDB 规定:当 innodb_buffer_pool_size 的值小于 1G 的时候设置多个实例是无效的,InnoDB 会默认把 innodb_buffer_pool_instances 的值修改为 1。而我们鼓励在 Buffer Pool 大于等于 1G 的时候设置多个 Buffer Pool 实例。

1.3.5、引申问题

Buffer Pool 是 MySQL 内存结构中十分核心的一个组成,你可以先把它想象成一个黑盒子。

黑盒下的更新数据流程:

当我们查询数据的时候,会先去 Buffer Pool 中查询。如果 Buffer Pool 中不存在,存储引擎会先将数据从磁盘加载到 Buffer Pool 中,然后将数据返回给客户端;同理,当我们更新某个数据的时候,如果这个数据不存在于 Buffer Pool,同样会先把数据加载进来,然后在内存中修改该数据。被修改的数据会在之后统一刷入磁盘。

mysql_undo_log1

我更新到一半突然发生错误了,想要回滚到更新之前的版本,该怎么办?连数据持久化的保证、事务回滚都做不到还谈什么崩溃恢复?

答案:Redo Log & Undo Log

标签云