CS-Notes/notes/数据库系统原理.md

580 lines
22 KiB
Java
Raw Normal View History

2019-04-25 18:24:51 +08:00
<!-- GFM-TOC -->
* [事务](#一事务)
* [概念](#概念)
* [ACID](#acid)
* [AUTOCOMMIT](#autocommit)
* [并发一致性问题](#二并发一致性问题)
* [丢失修改](#丢失修改)
* [读脏数据](#读脏数据)
* [不可重复读](#不可重复读)
* [幻影读](#幻影读)
* [封锁](#三封锁)
* [封锁粒度](#封锁粒度)
* [封锁类型](#封锁类型)
* [封锁协议](#封锁协议)
* [MySQL 隐式与显示锁定](#mysql-隐式与显示锁定)
* [隔离级别](#四隔离级别)
* [未提交读READ UNCOMMITTED](#未提交读read-uncommitted)
* [提交读READ COMMITTED](#提交读read-committed)
* [可重复读REPEATABLE READ](#可重复读repeatable-read)
* [可串行化SERIALIZABLE](#可串行化serializable)
* [多版本并发控制](#五多版本并发控制)
* [版本号](#版本号)
* [隐藏的列](#隐藏的列)
* [Undo 日志](#undo-日志)
* [实现过程](#实现过程)
* [快照读与当前读](#快照读与当前读)
* [Next-Key Locks](#六next-key-locks)
* [Record Locks](#record-locks)
* [Gap Locks](#gap-locks)
* [Next-Key Locks](#next-key-locks)
* [关系数据库设计理论](#七关系数据库设计理论)
* [函数依赖](#函数依赖)
* [异常](#异常)
* [范式](#范式)
* [ER ](#八er-)
* [实体的三种联系](#实体的三种联系)
* [表示出现多次的关系](#表示出现多次的关系)
* [联系的多向性](#联系的多向性)
* [表示子类](#表示子类)
* [参考资料](#参考资料)
<!-- GFM-TOC -->
# 事务
## 概念
事务指的是满足 ACID 特性的一组操作可以通过 Commit 提交一个事务也可以使用 Rollback 进行回滚
2019-04-25 18:43:33 +08:00
<div align="center"> <img src="pics/f74144be-857a-40cd-8ec7-87626ef4e20b.png" width="400px"> </div><br>
2019-04-25 18:24:51 +08:00
## ACID
### 1. 原子性Atomicity
事务被视为不可分割的最小单元事务的所有操作要么全部提交成功要么全部失败回滚
回滚可以用回滚日志来实现回滚日志记录着事务所执行的修改操作在回滚时反向执行这些修改操作即可
### 2. 一致性Consistency
数据库在事务执行前后都保持一致性状态在一致性状态下所有事务对一个数据的读取结果都是相同的
### 3. 隔离性Isolation
一个事务所做的修改在最终提交以前对其它事务是不可见的
### 4. 持久性Durability
一旦事务提交则其所做的修改将会永远保存到数据库中即使系统发生崩溃事务执行的结果也不能丢失
使用重做日志来保证持久性
----
事务的 ACID 特性概念简单但不是很好理解主要是因为这几个特性不是一种平级关系
- 只有满足一致性事务的执行结果才是正确的
- 在无并发的情况下事务串行执行隔离性一定能够满足此时只要能满足原子性就一定能满足一致性
- 在并发的情况下多个事务并行执行事务不仅要满足原子性还需要满足隔离性才能满足一致性
- 事务满足持久化是为了能应对数据库崩溃的情况
2019-04-25 18:43:33 +08:00
<div align="center"> <img src="pics/417bc315-4409-48c6-83e0-59e8d405429e.jpg" width="400px"> </div><br>
2019-04-25 18:24:51 +08:00
## AUTOCOMMIT
MySQL 默认采用自动提交模式也就是说如果不显式使用`START TRANSACTION`语句来开始一个事务那么每个查询都会被当做一个事务自动提交
# 并发一致性问题
在并发环境下事务的隔离性很难保证因此会出现很多并发一致性问题
## 丢失修改
T<sub>1</sub> T<sub>2</sub> 两个事务都对一个数据进行修改T<sub>1</sub> 先修改T<sub>2</sub> 随后修改T<sub>2</sub> 的修改覆盖了 T<sub>1</sub> 的修改
2019-04-25 18:43:33 +08:00
<div align="center"> <img src="pics/75184b58-c627-4edc-8dcf-605762ebb733.png" width="320px"> </div><br>
2019-04-25 18:24:51 +08:00
## 读脏数据
T<sub>1</sub> 修改一个数据T<sub>2</sub> 随后读取这个数据如果 T<sub>1</sub> 撤销了这次修改那么 T<sub>2</sub> 读取的数据是脏数据
2019-04-25 18:43:33 +08:00
<div align="center"> <img src="pics/af0e94d9-502d-4531-938f-d46dd29de52d.png" width="360px"> </div><br>
2019-04-25 18:24:51 +08:00
## 不可重复读
T<sub>2</sub> 读取一个数据T<sub>1</sub> 对该数据做了修改如果 T<sub>2</sub> 再次读取这个数据此时读取的结果和第一次读取的结果不同
2019-04-25 18:43:33 +08:00
<div align="center"> <img src="pics/66ae164c-ad47-4905-895e-51fe38ce797a.png" width="360px"> </div><br>
2019-04-25 18:24:51 +08:00
## 幻影读
T<sub>1</sub> 读取某个范围的数据T<sub>2</sub> 在这个范围内插入新的数据T<sub>1</sub> 再次读取这个范围的数据此时读取的结果和和第一次读取的结果不同
2019-04-25 18:43:33 +08:00
<div align="center"> <img src="pics/8fdc577d-552d-4b43-b5e4-a8f98bc2cb51.png" width="340px"> </div><br>
2019-04-25 18:24:51 +08:00
----
产生并发不一致性问题主要原因是破坏了事务的隔离性解决方法是通过并发控制来保证隔离性并发控制可以通过封锁来实现但是封锁操作需要用户自己控制相当复杂数据库管理系统提供了事务的隔离级别让用户以一种更轻松的方式处理并发一致性问题
# 封锁
## 封锁粒度
MySQL 中提供了两种封锁粒度行级锁以及表级锁
应该尽量只锁定需要修改的那部分数据而不是所有的资源锁定的数据量越少发生锁争用的可能就越小系统的并发程度就越高
但是加锁需要消耗资源锁的各种操作包括获取锁释放锁以及检查锁状态都会增加系统开销因此封锁粒度越小系统开销就越大
在选择封锁粒度时需要在锁开销和并发程度之间做一个权衡
## 封锁类型
### 1. 读写锁
- 排它锁Exclusive简写为 X 又称写锁
- 共享锁Shared简写为 S 又称读锁
有以下两个规定
- 一个事务对数据对象 A 加了 X 就可以对 A 进行读取和更新加锁期间其它事务不能对 A 加任何锁
- 一个事务对数据对象 A 加了 S 可以对 A 进行读取操作但是不能进行更新操作加锁期间其它事务能对 A S 但是不能加 X
锁的兼容关系如下
| - | X | S |
| :--: | :--: | :--: |
2019-05-18 12:33:25 +08:00
| **X** |×|×|
| **S** |×||
2019-04-25 18:24:51 +08:00
### 2. 意向锁
使用意向锁Intention Locks可以更容易地支持多粒度封锁
在存在行级锁和表级锁的情况下事务 T 想要对表 A X 就需要先检测是否有其它事务对表 A 或者表 A 中的任意一行加了锁那么就需要对表 A 的每一行都检测一次这是非常耗时的
意向锁在原来的 X/S 锁之上引入了 IX/ISIX/IS 都是表锁用来表示一个事务想要在表中的某个数据行上加 X 锁或 S 有以下两个规定
- 一个事务在获得某个数据行对象的 S 锁之前必须先获得表的 IS 锁或者更强的锁
- 一个事务在获得某个数据行对象的 X 锁之前必须先获得表的 IX
通过引入意向锁事务 T 想要对表 A X 只需要先检测是否有其它事务对表 A 加了 X/IX/S/IS 如果加了就表示有其它事务正在使用这个表或者表中某一行的锁因此事务 T X 锁失败
各种锁的兼容关系如下
| - | X | IX | S | IS |
| :--: | :--: | :--: | :--: | :--: |
2019-05-18 12:33:25 +08:00
| **X** |× |× |× | ×|
| **IX** |× | |× | |
| **S** |× |× | | |
| **IS** |× | | | |
2019-04-25 18:24:51 +08:00
解释如下
- 任意 IS/IX 锁之间都是兼容的因为它们只是表示想要对表加锁而不是真正加锁
- S 锁只与 S 锁和 IS 锁兼容也就是说事务 T 想要对数据行加 S 其它事务可以已经获得对表或者表中的行的 S
## 封锁协议
### 1. 三级封锁协议
**一级封锁协议**
事务 T 要修改数据 A 时必须加 X 直到 T 结束才释放锁
可以解决丢失修改问题因为不能同时有两个事务对同一个数据进行修改那么事务的修改就不会被覆盖
| T<sub>1</sub> | T<sub>2</sub> |
| :--: | :--: |
| lock-x(A) | |
| read A=20 | |
| | lock-x(A) |
| | wait |
| write A=19 |. |
| commit |. |
| unlock-x(A) |. |
| | obtain |
| | read A=19 |
| | write A=21 |
| | commit |
| | unlock-x(A)|
**二级封锁协议**
在一级的基础上要求读取数据 A 时必须加 S 读取完马上释放 S
可以解决读脏数据问题因为如果一个事务在对数据 A 进行修改根据 1 级封锁协议会加 X 那么就不能再加 S 锁了也就是不会读入数据
| T<sub>1</sub> | T<sub>2</sub> |
| :--: | :--: |
| lock-x(A) | |
| read A=20 | |
| write A=19 | |
| | lock-s(A) |
| | wait |
| rollback | .|
| A=20 |. |
| unlock-x(A) |. |
| | obtain |
| | read A=20 |
| | unlock-s(A)|
| | commit |
**三级封锁协议**
在二级的基础上要求读取数据 A 时必须加 S 直到事务结束了才能释放 S
可以解决不可重复读的问题因为读 A 其它事务不能对 A X 从而避免了在读的期间数据发生改变
| T<sub>1</sub> | T<sub>2</sub> |
| :--: | :--: |
| lock-s(A) | |
| read A=20 | |
| |lock-x(A) |
| | wait |
| read A=20| . |
| commit | .|
| unlock-s(A) |. |
| | obtain |
| | read A=20 |
| | write A=19|
| | commit |
| | unlock-X(A)|
### 2. 两段锁协议
加锁和解锁分为两个阶段进行
可串行化调度是指通过并发控制使得并发执行的事务结果与某个串行执行的事务结果相同
事务遵循两段锁协议是保证可串行化调度的充分条件例如以下操作满足两段锁协议它是可串行化调度
```html
lock-x(A)...lock-s(B)...lock-s(C)...unlock(A)...unlock(C)...unlock(B)
```
但不是必要条件例如以下操作不满足两段锁协议但是它还是可串行化调度
```html
lock-x(A)...unlock(A)...lock-s(B)...unlock(B)...lock-s(C)...unlock(C)
```
## MySQL 隐式与显示锁定
MySQL InnoDB 存储引擎采用两段锁协议会根据隔离级别在需要的时候自动加锁并且所有的锁都是在同一时刻被释放这被称为隐式锁定
InnoDB 也可以使用特定的语句进行显示锁定
```sql
SELECT ... LOCK In SHARE MODE;
SELECT ... FOR UPDATE;
```
# 隔离级别
## 未提交读READ UNCOMMITTED
事务中的修改即使没有提交对其它事务也是可见的
## 提交读READ COMMITTED
一个事务只能读取已经提交的事务所做的修改换句话说一个事务所做的修改在提交之前对其它事务是不可见的
## 可重复读REPEATABLE READ
保证在同一个事务中多次读取同样数据的结果是一样的
## 可串行化SERIALIZABLE
强制事务串行执行
2019-05-18 12:33:25 +08:00
需要加锁实现而其它隔离级别通常不需要
2019-04-25 18:24:51 +08:00
----
2019-05-18 12:33:25 +08:00
| 隔离级别 | 脏读 | 不可重复读 | 幻影读 |
| :---: | :---: | :---:| :---: |
| 未提交读 | | | |
| 提交读 | × | | |
| 可重复读 | × | × | |
| 可串行化 | × | × | × |
2019-04-25 18:24:51 +08:00
# 多版本并发控制
多版本并发控制Multi-Version Concurrency Control, MVCC MySQL InnoDB 存储引擎实现隔离级别的一种具体方式用于实现提交读和可重复读这两种隔离级别而未提交读隔离级别总是读取最新的数据行无需使用 MVCC可串行化隔离级别需要对所有读取的行都加锁单纯使用 MVCC 无法实现
## 版本号
- 系统版本号是一个递增的数字每开始一个新的事务系统版本号就会自动递增
- 事务版本号事务开始时的系统版本号
## 隐藏的列
MVCC 在每行记录后面都保存着两个隐藏的列用来存储两个版本号
- 创建版本号指示创建一个数据行的快照时的系统版本号
- 删除版本号如果该快照的删除版本号大于当前事务版本号表示该快照有效否则表示该快照已经被删除了
## Undo 日志
MVCC 使用到的快照存储在 Undo 日志中该日志通过回滚指针把一个数据行Record的所有快照连接起来
2019-04-25 18:43:33 +08:00
<div align="center"> <img src="pics/e41405a8-7c05-4f70-8092-e961e28d3112.jpg" width=""/> </div><br>
2019-04-25 18:24:51 +08:00
## 实现过程
以下实现过程针对可重复读隔离级别
2019-05-18 12:33:25 +08:00
当开始一个事务时该事务的版本号肯定大于当前所有数据行快照的创建版本号理解这一点很关键数据行快照的创建版本号是创建数据行快照时的系统版本号系统版本号随着创建事务而递增因此新创建一个事务时这个事务的系统版本号比之前的系统版本号都大也就是比所有数据行快照的创建版本号都大
2019-04-25 18:24:51 +08:00
### 1. SELECT
多个事务必须读取到同一个数据行的快照并且这个快照是距离现在最近的一个有效快照但是也有例外如果有一个事务正在修改该数据行那么它可以读取事务本身所做的修改而不用和其它事务的读取结果一致
把没有对一个数据行做修改的事务称为 TT 所要读取的数据行快照的创建版本号必须小于 T 的版本号因为如果大于或者等于 T 的版本号那么表示该数据行快照是其它事务的最新修改因此不能去读取它除此之外T 所要读取的数据行快照的删除版本号必须大于 T 的版本号因为如果小于等于 T 的版本号那么表示该数据行快照是已经被删除的不应该去读取它
### 2. INSERT
将当前系统版本号作为数据行快照的创建版本号
### 3. DELETE
将当前系统版本号作为数据行快照的删除版本号
### 4. UPDATE
将当前系统版本号作为更新前的数据行快照的删除版本号并将当前系统版本号作为更新后的数据行快照的创建版本号可以理解为先执行 DELETE 后执行 INSERT
## 快照读与当前读
### 1. 快照读
使用 MVCC 读取的是快照中的数据这样可以减少加锁所带来的开销
```sql
select * from table ...;
```
### 2. 当前读
读取的是最新的数据需要加锁以下第一个语句需要加 S 其它都需要加 X
```sql
select * from table where ? lock in share mode;
select * from table where ? for update;
insert;
update;
delete;
```
# Next-Key Locks
Next-Key Locks MySQL InnoDB 存储引擎的一种锁实现
2019-05-18 12:33:25 +08:00
MVCC 不能解决幻影读问题Next-Key Locks 就是为了解决这个问题而存在的在可重复读REPEATABLE READ隔离级别下使用 MVCC + Next-Key Locks 可以解决幻读问题
2019-04-25 18:24:51 +08:00
## Record Locks
锁定一个记录上的索引而不是记录本身
如果表没有设置索引InnoDB 会自动在主键上创建隐藏的聚簇索引因此 Record Locks 依然可以使用
## Gap Locks
锁定索引之间的间隙但是不包含索引本身例如当一个事务执行以下语句其它事务就不能在 t.c 中插入 15
```sql
SELECT c FROM t WHERE c BETWEEN 10 and 20 FOR UPDATE;
```
## Next-Key Locks
它是 Record Locks Gap Locks 的结合不仅锁定一个记录上的索引也锁定索引之间的间隙例如一个索引包含以下值10, 11, 13, and 20那么就需要锁定以下区间
```sql
2019-05-18 12:33:25 +08:00
(-, 10]
2019-04-25 18:24:51 +08:00
(10, 11]
(11, 13]
(13, 20]
2019-05-18 12:33:25 +08:00
(20, +)
2019-04-25 18:24:51 +08:00
```
# 关系数据库设计理论
## 函数依赖
A->B 表示 A 函数决定 B也可以说 B 函数依赖于 A
如果 {A1A2... An} 是关系的一个或多个属性的集合该集合函数决定了关系的其它所有属性并且是最小的那么该集合就称为键码
对于 A->B如果能找到 A 的真子集 A'使得 A'-> B那么 A->B 就是部分函数依赖否则就是完全函数依赖
对于 A->BB->C A->C 是一个传递函数依赖
## 异常
2019-05-18 12:33:25 +08:00
以下的学生课程关系的函数依赖为 {Sno, Cname} -> {Sname, Sdept, Mname, Grade}键码为 {Sno, Cname}也就是说确定学生和课程之后就能确定其它信息
2019-04-25 18:24:51 +08:00
| Sno | Sname | Sdept | Mname | Cname | Grade |
| :---: | :---: | :---: | :---: | :---: |:---:|
| 1 | 学生-1 | 学院-1 | 院长-1 | 课程-1 | 90 |
| 2 | 学生-2 | 学院-2 | 院长-2 | 课程-2 | 80 |
| 2 | 学生-2 | 学院-2 | 院长-2 | 课程-1 | 100 |
| 3 | 学生-3 | 学院-2 | 院长-2 | 课程-2 | 95 |
不符合范式的关系会产生很多异常主要有以下四种异常
- 冗余数据例如 `学生-2` 出现了两次
- 修改异常修改了一个记录中的信息但是另一个记录中相同的信息却没有被修改
- 删除异常删除一个信息那么也会丢失其它信息例如删除了 `课程-1` 需要删除第一行和第三行那么 `学生-1` 的信息就会丢失
- 插入异常例如想要插入一个学生的信息如果这个学生还没选课那么就无法插入
## 范式
范式理论是为了解决以上提到四种异常
高级别范式的依赖于低级别的范式1NF 是最低级别的范式
### 1. 第一范式 (1NF)
属性不可分
### 2. 第二范式 (2NF)
每个非主属性完全函数依赖于键码
可以通过分解来满足
<font size=4> **分解前** </font><br>
| Sno | Sname | Sdept | Mname | Cname | Grade |
| :---: | :---: | :---: | :---: | :---: |:---:|
| 1 | 学生-1 | 学院-1 | 院长-1 | 课程-1 | 90 |
| 2 | 学生-2 | 学院-2 | 院长-2 | 课程-2 | 80 |
| 2 | 学生-2 | 学院-2 | 院长-2 | 课程-1 | 100 |
| 3 | 学生-3 | 学院-2 | 院长-2 | 课程-2 | 95 |
以上学生课程关系中{Sno, Cname} 为键码有如下函数依赖
- Sno -> Sname, Sdept
- Sdept -> Mname
- Sno, Cname-> Grade
Grade 完全函数依赖于键码它没有任何冗余数据每个学生的每门课都有特定的成绩
Sname, Sdept Mname 都部分依赖于键码当一个学生选修了多门课时这些数据就会出现多次造成大量冗余数据
<font size=4> **分解后** </font><br>
关系-1
| Sno | Sname | Sdept | Mname |
| :---: | :---: | :---: | :---: |
| 1 | 学生-1 | 学院-1 | 院长-1 |
| 2 | 学生-2 | 学院-2 | 院长-2 |
| 3 | 学生-3 | 学院-2 | 院长-2 |
有以下函数依赖
- Sno -> Sname, Sdept
- Sdept -> Mname
关系-2
| Sno | Cname | Grade |
| :---: | :---: |:---:|
| 1 | 课程-1 | 90 |
| 2 | 课程-2 | 80 |
| 2 | 课程-1 | 100 |
| 3 | 课程-2 | 95 |
有以下函数依赖
- Sno, Cname -> Grade
### 3. 第三范式 (3NF)
非主属性不传递函数依赖于键码
上面的 关系-1 中存在以下传递函数依赖
- Sno -> Sdept -> Mname
可以进行以下分解
关系-11
| Sno | Sname | Sdept |
| :---: | :---: | :---: |
| 1 | 学生-1 | 学院-1 |
| 2 | 学生-2 | 学院-2 |
| 3 | 学生-3 | 学院-2 |
关系-12
| Sdept | Mname |
| :---: | :---: |
| 学院-1 | 院长-1 |
| 学院-2 | 院长-2 |
# ER
Entity-Relationship有三个组成部分实体属性联系
用来进行关系型数据库系统的概念设计
## 实体的三种联系
包含一对一一对多多对多三种
- 如果 A B 是一对多关系那么画个带箭头的线段指向 B
- 如果是一对一画两个带箭头的线段
- 如果是多对多画两个不带箭头的线段
下图的 Course Student 是一对多的关系
2019-05-18 12:33:25 +08:00
<div align="center"> <img src="pics/1d28ad05-39e5-49a2-a6a1-a6f496adba6a.png" width="380px"/> </div><br>
2019-04-25 18:24:51 +08:00
## 表示出现多次的关系
一个实体在联系出现几次就要用几条线连接
下图表示一个课程的先修关系先修关系出现两个 Course 实体第一个是先修课程后一个是后修课程因此需要用两条线来表示这种关系
2019-05-18 12:33:25 +08:00
<div align="center"> <img src="pics/ac929ea3-daca-40ec-9e95-4b2fa6678243.png" width="250px"/> </div><br>
2019-04-25 18:24:51 +08:00
## 联系的多向性
虽然老师可以开设多门课并且可以教授多名学生但是对于特定的学生和课程只有一个老师教授这就构成了一个三元联系
2019-05-18 12:33:25 +08:00
<div align="center"> <img src="pics/5bb1b38a-527e-4802-a385-267dadbd30ba.png" width="350px"/> </div><br>
2019-04-25 18:24:51 +08:00
## 表示子类
用一个三角形和两条线来连接类和子类与子类有关的属性和联系都连到子类上而与父类和子类都有关的连到父类上
2019-05-18 12:33:25 +08:00
<div align="center"> <img src="pics/14389ea4-8d96-4e96-9f76-564ca3324c1e.png" width="450px"/> </div><br>
2019-04-25 18:24:51 +08:00
# 参考资料
- AbrahamSilberschatz, HenryF.Korth, S.Sudarshan, . 数据库系统概念 [M]. 机械工业出版社, 2006.
- 施瓦茨. 高性能 MYSQL(第3版)[M]. 电子工业出版社, 2013.
- 史嘉权. 数据库系统概论[M]. 清华大学出版社有限公司, 2006.
- [The InnoDB Storage Engine](https://dev.mysql.com/doc/refman/5.7/en/innodb-storage-engine.html)
- [Transaction isolation levels](https://www.slideshare.net/ErnestoHernandezRodriguez/transaction-isolation-levels)
- [Concurrency Control](http://scanftree.com/dbms/2-phase-locking-protocol)
- [The Nightmare of Locking, Blocking and Isolation Levels!](https://www.slideshare.net/brshristov/the-nightmare-of-locking-blocking-and-isolation-levels-46391666)
- [Database Normalization and Normal Forms with an Example](https://aksakalli.github.io/2012/03/12/database-normalization-and-normal-forms-with-an-example.html)
- [The basics of the InnoDB undo logging and history system](https://blog.jcole.us/2014/04/16/the-basics-of-the-innodb-undo-logging-and-history-system/)
- [MySQL locking for the busy web developer](https://www.brightbox.com/blog/2013/10/31/on-mysql-locks/)
- [浅入浅出 MySQL InnoDB](https://draveness.me/mysql-innodb)
- [Innodb 中的事务隔离级别和锁的关系](https://tech.meituan.com/2014/08/20/innodb-lock.html)
2019-06-08 12:07:53 +08:00
<img width="650px" src="https://cs-notes-1256109796.cos.ap-guangzhou.myqcloud.com/other/QQ截图20190608120206.png"></img>