From c468418885fb802049fabb679c64b7e72417b873 Mon Sep 17 00:00:00 2001 From: CyC2018 <1029579233@qq.com> Date: Sat, 17 Mar 2018 21:42:01 +0800 Subject: [PATCH] auto commit --- notes/分布式基础.md | 102 ++++++++++++++++++++++---------------------- 1 file changed, 51 insertions(+), 51 deletions(-) diff --git a/notes/分布式基础.md b/notes/分布式基础.md index a49332f4..212a24c6 100644 --- a/notes/分布式基础.md +++ b/notes/分布式基础.md @@ -1,56 +1,56 @@ -* [基本概念](#基本概念) - * [1. 异常](#1-异常) - * [1.1 服务器宕机](#11-服务器宕机) - * [1.2 网络异常](#12-网络异常) - * [1.3 磁盘故障](#13-磁盘故障) - * [2. 超时](#2-超时) - * [3. 衡量指标](#3-衡量指标) - * [3.1 性能](#31-性能) - * [3.2 可用性](#32-可用性) - * [3.3 一致性](#33-一致性) - * [3.4 可扩展性](#34-可扩展性) -* [数据分布](#数据分布) - * [1. 哈希分布](#1-哈希分布) - * [2. 顺序分布](#2-顺序分布) -* [负载均衡](#负载均衡) -* [复制](#复制) +* [一、基本概念](#一基本概念) + * [异常](#异常) + * [1. 服务器宕机](#1-服务器宕机) + * [2. 网络异常](#2-网络异常) + * [3. 磁盘故障](#3-磁盘故障) + * [超时](#超时) + * [衡量指标](#衡量指标) + * [1. 性能](#1-性能) + * [2. 可用性](#2-可用性) + * [3. 一致性](#3-一致性) + * [4. 可扩展性](#4-可扩展性) +* [二、数据分布](#二数据分布) + * [哈希分布](#哈希分布) + * [顺序分布](#顺序分布) +* [三、负载均衡](#三负载均衡) +* [四、复制](#四复制) * [1. 强同步复制协议](#1-强同步复制协议) * [2. 异步复制协议](#2-异步复制协议) -* [CAP](#cap) -* [BASE](#base) - * [1. 基本可用](#1-基本可用) - * [2. 软状态](#2-软状态) - * [3. 最终一致性](#3-最终一致性) -* [容错](#容错) - * [1. 故障检测](#1-故障检测) - * [2. 故障恢复](#2-故障恢复) -* [CDN 架构](#cdn-架构) +* [五、CAP](#五cap) +* [六、BASE](#六base) + * [基本可用](#基本可用) + * [软状态](#软状态) + * [最终一致性](#最终一致性) +* [七、容错](#七容错) + * [故障检测](#故障检测) + * [故障恢复](#故障恢复) +* [八、CDN 架构](#八cdn-架构) * [参考资料](#参考资料) -# 基本概念 +# 一、基本概念 -## 1. 异常 +## 异常 -### 1.1 服务器宕机 +### 1. 服务器宕机 内存错误、服务器停电等都会导致服务器宕机,此时节点无法正常工作,称为不可用。 服务器宕机会导致节点失去所有内存信息,因此需要将内存信息保存到持久化介质上。 -### 1.2 网络异常 +### 2. 网络异常 有一种特殊的网络异常称为 **网络分区** ,即集群的所有节点被划分为多个区域,每个区域内部可以通信,但是区域之间无法通信。 -### 1.3 磁盘故障 +### 3. 磁盘故障 磁盘故障是一种发生概率很高的异常。 使用冗余机制,将数据存储到多台服务器。 -## 2. 超时 +## 超时 在分布式系统中,一个请求除了成功和失败两种状态,还存在着超时状态。 @@ -58,9 +58,9 @@ 可以将服务器的操作设计为具有 **幂等性** ,即执行多次的结果与执行一次的结果相同。如果使用这种方式,当出现超时的时候,可以不断地重新请求直到成功。 -## 3. 衡量指标 +## 衡量指标 -### 3.1 性能 +### 1. 性能 常见的性能指标有:吞吐量、响应时间。 @@ -72,11 +72,11 @@ - 但是在并发的系统中,由于一个请求在调用 I/O 资源的时候,需要进行等待。服务器端一般使用的是异步等待方式,即等待的请求被阻塞之后不需要一直占用 CPU 资源。这种方式能大大提高 CPU 资源的利用率,例如上面的例子中,单个请求在无并发的系统中响应时间为 10 ms,如果在并发的系统中,那么吞吐量将大于 100 req/s。因此为了追求高吞吐量,通常会提高并发程度。但是并发程度的增加,会导致请求的平均响应时间也增加,因为请求不能马上被处理,需要和其它请求一起进行并发处理,响应时间自然就会增高。 -### 3.2 可用性 +### 2. 可用性 可用性指系统在面对各种异常时可以提供正常服务的能力。可以用系统可用时间占总时间的比值来衡量,4 个 9 的可用性表示系统 99.99% 的时间是可用的。 -### 3.3 一致性 +### 3. 一致性 可以从两个角度理解一致性:从客户端的角度,读写操作是否满足某种特性;从服务器的角度,多个数据副本之间是否一致。 @@ -86,21 +86,21 @@ 2. 弱一致性:新数据写入之后,不能保证在数据副本上能读取到最新值; 3. 最终一致性:新数据写入之后,只能保证过一了一个时间窗口才能读取到最新值; -### 3.4 可扩展性 +### 4. 可扩展性 指系统通过扩展集群服务器规模来提高性能的能力。理想的分布式系统需要实现“线性可扩展”,即随着集群规模的增加,系统的整体性能也会线程增加。 -# 数据分布 +# 二、数据分布 分布式系统的数据分布在多个节点中,常用的数据分布方式有哈希分布和顺序分布。 -## 1. 哈希分布 +## 哈希分布 哈希分布就是将数据计算哈希值之后,按照哈希值分配到不同的节点上。例如有 N 个节点,数据的主键为 key,则将该数据分配的节点序号为:hash(key)%N。 传统的哈希分布算法存在一个问题:当节点数量变化时,也就是 N 值变化,那么几乎所有的数据都需要重新分布,将导致大量的数据迁移。 -**一致性哈希** +#### 一致性哈希 Distributed Hash Table(DHT):对于哈希空间 0\~2n,将该哈希空间看成一个哈希环,将每个节点都配置到哈希环上。每个数据对象通过哈希取模得到哈希值之后,存放到哈希环中顺时针方向第一个大于等于该哈希值的节点上。 @@ -110,7 +110,7 @@ Distributed Hash Table(DHT):对于哈希空间 0\~2n,将该

-## 2. 顺序分布 +## 顺序分布 哈希分布式破坏了数据的有序性,顺序分布则不会。 @@ -120,7 +120,7 @@ Distributed Hash Table(DHT):对于哈希空间 0\~2n,将该

-# 负载均衡 +# 三、负载均衡 衡量负载的因素很多,如 CPU、内存、磁盘等资源使用情况、读写请求数等。分布式系统应当能够自动负载均衡,当某个节点的负载较高,将它的部分数据迁移到其它节点。 @@ -128,7 +128,7 @@ Distributed Hash Table(DHT):对于哈希空间 0\~2n,将该 一个新上线的工作节点,由于其负载较低,如果不加控制,总控节点会将大量数据同时迁移到该节点上,造成该节点一段时间内无法工作。因此负载均衡操作需要平滑进行,新加入的节点需要较长的一段时间来达到比较均衡的状态。 -# 复制 +# 四、复制 复制是保证分布式系统高可用的基础,让一个数据存储多个副本,当某个副本所在的节点出现故障时,能够自动切换到其它副本上,从而实现故障恢复。 @@ -154,7 +154,7 @@ Distributed Hash Table(DHT):对于哈希空间 0\~2n,将该 缺点:一致性差。 -# CAP +# 五、CAP 分布式系统不可能同时满足一致性(C:Consistency)、可用性(A:Availability)和分区容忍性(P:Partition tolerance),最多只能同时满足其中两项。这三个概念上文中已经提到。 @@ -164,21 +164,21 @@ Distributed Hash Table(DHT):对于哈希空间 0\~2n,将该 需要注意的是,分区容忍性必不可少,因为需要总是假设网络是不可靠的。因此实际上设计分布式系统需要在一致性和可用性之间做权衡。 -# BASE +# 六、BASE BASE 是 Basically Available(基本可用)、Soft state(软状态)和 Eventually consistent(最终一致性)三个短语的缩写。BASE 理论是对 CAP 中一致性和可用性权衡的结果,是基于 CAP 定理逐步演化而来的。BASE 理论的核心思想是:即使无法做到强一致性,但每个应用都可以根据自身业务特点,采用适当的方式来使系统达到最终一致性。 -## 1. 基本可用 +## 基本可用 指分布式系统在出现故障的时候,保证核心可用,允许损失部分可用性。 例如,电商在做促销时,服务层可能只提供降级服务,部分用户可能会被引导到降级页面上。 -## 2. 软状态 +## 软状态 指允许系统存在中间状态,而该中间状态不会影响系统整体可用性,即不同节点的数据副本之间进行同步的过程允许存在延时。 -## 3. 最终一致性 +## 最终一致性 指所有的数据副本,在经过一段时间的同步之后,最终都能够达到一致的状态。 @@ -186,21 +186,21 @@ BASE 是 Basically Available(基本可用)、Soft state(软状态)和 Ev ACID 是传统数据库系统常用的设计理论,追求强一致性模型。BASE 常用于大型分布式系统,只需要保证最终一致性。在实际的分布式场景中,不同业务单元和组件对一致性的要求是不同的,因此 ACID 和 BASE 往往会结合在一起使用。 -# 容错 +# 七、容错 分布式系统故障发生的概率很大,为了实现高可用以及减少人工运维成本,需要实现自动化容错。 -## 1. 故障检测 +## 故障检测 通过 **租约机制** 来对故障进行检测。假设节点 A 为主控节点,节点 A 向节点 B 发送租约,节点 B 在租约规定的期限内才能提供服务。期限快到达时,节点 B 需要向 A 重新申请租约。 如果过期,那么 B 不再提供服务,并且 A 也能知道 B 此时可能发生故障并已经停止服务。可以看到,通过这种机制,A 和 B 都能对 B 发生故障这一事实达成一致。 -## 2. 故障恢复 +## 故障恢复 当某个节点故障时,就将它上面的服务迁移到其它节点。 -# CDN 架构 +# 八、CDN 架构 CND 通过将内容发布到靠近用户的边缘节点,使不同地域的用户在访问相同网页时可以就近获取。不仅可以减轻服务器的负担,也可以提高用户的访问速度。