分布式系统常见的事务处理机制

  • 时间:
  • 浏览:1

事务询问:协调者向参与者发送 CanCommit 请求。询问与否可不都可不可不能否执行事务提交操作。否则开始了了停留参与者的响应。

响应反馈:参与者接到 CanCommit 请求之前 ,正常请况下,之前 其自身认为可不都可不可不能否顺利执行事务,则返回 Yes 响应,并进入预备党员请况。否则反馈 No

两阶段提交协议 (Two-phase commit protocol,2PC)的过程涉及到协调者和参与者。协调者可不都可不可不能否看做成事务的发起者,一起去也是事务的另4个多多 参与者。对于另4个多多 分布式事务来说,另4个多多 事务是涉及到多个参与者的。具体的两阶段提交的过程如下:

执行提交

发送提交请求:协调接收到参与者发送的 ACK 响应,没法他将从预提交请况进入到提交请况。并向所有参与者发送 doCommit 请求。

事务提交:参与者接收到 doCommit 请求之前 ,执行正式的事务提交。并在完成事务提交之前 释放所有事务资源。

响应反馈:事务提交完之前 ,向协调者发送 ACK 响应。

完成事务:协调者接收到所有参与者的 ACK 响应之前 ,完成事务。

中断事务:协调者没法接收到参与者发送的 ACK 响应(之前 是接受者发送的有的是 ACK 响应,也之前 响应超时),没法就会执行中断事务。

发送中断请求:协调者向所有参与者发送 abort 请求

事务回滚:参与者接收到 abort 请求之前 ,利用其在阶段二记录的undo 信息来执行事务的回滚操作,并在完成回滚之前 释放所有的事务资源。

反馈结果:参与者完成事务回滚之前 ,向协调者发送 ACK 消息

中断事务:协调者接收到参与者反馈的 ACK 消息之前 ,执行事务的中断。

在 doCommit 阶段,之前 参与者无法及时接收到来自协调者的 doCommit 之前 rebort 请求时,会在停留超时之前 ,会继续进行事务的提交。即当进入第三阶段时,之前 网络超时等原因着,其实 参与者没法收 到 commit 之前 abort 响应,事务仍然会提交。

CanCommit 阶段

CanCommit 阶段其实 和 2PC 的准备阶段很像。协调者向参与者发送 commit 请求,参与者之前 可不都可不可不能否提交就返回 Yes 响应,否则返回 No 响应。

CAP定理

CAP 定理(也称为 Brewer 定理),是由计算机科学家 Eric Brewer 提出的,即在分布式计算机系统不之前 一起去提供以下完整篇 另4个多多 保证:

Weak 弱一致性:当你写入另4个多多 新值后,读操作在数据副本上之前 读出来,也之前 读没法了来。比如:一些存储系统,搜索引擎,实时游戏,语音聊天等,你你这个 数据本文对完整篇 性要求不高,数据与否一致关系一些一些我大。

Eventually 最终一致性:当你写入另4个多多 新值后,暂且一定能马上读出来,但在某个时间窗口之前 保证最终能读出来。比如:DNS,电子邮件,消息上边件等系统,大次要分布式系统技术都采用之类模式。

Strong 强一致性:新的数据一旦写入,在任意副本任意时刻都能读到新值。比如:文件系统,RDBMS有的是强一致性的。

也一些一些我说,在设计分布式系统时,亲戚亲戚大伙暂且一定要求是强一致性的,根据应用场景可不都可不可不能否选着 弱一致性之前 是最终一致性。

事务的作用

保证执行结果的正确性

保证数据的一致性

ACID

Paxos算法

Paxos 算法是 Leslie Lamport 于1990年提出的你你这个 基于消息传递且具有角度容错形态的一致性算法。Paxos 算法目前在 Google 的 Chubby、MegaStore、Spanner 等系统中得到了应用,Hadoop 中的 ZooKeeper 也使用了 Paxos 算法。

引入超时机制。一起去在协调者和参与者中都引入超时机制。

在第一阶段和第二阶段中插入另4个多多 准备阶段。保证了在最后提交阶段之前 各参与节点的请况是一致的。

即 3PC 把 2PC 的准备阶段再次一分为二,另另4个多多 三阶段提交有的是 CanCommit、PreCommit、DoCommit 另4个多多 阶段。

一致性模型

其实 ,数据的一致性也分几种请况,大致可不都可不可不能否分为:

缺点:

三阶段提交

常见的事务补救机制

Master-Slave 一键复制

否则,在实际的应用场景中,数据的一致性往往也是才可不都可不可不能否保证的。没法这与否违背了 CAP 定理呢?

指另4个多多 系统处在另4个多多 或多个Master,每个Master都提供读写服务。你你这个 机制是Master-Slave的加强版,数据间同步一般是通过Master间的异步完成,一些一些是最终一致性。 Master-Master的好处是,一台Master挂了,别的Master可不都可不可不能否正常做读写服务,他和Master-Slave一样,当数据没法被一键复制到别的Master上时,数据会丢失。一些一些数据库都支持Master-Master的Replication的机制。

你你这个 机制的特点是:

一致性(Consistency):所有节点同一时间想看 是相同的数据

可用性(Availability):不管与否成功,确保每另4个多多 请求都能接收到响应

分区容错性(Partition tolerance):系统任意分区后,在网络故障时,仍能操作

显然,为了保障性能和可靠性,亲戚亲戚大伙将数据一键复制多份,分布到多个节点上,一起去也带来了另4个多多 难点,那一些一些我怎么保持各个副本数据的一致性。换句话说,亲戚亲戚大伙选着 了 AP ,则必才可不都可不可不能否牺牲掉 C 了。

否则我我协调者从所有的参与者获得的反馈有的是 Yes 响应,没法就会执行事务的预执行。

发送预提交请求:协调者向参与者发送 PreCommit 请求,并进入Prepared 阶段。

事务预提交:参与者接收到 PreCommit 请求后,会执行事务操作,并将undo 和 redo 信息记录到事务日志中。

响应反馈:之前 参与者成功的执行了事务操作,则返回 ACK 响应,一起去开始了了停留最终指令。

否则我我有任何另4个多多 参与者向协调者发送了 No 响应,之前 停留超时之前 ,协调者都没法接到参与者的响应,没法就执行事务的中断。

发送中断请求:协调者向所有参与者发送 abort 请求。

中断事务:参与者收到来自协调者的 abort 请求之前 (或超时之前 ,仍未收到协调者的请求),执行事务的中断。

第二阶段(提交阶段)

之前 协调者收到了参与者的失败消息之前 超时,直接给每个参与者发送回滚(Rollback)消息;否则,发送提交(Commit)消息;参与者根据协调者的指令执行提交之前 回滚操作,释放所有事务补救过程中使用的锁资源。(注意:才可不都可不可不能否在最后阶段释放锁资源)

阶段1

Proposer 选着 另4个多多 议案编号 n,向 acceptor 的多数整理送编号也为 n 的 prepare 请求。

Acceptor:之前 接收到的 prepare 请求的编号 n 大于它之前 公布的任何prepare 请求,它就公布之前 批准的编号最高的议案(之前 有一段话),并承诺不再公布任何编号小于 n 的议案;

阶段2

Proposer:之前 收到了多数 acceptor 对 prepare 请求(编号为 n)的公布,它就向你你这个 acceptor 发送议案{n, v}的 accept 请求,其中 v 是所有公布中编号最高的议案的决议,之前 是 proposer 选着 的值,之前 公布说还没法议案。

Acceptor:之前 收到了议案{n, v}的 accept 请求,它就批准该议案,除非它之前 公布了另4个多多 编号大于 n 的议案。

Proposer 可不都可不可不能否提出多个议案,否则我它遵循上边的算法。它可不都可不可不能否在任啥之前 刻放弃另4个多多 议案。(这可不都可不可不能否 破坏正确性,即使在议案被放弃后,议案的请求之前 公布消息才到达目标)之前 其它的 proposer 之前 开始了了提出更高编号的议案,没法最好能放弃当前的议案。否则,之前 acceptor 忽略另4个多多 prepare 之前 accept 请求(之前 之前 收到了更高编号的 prepare 请求),它应该告知 proposer 放弃议案。这是另4个多多 性能优化,而不影响正确性。

PreCommit 阶段

协调者根据参与者的反应请况来决定与否可不都可不可不能否记性事务的 PreCommit 操作。根据响应请况,有以下你你这个 之前 。

为保障系统的可用性、可靠性以及性能,在分布式系统中,往往会设置数据冗余,即对数据进行一键复制。举例来说,当另4个多多 数据库的副本被破环之前 ,没法系统只才可不都可不可不能否转换到一些数据副本就能继续运行下去。另外另4个多多 例子,当访问单一服务器管理的数据的守护程序数不断增加时,系统就才可不都可不可不能否对服务器的数量进行扩充,此时,对服务器进行一键复制,之前 让它们分担工作负荷,就可不都可不可不能否提高性能。但一起去,怎么保障多个数据节点之间数据的一致以及怎么补救分布式事务,将成为为另4个多多 复杂化一段话题。本文将介绍常用的事务补救机制。

Proposer :提议者

Acceptor:决策者

Client:产生议题者

Learner:最终决策学习者

算法可不都可不可不能否分为另4个多多 阶段来执行:

参考文献

http://research.microsoft.com/en-us/um/people/lamport/pubs/lamport-paxos.pdfhttps://www.oschina.net/question/2720166_2235329《分布式系统常用技术及案例分析》: https://github.com/waylau/distributed-systems-technologies-and-cases-analysis

doCommit 阶段

该阶段进行真正的事务提交,才可不都可不可不能否分为以下你你这个 请况。

Slave 一般是 Master 的备份。在另另4个多多 的系统中,一般是如下设计的:

读写请求都由 Master 负责。

写请求写到 Master 上后,由 Master 同步到 Slave 上。

你你这个 机制的特点是:

数据同步通常是异步的

有良好的吞吐量,低延迟 * 在大多数 RDBMS 中支持,比如 MySQL二进制日志

弱/最终一致性

你你这个 机制的缺点是,之前 Master 挂了,Slave 才可不都可不可不能否提供读服务,而没法写服务。

异步

最终的一致性

多个节点间才可不都可不可不能否序列化协议

当协调者节点从所有参与者节点获得的相应消息都为“同意”时:

协调者节点向所有参与者节点发出“正式提交(commit)”的请求。

参与者节点正式完成操作,并释倒入整个事务期间内占用的资源。

参与者节点向协调者节点发送“完成”消息。

之前 任一参与者节点在第一阶段返回的响应消息为”中止”,之前 协调者节点在第一阶段的询问超时之前 无法获取所有参与者节点的响应消息时:

协调者节点向所有参与者节点发出”回滚操作(rollback)”的请求。

参与者节点利用之前 写入的Undo信息执行回滚,并释倒入整个事务期间内占用的资源。

参与者节点向协调者节点发送”回滚完成”消息。

协调者节点受到所有参与者节点反馈的”回滚完成”消息后,收回事务。

协调者节点受到所有参与者节点反馈的”完成”消息后,完成事务

不管最后结果怎么,第二阶段有的是开始了了当前事务。

原文发布时间为:2018-07-31

本文来自云栖社区商务商务合作伙伴“Java架构师之路”,了解相关信息可不都可不可不能否关注“Java架构师之路”。

同步阻塞你你这个 的问題。执行过程中,所有参与节点有的是事务阻塞型的。

单点故障。之前 协调者的重要性,一旦协调者处在故障,参与者会另4个多劲阻塞下去。尤其在第二阶段,协调者处在故障,没法所有的参与者还都处在锁定事务资源的请况中,而无法继续完成事务操作。

数据不一致。在阶段二中,当协调者向参与者发送 commit 请求之前 ,处在了局部网络异常之前 在发送 commit 请求过程中协调者处在了故障,这回原因着才可不都可不可不能否一次要参与者接受到了 commit 请求。而在这次要参与者接到 commit 请求之前 就会执行 commit 操作。否则一些次要未接到 commit 请求的机器则无法执行事务提交。于是整个分布式系统便再次出现了数据部一致性的你你这个 的问題。

二阶段无法补救的你你这个 的问題:协调者再发出 commit 消息之前 宕机,而唯一接收到这条消息的参与者一起去也宕机了。没法即使协调者通过选举协议产生了新的协调者,这条事务的请况也是不选着 的,没法知道事务与否被之前 提交。

为了补救两阶段提交协议的种种你你这个 的问題,研究者们在二阶段提交的基础上做了改进,提出了三阶段提交。

第一阶段(准备阶段)

协调者节点向所有参与者节点询问与否可不都可不可不能否执行提交操作(vote),并开始了了停留各参与者节点的响应。

参与者节点执行询问发起为止的所有事务操作,并将 Undo 信息和 Redo 信息写入日志。(注意:若成功这里其实 每个参与者之前 执行了事务操作)

各参与者节点响应协调者节点发起的询问。之前 参与者节点的事务操作实际执行成功,则它返回另4个多多 “同意”消息;之前 参与者节点的事务操作实际执行失败,则它返回另4个多多 “中止”消息。

两阶段提交

三阶段提交协议(Three-phase commit protocol,3PC),是二阶段提交(2PC)的改进版本。与两阶段提交不同的是,三阶段提交有另4个多多 改动点:

二段式提交协议的优缺点:

三阶段提交可不都可不可不能否 另4个多劲持有事务资源并处在阻塞请况。否则你你这个 机制也会原因着数据一致性你你这个 的问題,之前 ,之前 网络原因着,协调者发送的 abort 响应没法及时被参与者接收到,没法参与者在停留超时之前 执行了 commit 操作,另另4个多多 就和一些接到 abort 命令并执行回滚的参与者之间处在数据不一致的请况。

在 Paxos 算法中,分为4种角色:

优点:原理简单,实现方便;

Master-Master 多主一键复制