jzhihui的博客
jzhihui · 共 27 篇文章
RabbitMQ源码分析 – 持久化机制
(注:分析代码基于RabbitMQ 2.8.2) 当消息需要持久化(相应队列首先必须是durable)或者因为内存吃紧,需要把消息转移到磁盘的时候就会触发持久化操作。Rabbit中两部分信息涉及到持久化操作:一个是消息本身,由msg_store模块负责([$RABBIT_SRC/src/rabbit_msg_store.erl]),另一个是消息在队列中的位置,由queue_index模块负责([$RABBIT_SRC/src/rabbit_queue_index.erl])。 消息持久化(msg_store) msg_store采用的是一种Server-Client的模式,每个结点上有两个m…
2012-08-21T09:34:24Z · 开源软件 · 评论(3)
I/O模型:阻塞、非阻塞 & 同步、异步
这篇文章主要总结下这几个概念,前几天看到微博里在 讨论 ,当时也有点搞不清楚,昨天在看到Reactor和Proactor模式的时候,又提到相关概念,索性搞搞清楚,写个总结。 《Unix网络编程卷1:套接字联网API》(下面称为卷1)第6章对Unix I/O模型有5种划分:阻塞式I/O模型,非阻塞式I/O模型,I/O复用模型,信号驱动式I/O,异步I/O模型。这里我们只关心跟我们主题相关的四类: 阻塞式I/O模型 :应用进程调用I/O操作时阻塞,只有等待要操作的数据准备好,并复制到应用进程的缓冲区中才返回。 非阻塞式I/O模型 :当应用进程要调用的I/O操作会导致该进程进入阻塞状态时,该I/O…
2012-08-12T20:05:43Z · 操作系统 · 评论(1)
RabbitMQ源码分析 - 队列机制
(注:分析代码基于RabbitMQ 2.8.2) 当rabbit无法直接将消息投递到消费者时,需要暂时将消息入队列,以便重新投递。但是,将消息入队列并不意味着,就是将消息扔在一个队列中就不管了,rabbit提供了一套状态转换的机制来管理消息。 在rabbit中,队列中的消息可能会处理以下四种状态: alpha:消息内容以及消息在队列中的位置(消息索引)都保存在内存中; beta:消息内容只在磁盘上,消息索引只在内存中; gamma:消息内容只在磁盘上,消息索引在内存和磁盘上都存在; delta:消息的内容和索引都在磁盘上。 注意:对于持久化消息,消息内容和消息索引都必须先保存在磁盘上,然后才…
2012-07-09T10:10:58Z · 开源软件 · 评论(0)
RabbitMQ源码分析 – 消息生命周期
(注:分析代码基于RabbitMQ 2.8.2) 当客户端通过basic.publish命令(AMQP定义)发布一个消息时,rabbit需要经过以下几个步骤处理消息: 1) 根据客户端传来的消息内容及相关属性(目标exchange,routing keys,mandatory及immediate属性)构造一个消息实体; 2) 根据要投递的exchange及routing keys匹配消息的目标投递队列名称; 3) 根据队列名称找到对应的处理进程ID; 4) 通过deliver消息(Erlang消息)向目标进程投递消息实体; 5) 队列对应进程收到投递的消息后,会试图向关联到此队列的消费者投递…
2012-06-25T10:53:22Z · 开源软件 · 评论(1)
RabbitMQ源码分析 – 实体初始化
(注:分析代码基于RabbitMQ 2.8.2) Connection 在上篇文章中提到,客户端连上rabbit后,需要向rabbit发送AMQP协议头,rabbit在收到协议头后,开始在0号channel 上跟客户端进行交互(AMQP中一个连接可以多路复用,1~65535为可用的channel编号,0号channel,也就是frame中channel的索引为0,被认为是全局于整个连接)。 根据AMQP协议,经过 connection.start -> connection.start_ok -> connection.secure -> connection.secure_ok -> co…
2012-06-11T16:15:05Z · 开源软件 · 评论(0)
RabbitMQ源码分析 – 网络层
(注:分析代码基于RabbitMQ 2.8.2) 网络层的启动也是作为上一篇文章中提到的一个启动步骤来启动的,入口为[$RABBIT_SRC/src/rabbit_networking.erl --> boot/0],代码如下: boot() -> ok = start(), ok = boot_tcp(), ok = boot_ssl(). [$RABBIT_SRC/src/rabbit_networking.erl --> start/0]构建rabbit_client_sup子监控树,[$RABBIT_SRC/src/rabbit_networking.erl --> boot_tcp…
2012-05-30T13:31:06Z · 开源软件 · 评论(0)
RabbitMQ源码分析 - 启动
RabbitMQ 是一个消息队列的实现,基于 AMQP (Advanced Message Queuing Protocol)。最近因为工作需要,打算深入了解RabbitMQ的架构以实现,后续会出一系列文章记录分析过程。这篇总结RabbitMQ的启动过程。 (注:分析代码基于RabbitMQ 2.8.2) RabbitMQ的启动入口在[$RABBIT_SRC/src/rabbit.erl --> start/2]。主要代码如下: start(normal, []) -> case erts_version_check() of ok -> {ok, SupPid} = rabbit_sup:…
2012-05-24T19:41:36Z · 开源软件 · 评论(0)
Erlang热部署 – 模块更新
Erlang的热部署做的很完善,参见 Release Handling ,这篇文章只关心最基本的模块更新。模块是Erlang程序组织的最基本单元。如下代码就是一个最简单的hello模块(为了说明问题,我们添加了一个init函数): -module(hello). -export([init/0, hello/1]). init() -> Db = dict:new(), dict:store(name, "jzh", Db). hello(Db) -> Value = dict:fetch(name, Db), io:format("hello: ~p!~n", [Value]). 运行一下…
2012-05-21T10:55:55Z · 编程语言 · 评论(0)
Erlang并发机制 – 垃圾回收
Erlang中每个进程都有独立的堆内存,默认的大小是233个words(可配置),并以 Fibonacci 序列的顺序增长(233对应fib(11))。不过,当堆内存增大到一定程序时,增长速度减缓,比如内存大于fib(35)=14M的时候,堆内存开始不以Fibonacci序列增长(具体参见[$R15B_OTP_SRC/erts/emulator/beam/erl_gc.c --> erts_init_gc]里的说明)。一般情况下,进程所用到的数据都放在各自的堆内存中。 Erlang的GC机制跟其它语言(比如Java)相比,很重要的一点是,它的GC是以进程为单位进行的(一般情况下,GC搜索的根…
2012-05-02T10:34:18Z · 编程语言 · 评论(1)
Erlang并发机制 – 消息传递
Erlang系统中,进程之间的通信是通过消息传递来完成的。消息使用Pid ! Message的形式发送,通过receive语句获取。每个Erlang进程都有用来存储传入消息的信箱。当一个消息发送的时候,它会从发送进程中 拷贝 到接收进程的信箱,并以它们到达的时间次序存储。消息的传递是异步的,一个发送进程不会在发送消息后被暂停。 上面提到发送消息时,会在两个进程之间存在消息复制,为什么需要复制呢?这就跟进程的堆内存有关。虽然在Erlang的 文档 (heap_type)中说明堆内存有三种类型:private,shared,hybrid,但是在实际的代码中,只有两种private和hybrid(…
2012-05-02T10:24:30Z · 编程语言 · 评论(2)
Erlang并发机制 – 任务迁移算法
一般情况下,在SMP环境中,每个调度器都会绑定到一个CPU核心,为了保证调度器可以充分的利用CPU资源,那么就必要确保每个调度器任务队列的长度大致相同,Erlang通过任务迁移算法来完成这个功能。 Characterizing the Scalability of Erlang VM on Many-core Processors 这篇文章中对这个算法进行了详细的说明,不过,就我自己感觉来说,边看代码,边看上述论文里的描述,可能更容易理解。这篇算是一个总结文档。 Erlang中每隔固定时间(R15B中这个值是2000*2000)会做一次任务检查,查看各个任务队列上的任务是否分布均衡。主要要做…
2012-05-02T10:22:08Z · 编程语言 · 评论(3)
AMQP & Nova
OpenStack中的Nova各个服务之间以松耦合的方式使用AMQP进行通信(RPC)。使用AMQP的发布/订阅模式来进行RPC有如下优势: 1) 客户端及服务端之间解耦:客户端不需要知道有哪些服务端以及服务端的地址; 2) 客户端与服务端之间完全的同步性:客户端的RPC不需要服务端正好在运行; 3) 远程调用的随机均衡:如果有多个服务端在运行,单向RPC会透明的分发到最一个可用的服务端。 Nova用到了direct,fanout,topic三种类型的交换器(Exchange),整个架构图如下: Nova基于AMQP实现了两种类型的RPC: rpc.call:请求响应类型,一个请求发送出去以…
2012-04-24T17:31:25Z · 开源软件 · 评论(1)
Ganger released!
自己做的一个小东西,欢迎有兴趣的同学试用:https://github.com/onlychoice/ganger Ganger - A simple automate tool. ================================================== What is Ganger -------------------------------------- Ganger is a simple automate tool. It can automate deploy packages, launch target processes, update pack…
2012-04-12T14:40:45Z · 开源软件 · 评论(0)
Erlang并发机制 –进程调度
Erlang调度器主要完成对Erlang进程的调度,它是Erlang实现软件实时和进程之间公平使用CPU的关键。Erlang运行时,有4种任务需要被调度:进程, Port , Linked-in driver ,Erlang虚拟机的系统级活动。 Erlang调度器主要有以下特点: 1. 进程调度运行在用户空间 :Erlang进程不同于操作系统进程,Erlang的进程调度也跟操作系统完全没有关系,是由Erlang虚拟机来完成的; 2. 调度是抢占式的:每一个进程在创建时,都会分配一个固定数目的reduction(R15B中,这个数量默认值是2000),每一次操作(函数调用),reduction…
2012-04-10T22:43:43Z · 编程语言 · 评论(2)
Erlang并发机制 - 进程
在了解Erlang的并发机制之前,我们先来看一下Erlang与Java的并发性能对比,一个是并发单元的创建时间,一个是并发单元之间的消息通讯时间(纵坐标代表时间,横坐标代表并发数量): (测试程序及说明见 这里 ,原测试时间比较早了,于是在自己的虚拟机上重新跑了下(CenterOS 6,3G内存);JVM生成线程数量控制,可见 这里 ,) 从上面的测试结果来看,Erlang的并发效率要比Java好很多,不在一个数量级上,Erlang是Java的1000倍左右(这不能说明在所有场景下Erlang的并发性能都优于Java,比如消息传递方面,消息的大小可能对这个结果也有影响)。那么Erlang的并…
2012-03-26T21:24:37Z · 编程语言 · 评论(1)