nginx源码学习笔记-epoll模型

Post on Jun 27, 2017 by Lightfish Zhang

Nginx的epoll模型

前言

epoll模型是Nginx的高性能的基石

IO多路复用模型

IO多路复用模型的接口

  • 不同平台支持不同的io多路复用模型,如linux的epoll,FreeBSD的kqueue, 对于跨平台开发的Nginx,就需要抽象出统一的接口
  • ngx_event_action_t接口
    • init 初始化
    • add 将某描述符的某个事件(可读/可写)添加到多路复用监控里
    • del 将某描述符的某个事件(可读/可写)从多路复用监控里删除
    • enable 启用对某个指定事件的监控
    • disable 禁用对某个指定事件的监控
    • add_conn 将指定连接关联的描述符加入到多路复用监控里
    • del_conn 将指定连接关联的描述符从多路复用监控里删除
    • process_changes 监控的事件发送变化,只有kqueue用到这个接口
    • process_event 阻塞等待事件发送,对发送的事件进行逐个处理
    • done 回收资源
  • 详细实现代码在ngx_event.c,

epoll模型

#include <sys/epoll.h>
int epoll_create(int size);
int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event);
int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout);
int epoll_pwait(int epfd, struct epoll_event *events, int maxevents, int timeout, const sigset_t *sigmask);
// /usr/include/sys/epoll.h
typedef union epoll_data
{
  void *ptr;
  int fd;
  uint32_t u32;
  uint64_t u64;
} epoll_data_t;

struct epoll_event
{
  uint32_t events;	  /* Epoll events */
  epoll_data_t data;	/* User data variable */
} __EPOLL_PACKED;
  • epoll同时监控的描述符个数的最大值是cat /proc/sys/fs/file-max,也就是进程可打开文件描述符个数限制,笔者机子Linux 4.9.40-1, 该数目是1198690
  • epoll_create() 创建一个epoll的句柄,参数size,告诉内核监听的描述符数目的最大值,请求内核为存储事件分配空间,所以在epoll用完后,需要close(epfd),回收分配空间
  • epoll_ctl() 向内核注册、删除或修改事件,按惯例,执行成功返回0,错误返回-1同时设置errno
    • 第一个参数epfd是函数epoll_create()的返回值
    • 第二个参数op,动作:注册新的fdEPOLL_CTL_ADD,修改已注册的fd的监听事件EPOLL_CTL_MOD,删除…EPOLL_CTL_DEL
    • 第三个参数fd, 需要监听的描述符
    • 第四个参数event,是epoll_event结构体,告诉内核需要监听什么事件
  • epoll_event 结构体,字段events有:
    • EPOLLIN 普通数据可读
    • EPOLLOUT 发生挂起
    • EPOLLPRI 高优先级数据可读
    • EPOLLERR 发生错误
    • EPOLLHUP 发生挂起
    • EPOLLET 将epoll设为边缘触发模式Edge Triggered,epoll默认是水平触发Level Triggered
  • epoll_wait() 等待事件发生,执行成功则返回发生事件的描述符的数目,错误返回-1同时设置errno
    • 第一个参数epfd是函数epoll_create()的返回值
    • 第二个参数events,从内核接受发送事件的集合
    • 第三个参数maxevents,指定一次获取的最大值,理所当然,其值不得大于epoll_create(size)的size
    • 第四个参数timeout指定epoll_wait()函数调用等待时间多久(单位毫秒),取值-1则无限等待到事件或信号发送, 取值0则立即返回,大于0则阻塞等待(process stat为sleep),睡眠时间固定为指定的时间
  • 水平触发与边缘触发,这个与电路的高低电平的触发方式类似,笔者听硬件开发的同学说,水平触发是一种状态,边缘触发是带有时序的(这样理解好像莫名其妙哈)
    • epoll的水平触发,举例,可读事件返回的就绪的fd,也就是fd有数据,如果没有去读取数据(accept/recv/read), 那么下一次epoll_wait()会再一次返回这个fd
    • epoll的边缘触发,与水平触发比较,没有向fd读取数据,下一次epoll_wait()不会再次返回该fd,除非fd被再一次写入”新的数据”
    • 从两者区别可知,边缘触发仅支持非阻塞non-block的fd, 这样才能保证,就算服务端不读取数据,客户端可以继续往该fd写入数据
    • 对大并发的系统,从性能上,边缘触发比水平触发更有优势,但是对编程的要求也更高
  • 在Nginx中,监听套接口listen socket(如主机的80端口),是以水平触发的,而连接套接口connection socket(如客户端对80端口的一个连接),是以边缘触发的,其中原由,笔者放在下一篇

参考例子

  • socket + epoll的代码范例, https://github.com/lightfish-zhang/linux_practise_c/blob/master/socket/epoll-example.c

Nginx对epoll模块的封装

  • 暴露的事件的相关方法 ngx_event.h, 在Nginx其他代码中,都是调用以下宏定义的方法
#define ngx_add_event        ngx_event_actions.add
#define ngx_del_event        ngx_event_actions.del
#define ngx_add_conn         ngx_event_actions.add_conn
#define ngx_del_conn         ngx_event_actions.del_conn
typedef struct {
    ngx_int_t  (*add)(ngx_event_t *ev, ngx_int_t event, ngx_uint_t flags);
    ngx_int_t  (*del)(ngx_event_t *ev, ngx_int_t event, ngx_uint_t flags);

    ngx_int_t  (*enable)(ngx_event_t *ev, ngx_int_t event, ngx_uint_t flags);
    ngx_int_t  (*disable)(ngx_event_t *ev, ngx_int_t event, ngx_uint_t flags);

    ngx_int_t  (*add_conn)(ngx_connection_t *c);
    ngx_int_t  (*del_conn)(ngx_connection_t *c, ngx_uint_t flags);

    ngx_int_t  (*process_changes)(ngx_cycle_t *cycle, ngx_uint_t nowait);
    ngx_int_t  (*process_events)(ngx_cycle_t *cycle, ngx_msec_t timer,
                   ngx_uint_t flags);

    ngx_int_t  (*init)(ngx_cycle_t *cycle, ngx_msec_t timer);
    void       (*done)(ngx_cycle_t *cycle);
} ngx_event_actions_t;


extern ngx_event_actions_t   ngx_event_actions;
  • epoll模块ngx_epoll_module.c, 只有支持epoll的系统使用这个文件
ngx_event_module_t  ngx_epoll_module_ctx = {
    &epoll_name,
    ngx_epoll_create_conf,               /* create configuration */
    ngx_epoll_init_conf,                 /* init configuration */

    {
        ngx_epoll_add_event,             /* add an event */
        ngx_epoll_del_event,             /* delete an event */
        ngx_epoll_add_event,             /* enable an event */
        ngx_epoll_del_event,             /* disable an event */
        ngx_epoll_add_connection,        /* add an connection */
        ngx_epoll_del_connection,        /* delete an connection */
        NULL,                            /* process the changes */
        ngx_epoll_process_events,        /* process the events */
        ngx_epoll_init,                  /* init the events */
        ngx_epoll_done,                  /* done the events */
    }
};
  • 编译前配置,源码文件auto/os/linux
if [ $ngx_found = yes ]; then
    have=NGX_HAVE_CLEAR_EVENT . auto/have
    CORE_SRCS="$CORE_SRCS $EPOLL_SRCS"
    EVENT_MODULES="$EVENT_MODULES $EPOLL_MODULE"
    EVENT_FOUND=YES
fi

Nginx的事件处理

Nginx里,关注的事件是依附在socket描述符上,在一个流程处理中,在不同阶段,对事件的关注也有所不同

  • 新建连接socket,一开始必定监听可读事件
  • 读取完所有请求信息并正常处理后,将关注socket的可写事件,从而知道响应信息顺利发送给客户端
  • 善加利用epoll_wait()的timeout参数,可以判断超时事件,如响应超时
  • 根据当前处理阶段不同,事件处理回调函数也可能不同,比如,新建socket连接,处理客户端请求头与处理客户端请求体的回调函数不一样

事件以及回调处理函数

以下是Nginx对http请求响应的正常处理的流程

  • 第1步,监听, 回调函数ngx_http_init_request()
  • 第2步,监听, 回调函数ngx_http_empty_handler()(该函数啥都不干,仅打个日志)
  • 第3步,监听, 回调函数ngx_http_process_request_line()
  • 第4步,监听, 回调函数ngx_http_process_request_headers()
  • 第5步,监听, 回调函数ngx_http_request_handler()
  • 第6步,监听, 回调函数ngx_http_request_handler()
  • 第7步,监听, 回调函数ngx_http_empty_handler()
  • 第8步,监听, 回调函数ngx_http_keepalive_handler()

逻辑过程

  • 第1步,accept()新建socket,监听可读事件,获取客户端的请求信息
  • 第2步,读完客户端信息之后就是进行初始化等准备工作,此时不关注写事件,所以用ngx_http_empty_handler(),即啥都不做,仅打印日志
  • 第3,4步,对请求头、请求体处理
  • 第5步,监听可读事件,回调是ngx_http_request_handler(),获取响应数据(资源)
  • 第6步,监听可写事件,回调是ngx_http_request_handler(),也就是把响应数据全部发回到客户端connfd
  • 第7步,监听可写事件,从而知道响应信息顺利发送给客户端
  • 第8步,与客户端保持keepalive状态
    • 如果客户端有新的数据发到,在ngx_http_keepalive_handler()将读到对应的数据,并且调用ngx_http_init_request初始化,开始新的请求处理
    • 如果客户端关闭了连接,那么Nginx同样获得一个可读事件,调用ngx_http_keepalive_handler()却读不到数据,于是关闭连接、回收资源

参考文献