From a6740c28bbcf8ebb2cdb2f947658ac7e37d9d515 Mon Sep 17 00:00:00 2001 From: g10guang Date: Wed, 21 Mar 2018 16:25:15 +0800 Subject: [PATCH] =?UTF-8?q?=E8=A1=A5=E5=85=85=20select=20poll=20epoll=20?= =?UTF-8?q?=E7=9A=84=E7=9B=B8=E5=85=B3=E7=9F=A5=E8=AF=86=E7=82=B9=EF=BC=8C?= =?UTF-8?q?=E8=AF=A5=20epoll()=20=E7=9A=84=E6=8B=AC=E5=8F=B7=E9=83=BD?= =?UTF-8?q?=E5=8E=BB=E9=99=A4=E4=BA=86=EF=BC=8C=E5=9B=A0=E4=B8=BA=E4=B8=8D?= =?UTF-8?q?=E5=AD=98=E5=9C=A8=E8=BF=99=E6=A0=B7=E4=B8=80=E4=B8=AA=E6=96=B9?= =?UTF-8?q?=E6=B3=95?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- notes/Linux.md | 179 +++++++++++++++++++++++++++++++++++++++++++++---- 1 file changed, 165 insertions(+), 14 deletions(-) diff --git a/notes/Linux.md b/notes/Linux.md index 1db2d6d9..31d445b1 100644 --- a/notes/Linux.md +++ b/notes/Linux.md @@ -53,9 +53,8 @@ * [十、I/O 复用](#十io-复用) * [概念理解](#概念理解) * [I/O 模型](#io-模型) - * [select() poll() epoll()](#select-poll-epoll) - * [select() 和 poll() 比较](#select-和-poll-比较) - * [eopll() 工作模式](#eopll-工作模式) + * [select() poll() epoll](#select-poll-epoll) + * [select() poll() epoll 应用场景](#select-poll-epoll-应用场景) * [参考资料](#参考资料) @@ -1068,10 +1067,12 @@ HTTP 服务器即要处理监听套接字，又要处理已连接的套接字，

-## select() poll() epoll() +## select() poll() epoll 这三个都是 I/O 多路复用的具体实现，select 出现的最早，之后是 poll，再是 epoll。可以说，新出现的实现是为了修复旧实现的不足。 +假如做一个Web服务器没有 I/O 多路复用，就需要为每一个客户端连接创建一个线程去处理。而负载均衡，可能同时连接几万个连接，那就需要创建几万个线程处理客户端请求啊？显然不是的，应该使用 I/O 多路复用，也就是一个线程同时处理多个 I/O 请求，epoll 可以由一个线程同时处理上百万个 socket 连接。 + ### 1. select() ```c @@ -1081,6 +1082,52 @@ int select (int n, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct - fd_set 表示描述符集合； - readset、writeset 和 exceptset 这三个参数指定让内核测试读、写和异常条件的描述符； - timeout 参数告知内核等待所指定描述符中的任何一个就绪可花多少时间。 +- return 成功调用返回结果大于0；出错返回结果为-1；超时返回结果为0 + +```c +fd_set fd_in, fd_out; +struct timeval tv; + +// Reset the sets +FD_ZERO( &fd_in ); +FD_ZERO( &fd_out ); + +// Monitor sock1 for input events +FD_SET( sock1, &fd_in ); + +// Monitor sock2 for output events +FD_SET( sock2, &fd_out ); + +// Find out which socket has the largest numeric value as select requires it +int largest_sock = sock1 > sock2 ? sock1 : sock2; + +// Wait up to 10 seconds +tv.tv_sec = 10; +tv.tv_usec = 0; + +// Call the select +int ret = select( largest_sock + 1, &fd_in, &fd_out, NULL, &tv ); + +// Check if select actually succeed +if ( ret == -1 ) + // report error and abort +else if ( ret == 0 ) + // timeout; no event detected +else +{ + if ( FD_ISSET( sock1, &fd_in ) ) + // input event on sock1 + + if ( FD_ISSET( sock2, &fd_out ) ) + // output event on sock2 +} +``` + +每次调用 select() 都需要将 `fd_set *readfds, fd_set *writefds, fd_set *exceptfds` 链表内容全部从用户进程内存中复制到OS内核中，内核需要将所有 fd_set 遍历一遍，这个过程非常低效。 + +返回结果中内核并没有声明哪些 fd_set 已经准备好了，所以如果返回值大于0时，程序需要遍历所有的 fd_set 判断哪个 I/O 已经准备好。 + +在 Linux 中 select 最多支持 1024 个 fd_set 同时轮询，其中 1024 由 Linux 内核的 FD_SETSIZE 决定。如果需要打破该限制可以修改 FD_SETSIZE，然后重新编译内核。 ### 2. poll() @@ -1096,9 +1143,43 @@ struct pollfd { }; ``` -它和 select() 功能基本相同。 +```c +// The structure for two events +struct pollfd fds[2]; + +// Monitor sock1 for input +fds[0].fd = sock1; +fds[0].events = POLLIN; + +// Monitor sock2 for output +fds[1].fd = sock2; +fds[1].events = POLLOUT; + +// Wait 10 seconds +int ret = poll( &fds, 2, 10000 ); +// Check if poll actually succeed +if ( ret == -1 ) + // report error and abort +else if ( ret == 0 ) + // timeout; no event detected +else +{ + // If we detect the event, zero it out so we can reuse the structure + if ( pfd[0].revents & POLLIN ) + pfd[0].revents = 0; + // input event on sock1 -### 3. epoll() + if ( pfd[1].revents & POLLOUT ) + pfd[1].revents = 0; + // output event on sock2 +} +``` + +它和 select() 功能基本相同。同样需要每次将 `struct pollfd *fds` 复制到内核，返回后同样需要进行轮询每一个 pollfd 是否已经 I/O 准备好。poll() 取消了 1024 个描述符数量上限，但是数量太大以后不能保证执行效率，因为复制大量内存到内核十分低效，所需时间与描述符数量成正比。poll() 在 pollfd 的重复利用上比 select() 的 fd_set 会更好。 + +如果在多线程下，如果一个线程对某个描述符调用了 poll() 系统调用，但是另一个线程关闭了该描述符，会导致 poll() 调用结果不确定，该问题同样出现在 select() 中。 + +### 3. epoll ```c int epoll_create(int size); @@ -1106,26 +1187,95 @@ int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event)； int epoll_wait(int epfd, struct epoll_event * events, int maxevents, int timeout); ``` +```c +// Create the epoll descriptor. Only one is needed per app, and is used to monitor all sockets. +// The function argument is ignored (it was not before, but now it is), so put your favorite number here +int pollingfd = epoll_create( 0xCAFE ); + +if ( pollingfd < 0 ) + // report error + +// Initialize the epoll structure in case more members are added in future +struct epoll_event ev = { 0 }; + +// Associate the connection class instance with the event. You can associate anything +// you want, epoll does not use this information. We store a connection class pointer, pConnection1 +ev.data.ptr = pConnection1; + +// Monitor for input, and do not automatically rearm the descriptor after the event +ev.events = EPOLLIN | EPOLLONESHOT; +// Add the descriptor into the monitoring list. We can do it even if another thread is +// waiting in epoll_wait - the descriptor will be properly added +if ( epoll_ctl( epollfd, EPOLL_CTL_ADD, pConnection1->getSocket(), &ev ) != 0 ) + // report error + +// Wait for up to 20 events (assuming we have added maybe 200 sockets before that it may happen) +struct epoll_event pevents[ 20 ]; + +// Wait for 10 seconds, and retrieve less than 20 epoll_event and store them into epoll_event array +int ready = epoll_wait( pollingfd, pevents, 20, 10000 ); +// Check if epoll actually succeed +if ( ret == -1 ) + // report error and abort +else if ( ret == 0 ) + // timeout; no event detected +else +{ + // Check if any events detected + for ( int i = 0; i < ret; i++ ) + { + if ( pevents[i].events & EPOLLIN ) + { + // Get back our connection pointer + Connection * c = (Connection*) pevents[i].data.ptr; + c->handleReadEvent(); + } + } +} +``` + +epoll 仅仅适用于 Linux OS。 + 它是 select() 和 poll() 的增强版，更加灵活而且没有描述符限制。它将用户关心的描述符放到内核的一个事件表中，从而只需要在用户空间和内核空间拷贝一次。 -## select() 和 poll() 比较 +新版本的 `epoll_create(int size)` 参数 size 不起任何作用，在旧版本的 epoll 中如果描述符的数量大于 size，不保证服务质量。 +epoll_ctl 执行一次系统调用，用于向内核注册新的描述符或者是改变某个文件描述符的状态。已注册的描述符在内核中会被维护在一棵红黑树上，通过回调函数内核会将 I/O 准备好的描述符加入到一个链表中管理。 +epoll_wait 取出在内核中通过链表维护的 I/O 准备好的描述符，将他们从内核复制到程序中，不需要像 select() poll() 对注册的所有描述符遍历一遍。 -## eopll() 工作模式 +epoll 对多线程编程更有友好，同时多个线程对同一个描述符调用了 epoll_wait 也不会产生像 select() poll() 的不确定情况。或者一个线程调用了 epoll_wait 另一个线程关闭了同一个描述符也不会产生不确定情况。 epoll() 对文件描述符的操作有两种模式：LT（level trigger）和 ET（edge trigger）。 -- LT 模式：当 epoll_wait() 检测到描述符事件发生并将此事件通知应用程序，应用程序可以不立即处理该事件。下次调用 epoll_wait() 时，会再次响应应用程序并通知此事件。 -- ET 模式：当 epoll_wait() 检测到描述符事件发生并将此事件通知应用程序，应用程序必须立即处理该事件。如果不处理，下次调用 epoll_wait() 时，不会再次响应应用程序并通知此事件。 +epoll_event有两种触发模式，LT模式和ET模式 -### 1. LT +- LT 模式：当 epoll_wait() 检测到描述符事件发生并将此事件通知应用程序，应用程序可以不立即处理该事件。下次调用 epoll_wait() 时，会再次响应应用程序并通知此事件。是默认的一种模式，并且同时支持 Blocking 和 No-Blocking。 +- ET 模式：当 epoll_wait() 检测到描述符事件发生并将此事件通知应用程序，应用程序必须立即处理该事件。如果不处理，下次调用 epoll_wait() 时，不会再次响应应用程序并通知此事件。很大程度上减少了 epoll 事件被重复触发的次数，因此效率要比 LT 模式高。只支持 No-Blocking，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。 -是默认的一种模式，并且同时支持 Blocking 和 No-Blocking。 +## select() poll() epoll 应用场景 -### 2. ET +很容易产生一种错觉认为只要用 epoll() 就可以了，select() poll() 都是历史遗留问题，并没有什么应用场景，其实并不是这样的。 -很大程度上减少了 epoll() 事件被重复触发的次数，因此效率要比 LT 模式高。只支持 No-Blocking，以避免由于一个文件句柄的阻塞读/阻塞写操作把处理多个文件描述符的任务饿死。 +### select() 应用场景 + +select() poll() epoll_wait() 都有一个 timeout 参数，在 select() 中 timeout 的精确度为 1ns，而 poll() 和 epoll_wait() 中则为 1ms,。所以 select 更加适用于实时要求更高的场景，比如核反应堆的控制。 + +select 历史更加悠久，它的可移植性更好，几乎被所有主流平台所支持。 + +### poll() 应用场景 + +poll 没有最大描述符数量的限制，如果平台支持应该采用 poll 且对实时性要求并不是十分严格，而不是 select。 + +需要同时监控小于 1000 个描述符。那么也没有必要使用 epoll，因为这个应用场景下并不能体现 epoll 的优势。 + +需要监控的描述符状态变化多，而且都是非常短暂的。因为 epoll 中的所有描述符都存储在内核中，造成每次需要对描述符的状态改变都需要通过 epoll_ctl() 进行系统调用，频繁系统调用降低效率。epoll 的描述符存储在内核，不容易调试。 + +### epoll 应用场景 + +程序只需要运行在 Linux 平台上，且、有非常大量的描述符需要同时轮询，比如一万，且这些连接最好是长连接。 + +[poll 与 epoll 的性能对比](http://lse.sourceforge.net/epoll/index.html) # 参考资料 @@ -1134,3 +1284,4 @@ epoll() 对文件描述符的操作有两种模式：LT（level trigger）和 ET - [Boost application performance using asynchronous I/O](https://www.ibm.com/developerworks/linux/library/l-async/) - [Synchronous and Asynchronous I/O](https://msdn.microsoft.com/en-us/library/windows/desktop/aa365683(v=vs.85).aspx) - [Linux IO 模式及 select、poll、epoll 详解](https://segmentfault.com/a/1190000003063859) +- [select / poll / epoll: practical difference for system architects](https://www.ulduzsoft.com/2014/01/select-poll-epoll-practical-difference-for-system-architects/)