目录

• 客户端程序要同时处理多个 socket ，比如非阻塞 connect 技术；

• 客户端程序要同时处理用户输入和网络连接，比如聊天室程序；

• TCP 服务器要同时处理监听 socket 和连接 socket ，这是 I/O 复用使用最多的场合；

• 服务器要同时处理 TCP 请求和 UDP 请求，比如回射服务器；

• 服务器要同时监听多个端口，或者处理多种服务，比如 xinetd 服务器。

一、select 系统调用

1. select API

• nfds：指定被监听的文件描述符的总数。它通常被设置为 select 监听的所有文件描述符中的最大值加 1 ，因为文件描述符是从 0 开始计数的；

• readfds 、writefds 和 exceptfds：分别指向可读、可写和异常等事件对应的文件描述符集合，应用程序调用 select 函数时，通过这 3 个参数传入自己感兴趣的文件描述符。select 调用返回时，内核将修改它们来通知应用程序哪些文件描述符已经就绪。这 3 个参数是 fd_set 结构指针类型；

• fd_set 结构体：仅包含一个整型数组，该数组的每个元素的每一位（bit）标记一个文件描述符，fd_set 能容纳的文件描述符数量由 FD_SETSIZE 指定，这就限制了 select 能同时处理的文件描述符的总量；

• timeout：用来设置 select 函数的超时时间。它是一个 timeval 结构类型的指针，采用指针参数是因为内核将修改它以告诉应用程序 select 等待了多久。不过我们不能完全信任 select 调用返回后的 timeout 值，比如调用失败时 timeout 值是不确定的，由以上定义可见，select 提供了一个微秒级的定时方式。如果给 timeout 变量的 tv_sec 成员和 tv_usec 成员都传递 0 ，则 select 将立即返回。如果给 timeout 传递 NULL ，则 select 将一直阻塞，直到某个文件描述符就绪；

• select 成功时返回就绪（可读、可写和异常）文件描述符的总数。如果在超时时间内没有任何文件描述符就绪，select 将返回 0 。select 失败时返回 -1 并设置 errno 。如果在 select 等待期间，程序接收到信号，则 select 立即返回 -1 ，并设置 errno 为 EINTR 。

2. 文件描述符就绪条件

• socket 内核接收缓存区中的字节数大于或等于其低水位标记 SO_RCVLOWAT 。此时我们可以无阻塞地读该 socket ，并且读操作返回的字节数大于 0 ；

• socket 通信的对方关闭连接。此时对该 socket 的读操作将返回 0 。

• 监听 socket 上有新的连接请求。

• socket 上有未处理的错误。此时我们可以使用 getsockopt 来读取和清除该错误。

• socket 内核发送缓存区中的可用字节数大于或等于其低水位标记 SO_SNDLOWAT 。此时我们可以无阻塞地写该 socket ，并且写操作返回的字节数大于 0 ；

• socket 的写操作被关闭。对写操作被关闭的 socket 执行写操作将触发一个 SIGPIPE 信号；

• socket 使用非阻塞 connect 连接成功或者失败（超时）之后；

• socket 上有未处理的错误。此时我们可以使用 getsockopt 来读取和清除该错误。

3. 处理带外数据

二、poll 系统调用

• fd：指定文件描述符；

• events：告诉 poll 监听 fd 上的哪些事件，它是一系列事件的按位或：

事件	描述	是否可作为输入	是否可作为输出
POLLIN	数据（包括普通数据和优先数据）可读	是	是
POLLRDNORM	普通数据可读	是	是
POLLRDBAND	优先级带数据可读（Linux 不支持）	是	是
POLLPRI	高优先级数据可读，比如 TCP 带外数据	是	是
POLLOUT	数据（包括普通数据和优先数据）可写	是	是
POLLWRNORM	普通数据可写	是	是
POLLWRBAND	优先级带数据可写	是	是
POLLRDHUP	TCP 连接被对方关闭，或者对方关闭了写操作。它由 GNU 引入	是	是
POLLERR	错误	否	是
POLLHUP	挂起，比如管道的写端被关闭后，读描述符上将收到 POLLHUP 事件	否	是
POLLNVAL	文件描述符没有打开	否	是

• revents：由内核修改，以通知应用程序 fd 上实际发生了哪些事件；

• nfds：指定被监听事件集合 fds 的大小。其类型 nfds_t 的定义如下： cpp typedef unsigned long int nfds_t;

• timeout：指定 poll 的超时值，单位是毫秒。当 timeout 为 -1 时，poll 调用将永远阻塞，直到某个事件发生；当 timeout 为 0 时，poll 调用将立即返回；

• poll 系统调用的返回值的含义与 select 相同。

三、epoll 系统调用

1. 内核事件表

• fd：要操作的文件描述符；

• op：指定操作类型：
• EPOLL_CTL_ADD ，往事件表中注册 fd 上的事件；
• EPOLL_CTL_MOD ，修改 fd 上的注册事件；
• EPOLL_CTL_DEL ，删除 fd 上的注册事件。

• EPOLL_CTL_ADD ，往事件表中注册 fd 上的事件；

• EPOLL_CTL_MOD ，修改 fd 上的注册事件；

• EPOLL_CTL_DEL ，删除 fd 上的注册事件。

• event：指定事件，它是 epoll_event 结构指针类型：
• events：描述事件类型。epoll 支持的事件类型和 poll 基本相 同。表 示epoll 事件类型的宏是在 poll 对应的宏前加上“E”，比如 epoll 的数据可读事件是 EPOLLIN 。但 epoll 有两个额外的事件类型 EPOLLET 和 EPOLLONESHOT 。它们对于 epoll 的高效运作非常关键。
• data：用于存储用户数据：
• epoll_data_t：是一个联合体，其 4 个成员中使用最多的是 fd ，它指定事件所从属的目标文件描述符；
• ptr：可用来指定与 fd 相关的用户数据。但由于 epoll_data_t 是一个联合体，我们不能同时使用其 ptr 成员和 fd 成员，因此，如果要将文件描述符和用户数据关联起来，以实现快速的数据访问，只能使用其他手段，比如放弃使用 epoll_data_t 的 fd 成员，而在 ptr 指向的用户数据中包含 fd 。

• events：描述事件类型。epoll 支持的事件类型和 poll 基本相 同。表 示epoll 事件类型的宏是在 poll 对应的宏前加上“E”，比如 epoll 的数据可读事件是 EPOLLIN 。但 epoll 有两个额外的事件类型 EPOLLET 和 EPOLLONESHOT 。它们对于 epoll 的高效运作非常关键。

• data：用于存储用户数据：
• epoll_data_t：是一个联合体，其 4 个成员中使用最多的是 fd ，它指定事件所从属的目标文件描述符；
• ptr：可用来指定与 fd 相关的用户数据。但由于 epoll_data_t 是一个联合体，我们不能同时使用其 ptr 成员和 fd 成员，因此，如果要将文件描述符和用户数据关联起来，以实现快速的数据访问，只能使用其他手段，比如放弃使用 epoll_data_t 的 fd 成员，而在 ptr 指向的用户数据中包含 fd 。

• epoll_data_t：是一个联合体，其 4 个成员中使用最多的是 fd ，它指定事件所从属的目标文件描述符；

• ptr：可用来指定与 fd 相关的用户数据。但由于 epoll_data_t 是一个联合体，我们不能同时使用其 ptr 成员和 fd 成员，因此，如果要将文件描述符和用户数据关联起来，以实现快速的数据访问，只能使用其他手段，比如放弃使用 epoll_data_t 的 fd 成员，而在 ptr 指向的用户数据中包含 fd 。

• epoll_ctl 成功时返回 0 ，失败则返回 -1 并设置 errno 。

2. epoll_wait 函数

• timeout：含义与 poll 接口的 timeout 参数相同；

• maxevents：指定最多监听多少个事件，它必须大于 0 ；

• 该函数成功时返回就绪的文件描述符的个数，失败时返回 -1 并设置 errno 。

3. LT 和 ET 模式

• LT 模式是默认的工作模式，这种模式下 epoll 相当于一个效率较高的 poll 。当往 epoll 内核事件表中注册一个文件描述符上的 EPOLLET 事件时，epoll 将以 ET 模式来操作该文件描述符。对于采用 LT 工作模式的文件描述符，当 epoll_wait 检测到其上有事件发生并将此事件通知应用程序后，应用程序可以不立即处理该事件。这样，当应用程序下一次调用 epoll_wait 时，epoll_wait 还会再次向应用程序通告此事件，直到该事件被处理；

• ET 模式是 epoll 的高效工作模式，对于采用 ET 工作模式的文件描述符，当 epoll_wait 检测到其上有事件发生并将此事件通知应用程序后，应用程序必须立即处理该事件，因为后续的 epoll_wait 调用将不再向应用程序通知这一事件。可见，ET 模式在很大程度上降低了同一个 epoll 事件被重复触发的次数，因此效率要比 LT 模式高；

• 注意：每个使用 ET 模式的文件描述符都应该是非阻塞的。如果文件描述符是阻塞的，那么读或写操作将会因为没有后续的事件而一直处于阻塞状态（饥渴状态）。

4. EPOLLONESHOT 事件

四、三组 I/O 复用函数的比较

• select 的参数类型 fd_set 没有将文件描述符和事件绑定，它仅仅是一个文件描述符集合，因此 select 需要提供 3 个这种类型的参数来分别传入和输出可读、可写及异常等事件。这一方面使得 select 不能处理更多类型的事件，另一方面由于内核对 fd_set 集合的在线修改，应用程序下次调用 select 前不得不重置这 3 个 fd_set 集合。

• poll 的参数类型 pollfd 则多少“聪明”一些。它把文件描述符和事件都定义其中，任何事件都被统一处理，从而使得编程接口简洁得多。并且内核每次修改的是 pollfd 结构体的 revents 成员，而 events 成员保持不变，因此下次调用 poll 时应用程序无须重置 pollfd 类型的事件集参数。由于每次 select 和 poll 调用都返回整个用户注册的事件集合（其中包括就绪的和未就绪的），所以应用程序索引就绪文件描述符的时间复杂度为 。

• epoll 则采用与 select 和 poll 完全不同的方式来管理用户注册的事件。它在内核中维护一个事件表，并提供了一个独立的系统调用 epoll_ctl 来控制往其中添加、删除、修改事件。这样，每次 epoll_wait 调用都直接从该内核事件表中取得用户注册的事件，而无须反复从用户空间读入这些事件。epoll_wait 系统调用的 events 参数仅用来返回就绪的事件，这使得应用程序索引就绪文件描述符的时间复杂度达到 。

五、I/O 复用的高级应用——聊天室

• 一是从标准输入终端读入用户数据，并将用户数据发送至服务器；

• 二是往标准输出终端打印服务器发送给它的数据。

1. 客户端

2. 服务器

六、I/O 复用的高级应用——同时处理 TCP 和 UDP 服务

七、超级服务 xinetd

1. xinetd 配置文件

2. xinetd 工作流程

• 首先，查看 xinetd 守护进程的 PID ：

• 然后开启两个终端并分别使用如下命令 telnet 到本机：

• 接下来使用 ps 命令查看与进程 9543 相关的进程：

• 由此可见，每次使用 telnet 登录到 xinetd 服务，它都创建一个子进程来为该 telnet 客户服务。子进程运行 in.telnetd 程序，这是在 /etc/xinetd.d/telnet 配置文件中定义的。每个子进程都处于自己独立的进程组和会话中。可以使用 lsof 命令进一步查看子进程都打开了哪些文件描述符：
这里省略了一些无关的输出。通过 lsof 的输出知道，子进程 9810 关闭了其标准输入、标准输出和标准错误，而将 socket 文件描述符 dup 到它们上面。因此，telnet 服务器程序将网络连接上的输入当作标准输入，并把标准输出定向到同一个网络连接上。

• 再进一步，对 xinetd 进程使用 lsof 命令：
这一条输出说明 xinetd 将一直监听 telnet 连接请求，因此 in.telnetd 子进程只处理连接 socket ，而不处理监听 socket 。这是子配置文件中的 wait 参数所定义的行为。对于内部标准服务，xinetd 的处理流程也可以用上述方法来分析：