在了解IO模型前,先了解什么叫IO,IO得操作是怎么样的? IO既输入输出,指的是一切操作程序或设备与计算机之间发生的数据传输的过程。它分为IO设备和IO接口两个部分。
IO设备 :就是指可以与计算机进行数据传输的硬件。最常见的I/O设备有打印机、硬盘、键盘和鼠标。从严格意义上来讲,它们中有一些只能算是输入设备(比如说键盘和鼠标);有一些只是输出设备(如打印机)。
IO接口 :就是是主机和外设之间的交接界面,通过接口可以实现主机和外设之间的信息交换。
IO的五种模型
阻塞与非阻塞IO
你打电话问书店老板有没有《分布式系统》这本书,你如果是阻塞式调用 ,你会一直把自己“挂起”,直到得到这本书有没有的结果,如果是非阻塞式调用 ,你不管老板有没有告诉你,你自己先一边去玩了, 当然你也要偶尔过几分钟check一下老板有没有返回结果。 在这里阻塞与非阻塞与是否同步异步无关。跟老板通过什么方式回答你结果无关。
往一个文件中写数据需要几个步骤:
1.opne()、2.write(){系统调用,要想写磁盘,把数据给write让write帮自己写(把数据给内核,这个过程叫用户态 下沉到内核态 ),内核(内核里面还有缓冲IO,快缓冲(攒了一会再写)、直接IO)拿到数据(BUff)在写道磁盘当中,当写的过程中内核需要调度底层IO}、3.close()
阻塞(Block)/非阻塞(NonBlock) 场景描述 阻塞:你和你的女朋约好再外面电话亭(文件)见面,你们就是数据,你就去了电话亭就再哪一直等等等!!!,你怕你走了她就来了,你就再那干等了10分钟。
非阻塞:你和你的女朋约好再外面电话亭(文件)见面,你们就是数据,你就去了电话亭没看到你的女朋友(拿到一个-1),(假如你们要恰饭)你就直接走了去恰饭。为了我们的关系我过一会我就看一下比如10分钟或者1秒(这叫轮询)
common.c 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 #include <stdio.h> #include <stdlib.h> #include <unistd.h> #include <fcntl.h> // 非阻塞 int make_nonblock(int fd) { int flag; flag = fcntl(fd, F_GETFL); if(flag < 0) { return -1; } // O_NONBLOCK 位掩码 flag |= O_NONBLOCK; return fcntl(fd, F_SETFL, flag); } // 解除非阻塞 int make_block(int fd) { int flag; flag = fcntl(fd, F_GETFL); if(flag < 0) { return -1; } flag &= ~ O_NONBLOCK; return fcntl(fd, F_SETFL, flag); }
阻塞IO(Block) 阻塞:往往需要等待缓冲区中的数据准备好过后才处理其他的事情,否则一直等待在那里。(浪费时间)
正常写的程序基本都是阻塞
非阻塞IO(NonBlock) 设置标准输入为非阻塞 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 #include "5.common.c" int main () { int age; make_nonblock(0 ); int ret = scanf ("%d" , &age); printf ("ttw is %d years old! <%d>\n" , age, ret); perror("scanf" ); return 0 ; }
运行结果 scanf retValue是-1 那么 -1 是什么意思用perror打印查看什错误
scanf:是成功读入的个数,返回 -1 出错
perror(“scanf”): 资源的临时是不可访问的(想要从一个空的输入流中捞出一个数据,显然是没有的,但是又是非阻塞 的也不能等所以返回 -1)
1 2 ttw is -99424160 years old! <-1> scanf: Resource temporarily unavailable
想办法怎么让程序读到数据?(标准输入-O_NONBLOCK) 简答猜想?
加上sleep(5)这前5秒标准输入流打开了么?
再等待的5秒中之前输入123,scanf()读到了,意味着什么标准输入流打不打开有没有数据过去跟scanf没有关系,没有scanf标准输入流中的数据该去还是得去,只是这个数据有没有被收走,只要是非阻塞IO只要有数据我就可以直接把他拿走。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 #include "5.common.c" int main () { int age; make_nonblock(0 ); sleep(5 ); int ret = scanf ("%d" , &age); printf ("ttw is %d years old! <%d>\n" , age, ret); perror("scanf" ); return 0 ; }
运行结果 1 2 3 4 123 ttw is 123 years old! <1 > scanf : Success
SELECT() select的函数格式: // 最大文件描述符 + 1, 读、写、异常、阻塞(睡觉啥也不干)
int select(int nfds, fd_set *readfds, fd_set *writefds, fd_set *exceptfds, struct timeval *timeout);
解释一下各个参数的意思: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 - 参数: - nfds: 委托内核的检测最大文件描述符的值 + 1 - readfds: 要检测的文件描述符的读的集合,委托内核检测哪些文件描述符的读的属性 - 一般检测读操作 - 对应的是对方发送来的数据, 因为读被的接收数据, 检测的就是读缓冲区 - 是一个传入传出参数 - fd_set集合可以通过一些宏由人为来操作: - FD_ZERO(fd_set *fdset):清空fdset与所有文件句柄的联系。 - FD_SET(int fd, fd_set *fdset):建立文件句柄fd与fdset的联系。 - FD_CLR(int fd, fd_set *fdset):清除文件句柄fd与fdset的联系。 - FD_ISSET(int fd, fdset *fdset):检查fdset联系的文件句柄fd是否可读写,>0表示可读写。 - writefds: 要检测的文件描述符的写的集合, 委托内核检测哪些文件描述符的写的属性 - 委托内核检测写缓存区是不是还可以写数据 (不满就可以写) - exceptfds: 检测发生异常的文件描述符的集合 - timeout: 要设置的超时时间 struct timeout { long tv_sec; /* seconds 秒 */ long tv_usec; /* microseconds 微秒 */ } - 值为 NULL: 永久阻塞, 直到检测到了文件描述符的变化 - tv_sec = 0, tv_usec: = 0 : 表示不阻塞 - tv_sec > 0, tv_usec: > 0 : 阻塞对应的时间 - 返回值: -1: 失败 > 0 (n): 检测的集合中n个文件描述符发生了变化
主旨思想:
1 .首先要构造一个关于文件描述符的列表,将要监听的文件描述符添加到该列表中。
调用系统函数(select), 监听该列表中的文件描述符,直到这些描述符中的一个或者多个进行I\O操作时, 该函数才会返回
a. 这个函数是阻塞的
b. 函数对文件描述符的检测的操作是由内核完成
在返回时, 它会告诉进程有多少(哪些)描述符要进行I/O操作
FD_SETSIZE 它指定最大描述符数(通常是1024),一个整数占4个字节,既32位,那么就是用包含32个元素的整数数组来表示文件描述符集。我们可以在头文件中修改这个值来改变select使用的文件描述符集的大小,但是必须重新编译内核才能使修改后的值有效。当前版本的unix操作系统没有限制FD_SETSIZE的最大值,通常只受内存以及系统管理上的限制。
select 缺点:
每次调用select,都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多时会很大。
同时每次调用select都需要在内核遍历传递进来的所有fd,这个开销在fd很多时也很大。
select支持的文件描述符数量太小了,默认是1024。
fds集合不能重用,每次都需要重置。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 #include <stdio.h> #include <stdlib.h> #include <sys/time.h> #include <sys/types.h> #include <unistd.h> int main (void ) { fd_set rfds; struct timeval tv ; int retval; FD_ZERO(&rfds); FD_SET(0 , &rfds); tv.tv_sec = 5 ; tv.tv_usec = 0 ; retval = select(1 , &rfds, NULL , NULL , &tv); if (retval == -1 ) perror("select()" ); else if (retval) printf ("Data is available now.\n" ); else printf ("No data within five seconds.\n" ); exit (EXIT_SUCCESS); }
真的理解了么?小问题 上述代码运行,输入ls或者任意(123),为什么会出现一下现象?
1 2 3 4 5 qz@DESKTOP-FH4203J IO % ./a.out 123 Data is available now. qz@DESKTOP-FH4203J IO % 123 zsh: command not found: 123
./a.out 感知到了数据到来 IO感知 select没收
就好比说你雇了一个人,看着电话亭你女朋友是否来了来就打电话告诉你,但是你女朋友来了看着的人给你打电话了,但是你女朋友还再电话亭里面等着,这时候就你能不能到就看你自己了,所以说如果你没有接走被别人接走了(程序死了,被zsh接走了),
修改程序,刚才那种显示结果就不会出现了 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 #include <stdio.h> #include <stdlib.h> #include <sys/time.h> #include <sys/types.h> #include <unistd.h> int main (void ) { fd_set rfds; struct timeval tv ; int retval; FD_ZERO(&rfds); FD_SET(0 , &rfds); tv.tv_sec = 5 ; tv.tv_usec = 0 ; retval = select(1 , &rfds, NULL , NULL , &tv); if (retval == -1 ) perror("select()" ); else if (retval) { char buff[512 ] = {0 }; printf ("Data is available now.\n" ); scanf ("%s" , buff); } else printf ("No data within five seconds.\n" ); exit (EXIT_SUCCESS); }
poll() 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 #include <poll.h> struct pollfd { int fd; short events; short revents; }; struct pollfd myfd ;myfd.fd = 5 ; myfd.events = POLLIN | POLLOUT; int poll (struct pollfd *fds, nfds_t nfds, int timeout) ; - 参数: - fds : 是一个struct pollfd 结构体数组,这是一个需要检测的文件描述符的集合 - nfds : 这个是第一个参数数组中最后一个有效元素的下标 + 1 - timeout : 阻塞时长(毫秒) 0 : 不阻塞 -1 : 阻塞,当检测到需要检测的文件描述符有变化,解除阻塞 >0 : 阻塞的时长 - 返回值: -1 : 失败 >0 (n) : 成功,n表示检测到集合中有n个文件描述符发生变化
poll 缺点:
每次调用select,都需要把fd集合从用户态拷贝到内核态,这个开销在fd很多时会很大。
同时每次调用select都需要在内核遍历传递进来的所有fd,这个开销在fd很多时也很大。
select支持的文件描述符数量太小了,默认是1024.
fds集合不能重用,每次都需要重置。
epoll 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 #include <sys/epoll.h> // 创建一个新的epoll实例。在内核中创建了一个数据,这个数据中有两个比较重要的数据,一个是需要检测的文件描述符的信息(红黑树),还有一个是就绪列表,存放检测到数据发送改变的文件描述符信息(双向链表)。 int epoll_create(int size); - 参数: size : (以前是使用哈希实现的需要用到size)目前没有意义了。随便写一个数,必须大于0 - 返回值: -1 : 失败 > 0 : 文件描述符,操作epoll实例的 typedef union epoll_data { void *ptr; int fd; uint32_t u32; uint64_t u64; } epoll_data_t; struct epoll_event { uint32_t events; /* Epoll events */ epoll_data_t data; /* User data variable */ }; 常见的Epoll检测事件: - EPOLLIN - EPOLLOUT - EPOLLERR ... ... // 对epoll实例进行管理:添加文件描述符信息,删除信息,修改信息 int epoll_ctl(int epfd, int op, int fd, struct epoll_event *event); - 参数: - epfd : epoll实例对应的文件描述符 - op : 要进行什么操作 EPOLL_CTL_ADD: 添加 EPOLL_CTL_MOD: 修改 EPOLL_CTL_DEL: 删除 - fd : 要检测的文件描述符 - event : 检测文件描述符什么事情 // 检测函数 int epoll_wait(int epfd, struct epoll_event *events, int maxevents, int timeout); - 参数: - epfd : epoll实例对应的文件描述符 - events : 传出参数,保存了发送 了变化的文件描述符的信息 - maxevents : 第二个参数结构体数组的大小 - timeout : 阻塞时间 - 0 : 不阻塞 - -1 : 阻塞,直到检测到fd数据发生变化,解除阻塞 - > 0 : 阻塞的时长(毫秒) - 返回值: - 成功,返回发送变化的文件描述符的个数 > 0 - 失败 -1
Epoll 的工作模式:
假设委托内核检测读事件 -> 检测fd的读缓冲区
读缓冲区有数据 - > epoll检测到了会给用户通知
a.用户不读数据,数据一直在缓冲区,epoll 会一直通知
b.用户只读了一部分数据,epoll会通知
c.缓冲区的数据读完了,不通知
LT(level - triggered)是缺省的工作方式,并且同时支持 block 和 nonblock, socket。在这 种做法中,内核告诉你一个文件描述符是否就绪了,然后你可以对这个就绪的 fd 进行 IO 操 作。如果你不作任何操作,内核还是会继续通知你的。
假设委托内核检测读事件 -> 检测fd的读缓冲区
读缓冲区有数据 - > epoll检测到了会给用户通知
a.用户不读数据,数据一致在缓冲区中,epoll下次检测的时候就不通知了
b.用户只读了一部分数据,epoll不通知
c.缓冲区的数据读完了,不通知
ET(edge - triggered)是高速工作方式,只支持 nonblock, socket。在这种模式下,当描述 符从未就绪变为就绪时,内核通过epoll告诉你。然后它会假设你知道文件描述符已经就绪, 并且不会再为那个文件描述符发送更多的就绪通知,直到你做了某些操作导致那个文件描述 符不再为就绪状态了。但是请注意,如果一直不对这个 fd 作 IO 操作(从而导致它再次变成 未就绪),内核不会发送更多的通知(only once)。 ET 模式在很大程度上减少了 epoll 事件被重复触发的次数,因此效率要比 LT 模式高。epoll 工作在 ET 模式的时候,必须使用非阻塞套接口,以避免由于一个文件句柄的阻塞读/阻塞写 操作把处理多个文件描述符的任务饿死。
1 2 3 4 5 6 7 8 9 struct epoll_event { uint32_t events; epoll_data_t data; }; 常见的Epoll检测事件: - EPOLLIN - EPOLLOUT - EPOLLERR - EPOLLET
丢个博客:
点我咱就走!