1.Queue 先进先出队列

与多进程中的Queue使用方式完全相同，区别仅仅是不能被多进程共享。

q =  Queue(3)q.put(1)q.put(2)q.put(3)print(q.get(timeout=1))print(q.get(timeout=1))print(q.get(timeout=1))

2.LifoQueue 后进先出队列

该队列可以模拟堆栈，实现先进后出，后进先出

lq = LifoQueue()lq.put(1)lq.put(2)lq.put(3)print(lq.get())print(lq.get())print(lq.get())

3.PriorityQueue 优先级队列

该队列可以为每个元素指定一个优先级，这个优先级可以是数字，字符串或其他类型，但是必须是可以比较大小的类型，取出数据时会按照从小到大的顺序取出

pq = PriorityQueue()# 数字优先级pq.put((10,"a"))pq.put((11,"a"))pq.put((-11111,"a"))print(pq.get())print(pq.get())print(pq.get())# 字符串优先级pq.put(("b","a"))pq.put(("c","a"))pq.put(("a","a"))print(pq.get())print(pq.get())print(pq.get())

 

线程事件Event：

什么是事件：

事件表示在某个时间发生了某个事情的通知信号，用于线程间协同工作。

因为不同线程之间是独立运行的状态不可预测，所以一个线程与另一个线程间的数据是不同步的，当一个线程需要利用另一个线程的状态来确定自己的下一步操作时，就必须保持线程间数据的同步，Event就可以实现线程间同步

Event介绍：

Event象包含一个可由线程设置的信号标志,它允许线程等待某些事件的发生。在 初始情况下,Event对象中的信号标志被设置为假。如果有线程等待一个Event对象, 而这个Event对象的标志为假,那么这个线程将会被一直阻塞直至该标志为真。一个线程如果将一个Event对象的信号标志设置为真,它将唤醒所有等待这个Event对象的线程。如果一个线程等待一个已经被设置为真的Event对象,那么它将忽略这个事件, 继续执行

可用方法：

event.isSet()：返回event的状态值；

event.wait()：将阻塞线程；知道event的状态为True

event.set()： 设置event的状态值为True，所有阻塞池的线程激活进入就绪状态， 等待操作系统调度；

event.clear()：恢复event的状态值为False。

使用案例：

# 在链接mysql服务器前必须保证mysql已经启动，而启动需要花费一些时间，所以客户端不能立即发起链接 需要等待msyql启动完成后立即发起链接from threading import Event,Threadimport timeboot = Falsedef start():    global boot    print("正正在启动服务器.....")    time.sleep(5)    print("服务器启动完成!")    boot = True    def connect():    while True:        if boot:            print("链接成功")            break        else:            print("链接失败")        time.sleep(1)Thread(target=start).start()Thread(target=connect).start()Thread(target=connect).start()使用Event改造后：from threading import Event,Threadimport timee = Event()def start():    global boot    print("正正在启动服务器.....")    time.sleep(3)    print("服务器启动完成!")    e.set()def connect():    e.wait()    print("链接成功")    Thread(target=start).start()Thread(target=connect).start()Thread(target=connect).start()增加需求，每次尝试链接等待1秒，尝试次数为3次from threading import Event,Threadimport timee = Event()def start():    global boot    print("正正在启动服务器.....")    time.sleep(5)    print("服务器启动完成!")    e.set()def connect():    for i in range(1,4):        print("第%s次尝试链接" % i)        e.wait(1)        if e.isSet():            print("链接成功")            break        else:            print("第%s次链接失败" % i)    else:        print("服务器未启动!")Thread(target=start).start()Thread(target=connect).start()# Thread(target=connect).start()

单线程实现并发：

单线程实现并发这句话乍一听好像在瞎说

首先需要明确并发的定义

并发：指的是多个任务同时发生，看起来好像是同时都在进行

并行：指的是多个任务真正的同时进行

早期的计算机只有一个CPU，既然CPU可以切换线程来实现并发，那么为何不能再线程中切换任务来并发呢？

如何能够实现并发呢？

并发 = 切换任务+保存状态，只要找到一种方案，能够在两个任务之间切换执行并且保存状态，那就可以实现单线程并发

python中的生成器就具备这样一个特点，每次调用next都会回到生成器函数中执行代码，这意味着任务之间可以切换，并且是基于上一次运行的结果，这意味着生成器会自动保存执行状态！

于是乎我们可以利用生成器来实现并发执行：

def task1():    while True:        yield        print("task1 run")def task2():    g = task1()    while True:        next(g)        print("task2 run")task2()

并发虽然实现了，单这对效率的影响是好是坏呢？来测试一下

# 两个计算任务一个采用生成器切换并发执行  一个直接串行调用import  timedef task1():    a = 0    for i in range(10000000):        a += i        yielddef task2():    g = task1()    b = 0    for i in range(10000000):        b += 1        next(g)s = time.time()task2()print("并发执行时间",time.time()-s)# 单线程下串行执行两个计算任务 效率反而比并发高 因为并发需要切换和保存def task1():    a = 0    for i in range(10000000):        a += idef task2():    b = 0    for i in range(10000000):        b += 1s = time.time()task1()task2()print("串行执行时间",time.time()-s)

可以看到对于纯计算任务而言，单线程并发反而使执行效率下降了一半左右，所以这样的方案对于

纯计算任务而言是没有必要的

我们暂且不考虑这样的并发对程序的好处是什么，在上述代码中，使用yield来

切换是的代码结构非常混乱，如果十个任务需要切换，不敢想象，因此就有人专门对yield进行了封装，

这便有了greenlet模块。

greenlet模块实现并发：

def task1(name):    print("%s task1 run1" % name)    g2.switch(name) # 切换至任务2    print("task1 run2")     g2.switch() # 切换至任务2def task2(name):    print("%s task2 run1" % name)    g1.switch() # 切换至任务1    print("task2 run2")g1 = greenlet.greenlet(task1)g2 = greenlet.greenlet(task2)g1.switch("jerry") # 为任务传参数

该模块简化了yield复杂的代码结构，实现了单线程下多任务并发，但是无论直接使用yield还是greenlet都不能检测IO操作，遇到IO同样进入阻塞状态，所以此时的并发是没有任何意义的。

现在我们需要一种方案，即可检测IO又能够实现单线程并发，于是gevent闪亮登场。

协程概述：

协程就是单线程下的并发，又称微线程。英文名Coroutine。一句话说明什么是线程：协程是一种用户态的轻量级线程，即协程是由用户程序自己控制调度的。

需要强调的是：

#1. python的线程属于内核级别的，即由操作系统控制调度（如单线程遇到io或执行时间过长就会被迫交出cpu执行权限，切换其他线程运行）

#2. 单线程内开启协程，一旦遇到io，就会从应用程序级别（而非操作系统）控制切换，以此来提升效率（！！！非io操作的切换与效率无关）

对比操作系统控制线程的切换，用户在单线程内控制协程的切换

优点如何：

#1. 协程的切换开销更小，属于程序级别的切换，操作系统完全感知不到，因而更加轻量级

#2. 单线程内就可以实现并发的效果，最大限度地利用cpu

缺点如下：

#1. 协程的本质是单线程下，无法利用多核，可以是一个程序开启多个进程，每个进程内开启多个线程，每个线程内开启协程来尽可能提高效率

#2. 协程本质是单个线程，因而一旦协程出现阻塞，将会阻塞整个线程

gevent协程的使用：

import gevent,sysfrom gevent import monkey # 导入monkey补丁monkey.patch_all() # 打补丁 import timeprint(sys.path)def task1():    print("task1 run")    # gevent.sleep(3)    time.sleep(3)    print("task1 over")def task2():    print("task2 run")    # gevent.sleep(1)    time.sleep(1)    print("task2 over")g1 = gevent.spawn(task1)g2 = gevent.spawn(task2)#gevent.joinall([g1,g2])g1.join()g2.join()# 执行以上代码会发现不会输出任何消息# 这是因为协程任务都是以异步方式提交，所以主线程会继续往下执行，而一旦执行完最后一行主线程也就结束了，# 导致了协程任务没有来的及执行，所以这时候必须join来让主线程等待协程任务执行完毕   也就是让主线程保持存活# 后续在使用协程时也需要保证主线程一直存活，如果主线程不会结束也就意味着不需要调用join

注意:

 

1.如果主线程结束了 协程任务也会立即结束。

2.monkey补丁的原理是把原始的阻塞方法替换为修改后的非阻塞方法，即偷梁换柱，来实现IO自动切换

必须在打补丁后再使用相应的功能，避免忘记，建议写在最上方

monkey补丁案例：

#myjson.pydef dump():    print("一个被替换的 dump函数")def load():    print("一个被替换的 load函数")# test.pyimport myjsonimport json# 补丁函数def monkey_pacth_json():    json.dump = myjson.dump    json.load = myjson.load    # 打补丁monkey_pacth_json()# 测试 json.dump()json.load()# 输出：# 一个被替换的 dump函数# 一个被替换的 load函数