一 阻塞,非阻塞,同步,异步

执行的角度:

阻塞: 程序运行时,遇到IO程序挂起,CPU被切走.

非阻塞: 程序没有遇到IO或程序遇到IO通过某种手段让cpu强行运行程序.

提交任务的角度:

同步: 提交一个任务,自任务开始运行直到此任务结束(可能有IO),返回一个返回值之后,再提交下一个任务.

异步: 一次提交多个任务,不用等任务结束就可以提交下一个任务.

二 同步调用,异步调用

2.1 同步调用:

from concurrent.futures import ProcessPoolExecutor

import time,random,os

def task(i):

print(f'{os.getpid()}开始任务')

time.sleep(random.randint(1,3))

print(f'{os.getpid()}任务结束')

return i

if __name__ == '__main__':

pool = ProcessPoolExecutor()

for i in range(10):

obj = pool.submit(task,i)

print(obj.result())

# obj是一个动态对象,返回的当前的对象状态,有可能在运行,就绪,阻塞,结束.

# obj.result()必须等任务完成后,返回了结果之后,再执行下一个任务

2.2 异步调用:

from concurrent.futures import ProcessPoolExecutor

import time,random,os

def task(i):

print(f'{os.getpid()}开始任务')

time.sleep(random.randint(1,3))

print(f'{os.getpid()}任务结束')

return i

if __name__ == '__main__':

pool = ProcessPoolExecutor()

for i in range(10):

pool.submit(task,i)

pool.shutdown()

print("主进程")

# shutdown: 让主进程等待进程池中所有的子进程都结束之后,再执行.在上一个进程池没有完成所有的任务之前,不允许添加新的任务.

# 一个任务是通过一个函数实现的,任务完成了返回值就是函数的返回值.

2.3 异步调用如何取结果:

方式一: 统一回收结果

from concurrent.futures import ProcessPoolExecutor

import time,random,os

def task(i):

print(f'{os.getpid()}开始任务')

time.sleep(random.randint(1,3))

print(f'{os.getpid()}任务结束')

return i

if __name__ == '__main__':

pool = ProcessPoolExecutor()

lst = []

for i in range(10):

obj = pool.submit(task,i)

lst.append(obj)

pool.shutdown(wait=True)

for k in lst:

print(k.result())

# 统一回收结果不能马上收到任何一个已经完成的任务的返回值,只能等所有的任务全部结束后统一回收.

方式二: 异步调用 + 回调函数

三 异步调用 + 回调函数

from concurrent.futures import ThreadPoolExecutor

import requests

def task(url): # 爬取网站数据

ret = requests.get(url)

if ret.status_code == 200:

return ret.text

def parse(obj):

print(len(obj.result()))

if __name__ == '__main__':

url_lst = ['http://www.baidu.com',

'http://www.JD.com',

'http://www.JD.com',

'http://www.JD.com',

'http://www.taobao.com',

'https://www.cnblogs.com/jin-xin/articles/7459977.html',

'https://www.luffycity.com/',

'https://www.cnblogs.com/jin-xin/articles/9811379.html',

'https://www.cnblogs.com/jin-xin/articles/11245654.html',

'https://www.sina.com.cn/',]

pool = ThreadPoolExecutor(4)

for url in url_lst:

obj = pool.submit(task,url)

obj.add_done_callback(parse)

# 异步调用:站在发布任务的角度(并发),处理的是IO类型

# 回调函数:站在接收结果的角度,按顺序接收每个任务的结果,进行下一步处理,处理的是非IO类型