Python并发请求接口方案_多线程与协程对比【指导】_技术教程

应优先选用 asyncio + httpx 协程方案，因其连接池自动适配协程调度、无锁开销、吞吐高；若含大量同步阻塞或 CPU 密集操作，则选多线程并需为每个线程配置独立 Session 和线程安全连接池。

requests + threading 为什么经常卡死或报错

直接用 requests 配合 threading.Thread 发并发请求，大概率会遇到连接池耗尽、Max retries exceeded 或 ConnectionResetError。根本原因是 requests 底层的 urllib3.PoolManager 默认只维护有限连接（通常 10 个），多线程争抢同一连接池，又没做线程安全配置。

实操建议：

必须显式创建带足够 maxsize 和线程安全配置的 PoolManager，并绑定到每个 Session
每个线程应持有独立的 requests.Session() 实例，避免共享状态
加 threading.Semaphore 控制并发数，别盲目开几百个线程

import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry

def make_session():
    session = requests.Session()
    retry = Retry(total=2, backoff_factor=0.3)
    adapter = HTTPAdapter(
        pool_connections=50,
        pool_maxsize=50,
        max_retries=retry
    )
    session.mount("http://", adapter)
    session.mount("https://", adapter)
    return session

asyncio + httpx 是目前最稳的协程方案

httpx.AsyncClient 原生支持 asyncio，连接池自动适配协程调度，没有线程锁开销，内存占用低，吞吐高。相比 aiohttp，httpx API 更接近 requests，迁移成本小，还支持 HTTP/2 和同步/异步混用。

常见错误现象：

忘记 await client.get(...)，直接调用返回 coroutine 对象，后续报 TypeError: object is not async
在非 async 函数里调用 asyncio.run() 多次，导致 event loop 已关闭
没限制并发数，asyncio.gather(*tasks) 一次性扔几千个请求，触发服务端限流或本地文件描述符耗尽

import asyncio
import httpx

async def fetch(client, url):
    try:
        r = await client.get(url, timeout=5.0)
        return r.status_code, r.text[:100]
    except Exception as e:
        return -1, str(e)

async def main():
    async with httpx.AsyncClient() as client:
        tasks = [fetch(client, "https://httpbin.org/delay/1") for _ in range(50)]
        results = await asyncio.gather(*tasks, return_exceptions=True)
    return results