Python脚本使用yield与线程池处理MySQL300万行数据查询内存飙升优化
前段时间处理一个数据批量更新任务，需要从 MySQL 表中读取大约 300 万条记录，经过一系列逻辑处理（调用外部 API 更新标签）后写回。为了控制资源，我使用了 ThreadPoolExecutor 配合生成器逐条产出数据，期望做到“边读边处理”，避免一次性加载全部结果集。 然而上线后观察监控，发现 Python 进程的内存占用随着迭代不断攀升，最终几乎吃满机器内存，导致 OOM 风险。最初直觉是 yield 没有真正实现流式，或者数据库驱动缓存了全部结果，但深入排查后发现事情没那么简单。 初始代码结构 简化后的核心代码如下： from mysql.connector.pooling import MySQLConnectionPool dbpool = MySQLConnectionPool() def..
更多