测试基建：⚡ 优化 GPU Mode 显存治理

[cangtianhuang]

🧭 背景

PaddleAPITest 的 gpu_mode 通过 GPU 上的 tensor 生成、比较和缓存复用提升 accuracy 测试效率，但在长时间运行、单卡多 worker 以及大 shape case 场景下，旧实现容易把临时 tensor、allocator cache 和调度压力叠加到同一张卡上，最终放大 OOM 风险。

🔎 问题定位

旧逻辑里，gpu mode 仍沿用固定的 required_memory 思路，默认预算过小，且与真实 GPU 总显存、worker 数和 case 规模脱节。对 B 卡 268G 这类场景来说，单卡单进程的可用预算应接近整卡安全比例，而不是被旧模型压成 10GB 级别。

与此同时，gpu mode 在 torch 阶段保留了较多 live tensor 和 allocator cache，Paddle 阶段又需要继续申请显存，导致单 case 在输入生成、输出保留和 cache 积压的叠加下更容易触顶。fp8/fp16/bf16 的大 tensor 生成还会先制造更大的临时峰值，进一步放大风险。

🔧 主要变更

1. gpu mode 显存预算改为按卡容量和 worker 数计算

GpuModeConfig 改为显式携带 GPU 总显存、worker 数、预算和 cleanup 阈值，engine 在启动 case 时注入当前 GPU 的总显存和 worker 数，再由 runtime config 计算当前 worker 的 memory_budget。--num_workers_per_gpu=-1 时默认按每卡 1 worker 处理，更符合大 case 的保守默认。

2. 统一 torch cache 清理和 outputs/grads spill 决策

tester/base.py 将 gpu mode 的显存策略收敛到一个入口里：普通阶段根据 budget、reserved、allocated 和 idle reserved 判断是否 empty_cache()，accuracy 阶段则复用同一逻辑决定 torch outputs/grads 是否需要迁 CPU，并在必要时同步清理 cache 给 Paddle 让位。

3. 降低 fp8 / bf16 / fp16 大 tensor 生成峰值

tester/api_config/config_analyzer.py 改成先分配目标 tensor，再用小 pattern 分块填充，保留 torch/Paddle 共同源输入语义的同时，避免大 shape 先生成整块随机临时 tensor。fp8 路径仍通过支持的中间 dtype 生成有限值后再 cast，因为当前 torch 不能直接随机生成 fp8 tensor。

4. 删除旧参数和脚本入口

required_memory 从 run.py、engine 参数流、schema、示例脚本和 V2/V4/CINN 文档中全部移除，旧固定预算模型不再保留兼容入口。这样可以避免调用链继续依赖已失效的 10GB 配置。

📁 改动文件

类别	文件	功能说明
引擎	engineV2.py、engineV4.py	注入 GPU 总显存和 worker 数，按预算调度 case，并移除旧 required_memory 逻辑
测试框架	tester/runtime_config.py、tester/base.py、tester/accuracy.py、tester/api_config/config_analyzer.py	收敛 gpu mode runtime 配置、统一 cache 清理和 spill 决策、优化输入生成
命令入口	run.py	删除 required_memory CLI 和 engine override
配置与脚本	test_pipeline/run_config.schema.json、run-example.sh、run-v4.sh、test_pipeline/V2/*、test_pipeline/V4/*、test_pipeline/CINN/*	清理旧参数和示例入口，避免继续走固定预算模型
文档	engineV2-README.md	同步更新参数说明

[paddle-bot]

Thanks for your contribution!