About fine-tune

[Godk02]

感谢大佬们的开源贡献，请问Video-XL-2有没有什么小成本的微调方法？

[UnableToUseGit]

你好，抱歉这么迟回复，关于小成本微调：
假设你是想在你的专有场景下微调，那么

1. 数据量：一个任务使用3-5k数据就可以收敛（只要任务别太难）。
2. 模型训练：

• 可以仅微调 LLM，其他模块全部Detach。通过 freeze_mm_mlp_adapter, freeze_sae, unfreeze_mm_vision_tower 三个参数来控制。这样的话，配合上 deespeed-zero2，80GB 现存可以进行 400 frames 的训练。
• 可以使用 lora，通过 lora_enable 参数开启，这样可以提高训练速度。
• 实现长序列并行微调（Sequence Parallelism）：我们并没有实现相关代码，可以参考 LongVILA 的工作（https://github.com/NVlabs/VILA/tree/main/longvila）