Nunchaku：SVDQuant 4-bit扩散模型，低显存跑Flux，ICLR 2025 Spotlight
Nunchaku是SVDQuant的4-bit量化扩散模型实现，通过低秩分解吸收离群值，让显存有限的设备流畅运行Flux。该成果入选ICLR 2025 Spotlight，适合AI绘画、批量出图、ComfyUI工作流接入等场景，也可用于扩散模型部署优化，为技术学习者提供低显存、高吞吐的本地推理方案。
查看原文 →内容为平台聚合整理，原文与最新动态以来源页面为准。
扫码进学习交流群
加专属老师微信图文介绍
项目/模型定位
SVDQuant（ICLR2025 Spotlight）是一种面向扩散模型的4-bit量化技术，提出“通过低秩分量吸收离群值”的思路。它将预训练模型的权重进行低秩分解，使量化过程可以单独处理异常数值，从而在显著压缩模型体积、降低显存占用的同时，尽可能保持生成图像的质量。
核心功能亮点
- 低秩吸收离群值：利用SVD分解将权重拆分为低秩组件与残差，由低秩部分容纳难以量化的离群值，降低4-bit量化带来的精度损失。
- 端侧友好部署：支持权重和激活的低比特量化，减少模型访存开销，让Stable Diffusion等大型扩散模型有机会在消费级GPU或边缘设备上运行。
- 生成质量保持：在超低比特设定下，针对图像生成任务优化量化策略，减少生成内容的结构性伪影。
- 生态可集成：提供基于PyTorch的实现与工具链，便于嵌入现有模型推理或ComfyUI等图形化工作流中。
适用场景
- 显存资源有限，但仍希望本地运行扩散模型进行AI绘画的用户。
- 需要高吞吐批量出图的职业培训场景，如设计、新媒体内容生产。
- 希望将量化模型接入ComfyUI工作流，优化加载速度与推理延迟的技术学习者。
上手提示
建议先从论文开源仓库获取SVDQuant的量化脚本，准备好一个已训练的扩散模型Checkpoint，按文档完成4-bit转换。在集成到ComfyUI前，先以命令行或Python脚本验证生成质量，再结合ComfyUI的模型加载路径导入。注意量化后仍需保留低秩组件的计算精度，实际运行显存占用会明显下降，但需要对应推理Kernel支持。
作者/来源：nunchux-ai
常见问题
Nunchaku 是一个实现了 SVDQuant 的 4-bit 量化推理项目。SVDQuant 是入选 ICLR 2025 Spotlight 的扩散模型量化方法，通过低秩分解吸收权重中的离群值，让大型扩散模型在较少显存下更流畅地运行。
SVDQuant 在 4-bit 设定下使用低秩分量单独处理异常数值，缓解量化带来的精度损失，减少生成图像的结构性伪影。实际效果仍与模型版本、提示词和分辨率有关，建议部署前用测试集对比生成质量。
目前没有固定显存数值。Nunchaku 通过 SVDQuant 对权重和激活做低比特量化，减少模型访存和显存占用，使原本难以在消费级 GPU 上运行的 Flux 等模型有了本地运行的可能。具体能否运行需结合显卡显存、图像分辨率与量化版本实测确认。
可以先从项目仓库获取 SVDQuant 的量化脚本，对已训练的扩散模型完成 4-bit 转换；随后用命令行或 Python 脚本验证生成效果，再按 ComfyUI 的模型加载路径导入。量化后的推理需要对应 Kernel 支持，请按项目文档配置环境。
扩散模型权重中会有少数数值远大于其他权重的离群值，直接 4-bit 量化容易带来较大误差。SVDQuant 将权重拆成低秩部分与残差，用低秩分量容纳离群值，让主分量更容易量化，从而减少精度损失并保持生成质量。