Diffusion学习11-条件生成-基于DiT

之前在这篇博客Diffusion学习6-生成可控性介绍过诸如ControlNet、T2I-Adapter这类在UNet结构上的插件，但是随着DiT结构逐渐取代UNet结构成为Diffusion生成的骨干模型，以往基于UNet结构做的图像控制插件也都发生变化，虽然在pixart-alpha系列文章提到过可以将每个DiT的Block复制为一份可学习的参数然后使用类似ControlNet的方式进行条件注入，但是这种方式其实并没有充分利用DiT框架下transformer这个大杀器的优势。于是各种基于DiT框架的控制插件就出来了。 OminiControl 《OminiControl: Minimal and Universal Control for Diffusion Transformer》 【论文】【代码】..