描述:
AnyDoor 是一种基于扩散的图像生成器,可以在用户指定的位置将目标对象以和谐的方式传送到新场景中。我们的模型只需要训练一次,就可以轻松推广到不同的对象和场景组合中,无需为每个对象调整参数。为了充分描述某个特定对象,我们除了使用常用的身份特征外,还补充了细节特征,这些特征经过精心设计,既能保持纹理细节,又能允许多样的局部变化(如光照、方向、姿势等),从而使对象与不同的环境更好地融合。我们还提出从视频数据集中借用知识的方法,在视频数据集中可以观察到同一对象的各种形态(沿时间轴),从而增强模型的泛化能力和鲁棒性。大量实验证明了我们方法的优越性,以及它在虚拟试穿和物体移动等实际应用中的巨大潜力。