InstantID团队推新风格迁移方法InstantStyle 一键置身“梵高星空”

4月15日 消息:InstantStyle是由InstantID原班团队推出的一种新的风格迁移方法，它专注于解决图像生成中的风格化问题，即生成与参考图像风格一致的图像。这项技术的核心在于实现风格和内容的有效分离，从而在不牺牲内容信息的情况下，注入所期望的艺术风格。

InstantStyle的创新之处:

特征相减:利用CLIP模型的特性，通过特征相减的方式去除图像特征中的内容信息，从而减少参考图片内容对生成图片的影响。这种方法的优势在于，内容信息相对容易通过文本描述提取，因此可以通过CLIP的文本编码器提取内容特征，用于解耦风格和内容。

仅风格层注入:InstantStyle方法仅在特定的风格层完成特征注入，这样做可以隐式地实现风格和内容的解耦。研究发现，在UNet的mid block附近，存在两个特定的层，分别控制风格和空间布局，这为风格化图像生成提供了新的视角。

实验结果:

InstantStyle的实验结果显示，其提出的两种策略——特征相减和仅风格层注入——都能够独立使用，并取得了优异的效果。这些策略不局限于特定模型，具有很好的通用性。

社区玩法:

InstantStyle已经提供了丰富的代码实现，开发者可以通过GitHub访问和使用。它支持文生图、图生图以及Inpainting等多种应用场景，并被视频生成项目AnyV2V推荐为风格化工具。此外，InstantStyle还支持ComfyUI，用户可以通过更新IP-Adapter节点来快速尝试。随着InstantStyle与InstantID的联名，风格化图像生成的可能性将更加丰富。