sd-forge-layerdiffuse插件正式发布丨生成透明背景图像

标记狮私有云部署
一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作

sd-forge-layerdiffuse2.jpg

sd-forge-layerdiffuse插件正式发布,该插件可以实现透明图像的生成和编辑。目前支持Stable Diffusion WebUI Forge和Comfy ui。

安装指南

在开始安装之前,请确保你已经安装了SD WebUI的Forge版本。以下是安装 sd-forge-layerdiffusion 插件的步骤:

  1. 在Forge界面点击"Extensions",选中"layerdiffusion"插件,点击安装。

  2. 等待插件安装完成。

使用指南

1.安装好插件后,在生成图片时勾选"layerdiffusion enabled"。

sd-forge-layerdiffuse插件1.png

2.在“layerdiffusion method"中选择生成透明图像的模式:“Only Generate Transparent Image"。

3.提示中可以输入透明物体的描述,例如“玻璃杯”。点击生成后可以得到透明背景的玻璃杯图像。

sd-forge-layerdiffuse插件3.png

4.也可以上传背景图像,在"layerdiffusion method"中选择"From Background to Blending",然后生成透明图像。

sd-forge-layerdiffuse插件7.png

5.反之,也可以先生成透明的前景,然后选择"From Foreground to Blending"模式,生成背景。

sd-forge-layerdiffuse插件6.png

特定模型

作者在huggingface上发布了以下模型:

sd-forge-layerdiffuse插件

  1. layer_xl_transparent_attn: 用于将Stable Diffusion XL模型转化为透明图像生成器的模型。通过在XL模型中注入这个模型,可以让其生成透明背景的图像。

  2. layer_xl_transparent_conv: 与layer_xl_transparent_attn类似,也是用于将XL模型转化为透明图像生成器,但方法不同,是通过修改conv层的offset实现的。

  3. layer_xl_fg2ble: 用于将XL模型转化为前景图像到混合图像的生成模型。

  4. layer_xl_fgble2bg: 用于基于前景和混合图像生成背景的模型。

  5. layer_xl_bg2ble: 将XL模型转化为根据背景图像生成混合图像的模型。

  6. layer_xl_bgble2fg: 将XL模型转化为根据背景和混合图像生成前景的模型。

  7. vae_transparent_encoder: 图像编码器,用于从像素空间中提取潜在偏移,帮助透明图像的生成。

  8. vae_transparent_decoder: 图像解码器,输出真实的PNG图像。

这些模型经过特殊设计和训练,可以更好地生成透明背景的图像。普通图像生成模型生成的结果中,透明背景区域往往会有一些噪声或残留的颜色。

特定模型可以将普通XL模型转化为透明图像生成器。如果直接使用普通XL模型,可能无法生成透明背景的结果。

一些模型,如layer_xl_fg2ble,可以实现条件性的图层生成,即根据输入的前景图层生成背景层。使用普通模型难以实现这种结构化的生成过程。

编码器和解码器模型(vae_transparent_encoder等)在实现透明图像生成流程中发挥关键作用,普通模型不含这些组件。

作者特意设计了不同的模型变体,以适应不同的采样器要求。这可以避免因采样器差异而出现的伪影等问题。

特色功能

sd-forge-layerdiffusion 插件的强大之处在于其对透明度的原生处理能力。不仅可以处理透明玻璃、半透明光效等效果,还可以生成细节丰富的毛发、绒毛等元素,这些是传统背景移除技术无法达到的。

sd-forge-layerdiffuse插件4.png

进度

图像生成和基本图层功能现已运行,但透明img2img尚未完成(大约一周内完成)。

sd-forge-layerdiffusion 插件的代码非常动态,可能在接下来的一个月内发生大幅变化。

标记狮私有云部署
一键部署标记狮至私有服务器,构建快速、安全、高效、私密的UI设计团队云协作
立即部署>>
标记狮私有云部署-一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作