Cos Stable Diffusion XL丨用Prompt局部重绘图像

标记狮私有云部署
一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作

Cos Stable Diffusion XL丨用Prompt局部重绘图像2.jpg

人工智能图像生成技术的日新月异,令人叹为观止。近日,Stability AI推出了Cos Stable Diffusion XL及其Edit版本,这款新模型无需遮罩或ControlNet等额外操作,仅依赖自然语言Prompt即可完成局部重绘编辑图像的能力。

Inpaint一直是图像编辑中常见的操作,用于修改图像的局部区域。传统方式需要先人工绘制出Mask蒙版区域,或使用ControlNet标注出需要重绘的区域,流程相对繁琐。而Cos Stable Diffusion XL Edit则完全改变了这一体验。

只需在Prompt中描述希望修改的内容,如在下面的demo中我们需要修改耳环,只需在提示词中输入"make the earring fancier",该模型就能理解并修改原有图像相应的部分,生成所需的结果图像,

Cos Stable Diffusion XL丨用Prompt局部重绘图像4.png

我们就会得到一副完整的新图像。整个过程只需输入文本提示词,无需其他操作,大幅简化了传统Inpaint流程。

Cos Stable Diffusion XL丨用Prompt局部重绘图像5.png

这一突破性能力得益于CosXL的全新训练技术Cosine-Continuous EDM VPred。该技术使模型能从黑到白生成完整色彩范围,在每一步更微妙地控制生成变化,实现了语义理解与图像修改的高度融合。

目前,用户可以在ComfyUI中下载cosxl_edit.safetensors模型尝试这项新功能。多个示例显示,该模型能极为准确地理解Prompt描述,并生成令人惊艳的、与原图风格高度一致的修改结果图像。

Cos Stable Diffusion XL丨用Prompt局部重绘图像3.png

或可在huggingface上使用demo:https://huggingface.co/spaces/multimodalart/cosxl

CosXL 是图像生成和编辑领域的一次重大突破,它不仅大幅提升了使用体验,更进一步拓展了AI在图像编辑领域的应用前景,这项技术将会为视觉创作和图像处理带来全新的变革。

https://huggingface.co/stabilityai/cosxl

标记狮私有云部署
一键部署标记狮至私有服务器,构建快速、安全、高效、私密的UI设计团队云协作
立即部署>>
标记狮私有云部署-一键部署标记狮至私有服务器,构建快速,安全,高效,私密的UI设计团队云协作