ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

近期,备受瞩目的Stable Diffusion插件ControlNet迎来了一次重要的更新。在九月初,它新增了两个全新的模型,分别是Recolor和IP-Adapter。更为重要的是,这次更新还支持了xl系列的控制模型,可以与SDXL大模型配合使用。现在,让我们一起来看看如何在Stable Diffusion WebUI中使用这些新模型吧!

一、Controlnet 插件更新

ControlNet v1.1.4 更新介绍: https://github.com/Mikubill/sd-webui-controlnet/discussions/2039 (重要,必看)

因为要兼容 SDXL 的生态,所以在使用新版 Controlnet 模型前,需要先做好以下准备:

① 将 SD WebUI 更新到 v1.6.0 或之后的版本,Controlnet 也需要更新到 v1.1.4 或之后的版本,使用秋葉安装包的小伙伴可以直接在启动器的「版本管理」内完成更新。

ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

② 开启显存优化。8 ~16GB 的显存(包括 8GB),需要开启中等显存优化“–medvram-sdxl”;小于 8GB 的显存(如 6GB 或 4GB),需要开启低显存优化“–lowvram”。

ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

相关设置完成后,再启动 WebUI,就会在 Controlnet 的预处理器列表中看到新增的 Revision、Recolor 和 IP-Adapter,然后我们要下载新的模型。

二、Controlnet 新模型下载

模型下载: https://huggingface.co/lllyasviel/sd_control_collection/tree/main (文末有资源包)

在此次的更新公告中,ControlNet 官方一共列举了 43 种新的控制模型,其中 3 款是用于 SD1.5 的,其余的都是 XL 系列的控制模型。因为这些模型来自多个不同的开发方,有很多的功能是重复的,所以我们不需要全部下载,只选择一个系列使用即可。比如 Stability AI 推出的 sai_xl 256 系列,或者腾讯推出的 t2i 系列。其余的注意事项包括:

  1. 名称带 xl 的控制模型只能与 SDXL 系列的大模型配合使用;
  2. 名称带 xl 的控制模型没有配对的 yaml 预处理器;
  3. Revision 和 Reference 这 2 款预处理器同样适用于 SDXL,但不需要控制模型。
ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

控制模型下载完成后,放到到根目录的 extensions\sd-webui-controlnet\models 文件夹。回到 WebUI 中, 刷新 controlnet 模型列表,即可看到新安装的 xl 控制模型。

ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

三、适用于 SD1.5 的 2 款新模型

此次更新的 ControlNet 模型虽然大部分都是 XL 系列的,但还是有 2 款适用于 SD1.5,也就是 Recolor (重新上色)和 IP-Adapter (风格迁移),一起来看一下它们的用法。

1. Recolor

Recolor 可以对图像重新上色,具体操作步骤如下:

上传一张黑白图像到 ControlNet 中,勾选启用、完美像素;

预处理选 recolor_luminance,模型选择 ioclab_sd15_recolor;

填写其他生成参数,然后点击生成即可。

  1. 大模型:realisticVisionV20
  2. 正向提示词:a man with glasses, on the street, high quality, photo
  3. 反向提示词:drawing, anime, low quality, distortion
  4. Steps: 30, Sampler: DPM++ SDE Karras, CFG scale: 7, Size: 512×512, Clip skip: 2, ControlNet 0: “Module: recolor_luminance, Model: ioclab_sd15_recolor [6641f3c6], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Threshold A: 1, Guidance Start: 0, Guidance End: 1, Pixel Perfect: True, Control Mode: Balanced”
ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

2. IP-Adapter

Ip-adapter 由腾讯 AI 实验室推出,它可以识别一张图像的风格、材质、内容等特性,迁移运用到新图像中,生成类似的图像,并且可以搭配其他的 ControlNet 模型使用,功能可以理解为简易版的 Lora 模型,具体使用方法如下:

在 ControlNet 中上传一张风格化图像,勾选启用、完美像素;

预处理选 ip-adapter_clip_sd15,模型选择 ip-adapter_sd15;

填写其他生成参数:

  1. 大模型:Dreamsharp8
  2. 正向提示词:(masterpiece, best quality),1girl with long white hair sitting in a field of green plants and flowers,her hand under her chin,warm lighting,white dress,blurry foreground,
  3. 反向提示词:easynegative,(nsfw:1.1),
  4. Steps: 20, Sampler: DPM++ 2M Karras, CFG scale: 7, Size: 768×768, Clip skip: 2, ControlNet 0: “Module: ip-adapter_clip_sd15, Model: ip-adapter_sd15 [6a3f6166], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced”
  5. 点击生成,完成后即可看到一张与参考图像风格类似的新图像。
ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

如果你在使用 Ip-adapter 模型时,控制台出现如下错误提示:

ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

可以去文末的网盘链接中下载 clip_vision 文件夹中的 2 个.pth 文件,安装到 WebUI 根目录的 extensions\sd-webui-controlnet\annotator\downloads\clip_vision 文件夹中,重启后即可正常使用。

ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

四、适用于 SDXL 的控制模型

XL 系列的控制模型也都是 canny、depth、sketch 之类,在功能与 SD1.5 是一样的,所以使用方法也从差不多,但有以下 2 点需要注意:

  1. 使用 SDXL 系列大模型时,需要使用 –no-half-vae 模式,即在秋葉启动器中关闭 “VAE 模型半精度优化”选项。
  2. 生成的图像尺寸在 1024px 左右为佳,不能低于 768px;
ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

下面以 sai_xl_canny_256lora 模型为例,为大家演示一下 xl 控制模型的用法。

①选择一个 SDXL 系列的大模型,比如 sd_xl_base_1.0 或者 DreamsharpXL10;

②上传一张图像到 ControlNet 中,勾选启用、完美像素、允许预览;

③预处理器选择 canny,模型选择 sai_xl_canny_256lora,点击爆炸小图标预览线稿。

ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

④填写生成信息:

  1. 正向提示词:a man wearing glasses,on the street
  2. 反向提示词:(nsfw:1.2),lowres,bad anatomy,bad hands,text,error,missing fingers,extra digit,fewer digits,cropped,worst quality,low quality,normal quality,jpeg,artifacts,signature,watermark,username,blurry
  3. 其他生成参数:Steps: 30, Sampler: Euler a, CFG scale: 7, Seed: 2670860720, Size: 1024×1024, ControlNet 0: “Module: canny, Model: sai_xl_canny_256lora [566f20af], Weight: 1, Resize Mode: Crop and Resize, Low Vram: False, Processor Res: 512, Threshold A: 100, Threshold B: 200, Guidance Start: 0, Guidance End: 1, Pixel Perfect: False, Control Mode: Balanced”, Version: v1.6.0

点击生成后,发现图像效是黑白的,非常模糊,需要进行优化。将 ControlNet 的控制模式改为“更偏向 ControlNet”,并且调整 CFG 数值为 3,再次点击生成,图像就恢复正常了。

ControlNet重磅更新,与SDXL大模型完美融合,创作更出众!

就目前在 SD WebUI 中的使用体验来说,用 SDXL 大模型生成一张图像耗费的时间会比 SD 1.5 多很多 ;xl 系列的 ControlNet 模型功能也不稳定,可能会出现问题,且新版的 ControlNet 可能会影响一些其他插件的使用,比如 Deforum。 所以从使用效率的角度来看,我仍然建议大家优先使用 SD1.5 生态内的模型,不必急于使用 XL 模型。

Controlnet v1.1.4 百度网盘下载 提取码 6666

相关文章