SD WebUI 已经支持 SDXL 的 ControlNet

1年前发布

200

自动滑动公告栏

加入网站会员，享受全站课程免费观看

点击下载手机端apk

扫右侧二维码，关注我，加站长微信!

前言

WebUI 已经支持 SDXL 版的 ControlNet 了，一直担心我的2060S 8G显存跑不下来，测试了下发现还是可以的，而且生成时间也不会太久，只不过现在支持的模型还没有之前SD1.5的多

前两天 AUTOMATIC1111 的WebUI正式更新到1.6版本，主要更新了对SDXL的支持，另外还优化了模型加载对内存的占用，提高了出图速度，另外还增加了风格编辑、高清修复可选择模型以及一些UI方面的优化，具体内容可以看分享的这篇文章：全面适配 SDXL！显存占用降低50%！是时候回归 A1111 的怀抱了！

WebUI项目地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui

ControlNet项目地址：https://github.com/Mikubill/sd-webui-controlnet

ControlNet 模型地址：https://huggingface.co/lllyasviel/sd_control_collection/tree/mAIn

WebUI 和 ControlNet 插件都可以通过秋葉大佬的整合包更新。

图片[1]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

而ControlNet 模型库是收集了不同作者的模型，大家可以尝试下载符合自己配置的模型，一般来说肯定体积越大效果越好。推荐把SD官方的4个sAI_xl_*_256的下载下来。模型下载后还是放置到\models\ControlNet\下面即可

图片[2]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

然后我们就可以启动WebUI尝试下看看了。首先使用 Canny，模型用sAI_xl_canny_256lora，生成的时候使用了一个凤冠霞帔的LoRA，喜欢的可以到LibLiBAI搜下。最近 ControlNet 更新比较频繁，最新的已经是406版本了。

图片[3]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

图片[4]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

然后直接使用了一个深度图测试了depth，模型同样使用SD官方的sAI_xl_depth_256lora

图片[5]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

图片[6]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

涂鸦图片使用了前几天用Midjourney生成的着色图，模型使用sAI_xl_sketch_256lora。预处理器使用的强化边缘线条有些过于生硬

图片[7]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

图片[8]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

还测试了下重上色，预处理器是 recolor_luminance，模型是sAI_xl_recolor_256lora，从网上找了张奥本海默的定妆照，但是生成的效果感觉差强人意，不知道是不是还跟提示词有关系

图片[9]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

图片[10]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

测试了下 ip-adapter，据说可以实现类似LoRA的效果，不过测试感觉并不太稳定（主要想测试喜怒哀乐的表情变化，感觉人物也没能保持一致），可能还是使用方法有问题？

图片[11]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

图片[12]-SD WebUI 已经支持 SDXL 的 ControlNet-就爱副业网 — 添加图片注释，不超过 140 字（可选）

其实最想测试的Revision没能测成，这个据说可以不使用提示词直接通过反推图片来生图，使用的时候直接爆显存了，看了下模型有3个多G，看样小显存果然不配。

另外发现开始一段时间还能正常跑图，用过一段时间后每跑一次显存就占满了跑完图也没有降下来以至于下一次跑必然爆显存，不太清楚是我配置的问题还是程序稳定性的问题，不知道同学们有没有这样的问题呢？

手机版 点击左上侧三条杠开通会员或者点右侧皇冠开通！ 网页版 右上方开通会员，或者点右侧皇冠开通！不会点这里看教程

© 版权声明

THE END

本站资源来自会员发布以及互联网收集,不代表本站立场,仅限学习交流使用,请遵循相关法律法规,请在下载后24小时内删除.如有侵权争议、不妥之处请联系本站删除处理！请用户仔细辨认内容的真实性，避免上当受骗!

相关推荐