首先你需要安装sdwebui,如果没有安装请参考在Apple Silicon Mac M系列芯片上安装并运行Stable Diffusion Web UI
安装 Controlnet插件
1.面板安装
打开stable-diffusion-webui,点击最右侧的extension,接着点击available,再点击“Load From:”按钮。
这时候页面下面就会出现一系列的可用插件。
注意:
这里有时候点击load from按钮之后,页面会报错说fail连接失败。
别急,刷新页面,调试好网络,开启/切换内外网,再点击一次load from,试多几次就好。
接着,Ctrl/command + F 查找“controlnet”,找到controlnet插件,并点击右侧的install安装这个插件。
2.URL安装
1.打开“扩展”选项卡。
2.在标签页中打开“从URL安装”标签页。
3.输入 https://github.com/Mikubill/sd-webui-controlnet.git
到“扩展的git存储库的URL”。
4.按下“安装”按钮。
5.等待5秒钟,您将看到消息“使用已安装选项卡重新启动“。
6.转到“已安装”选项卡,单击“检查更新”,然后单击“应用并重新启动UI”。(The下次您也可以使用这些按钮来更新ControlNet。)
7.完全重新启动A1111 webui,包括您的终端。(If你不知道什么是“终端”,可以重启电脑达到同样的效果。)
安装openpose
Openpose Editor,方便后续我们自己编辑自定义POSE(姿势)。
查找openpose,找到下图这个插件,点击右侧的安装install
等待安装,直到显示“Installed into … openpose-editor. Use Installed tab to restart.”代表安装完成。
这时候,点击installed 页面,你会发现,刚刚安装的两个插件都已经显示在上面了。这时候点击apply and restart ui(应用并重启软件),接着等待网页自动刷新,如果显示无法连接,那么手动刷新下。
同上,如果实在无法在available页面安装,也可以用install from url页面,或者下载代码包并复制到stable-diffusion-webui > extensions里面即可。插件地址是https://github.com/fkunn1326/openpose-editor。安装好后记得在installed页面点击apply and restart(应用并重启)。
下载模型
ControlNet是需要专用模型的,否则无法使用相关功能引导图画。
接下来我们下载模型。
下载地址:https://huggingface.co/lllyasviel/ControlNet/tree/main/models
大家硬盘有限的可以先下载canny,openpose,scribble这三个模型。
canny主要是边缘检测,属于比较通用的模型,Openpose就是传说中的姿势控制专用模型,而scribble是手稿模型,适合随手涂鸦然后生成一个精美的画面,可玩性很高。
(硬盘空间比较大的建议全下载一下,因为每个模型都有自己的使用场景,各有各自的特色。)
下载好之后,把xxx.pth文件放到stable-diffusion-webui > models > ControlNet文件夹下面。
现在大家就已经可以开始用controlnet来玩耍了。
(PS:ControlNet依赖xformers算法框架及Nvidia显卡,Mac系统的同学可能使用效果只能有70-80分,而且速度慢,较难达到文档描述那种哇塞的效果)