关于模型
本文最后更新于 369 天前,其中的信息可能已经有所发展或是发生改变。

由于历史原因和发展历程所致,AI模型种类较多;大概的历程如下:

1、开始时,从无到有训练一个模型成本非常高,基本只有官方在训练,大家都是在官方模型的基础上微调。就这样不同的大模型诞生了(checkpoint)。

2、每次调整大模型太麻烦了;有时只是想对某方面进行调整而已,却要一整个大模型调参,这太糟心了,于是embedding诞生。

3、再后来,LoRAhypernetwork相继出现;

4、现在,LoRA已占据半壁江山

sd模型

Stable Diffusion 模型(ckpt)/Stable Diffusion checkpoint
又叫SD模型,大模型

  • 文件格式: ckpt 和 safetensors(安全包)
  • 文件位置: /models/Stable-diffusion

    VAE

    VAE (Variational Auto-Encoder ,变分自动编码器)

  • 文件格式: 后缀一般为.pt格式
  • 文件位置: /models/VAE
    该选项在选择大模型的旁边;

界面没有VAE选项的,开启方式为: 设置→用户界面→快捷设置列表在框里输入sd_model_checkpoint,sd_vae
点击上面应用,再重载ui

主要作用是:滤镜+微调, 会影响出图的画面的色彩和某些极其微小的细节。

一般大模型都是内置了训练好的VAE模型的,不用我们再额外挂载 如果想用别的,可以去Hugging Face社区下载

Embedding

嵌入式(Embedding)/Textual Inversion

  • 文件后缀一般为.pt,少部分为.bin
  • 文件位置: /embeddings
    Embedding不会向你的模型添加任何外来的信息和概念,可以把它理解为一个浓缩后的提示词,只不过这个提示词是通过图片引导训练得出的。
    也就是将提示词打包。
  • Embedding文件通常不大,几十K不等
  • 有一部分Embedding需要放在反面提示词来使用,作用是提高图片输出的质量和稳定性

    LoRA ⭐️

    LoRA (Low-Rank Adaptation)是一种用于微调稳定扩散模型的训练技术,其文件大小和训练能力之间达到了良好的平衡。

  • 文件后缀一般为.safetensors
  • 文件位置于:/models/Lora
    Lora文件大小和使用效果无关
  • LoRA模型大小在几十mb到两三百mb不等
  • 部分Lora会需要触发词来使用,否则效果不明显(c站点进LoRA模型的详情,可以在右边卡片中看到Trigger Words,即是该LoRA模型的触发词)

    hypernetworks

    初认识,可以把它当低配版Lora看;它主要是训练画风,但难度较大,可能会被LoRA淘汰。

  • 文件后缀一般为.pt
  • 文件位置:/models/hypernetworks

目前最好用的就是用来做风格转化,比如转像素风,转表情包风格 (opens new window)等;

模型使用技巧

  • 在c站上看到喜欢图片的时候,除了留意参数外,还要留意它使用的『SD模型』和『LoRA模型』,因为LoRA模型在训练的时候,会使用大模型,使用配套的大模型,出图效果更好。
  • 使用LoRA模型,权重值建议不超过1,超的越多,基本图越差。
  • 使用多个LoRA模型,权重值建议加起来不超过1。
  • 新手不建议使用多个LoRA模型,尤其是风格不一的那种。
  • 使用多个LoRA模型,需要对LoRA模型有一定的机制了解,多个LoRA使用时,分层调权重才可能出好图。
知识共享许可协议
本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可。
暂无评论

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
上一篇
下一篇