最近までVAEって仕組みを知りませんでした。
今回はインストール済みのCounterfeitでVAEを利用できるようにします。
◆ Stable Diffusion web UIのインストール方法について
純正のStable Diffusionをコマンド実行するのは実用的に厳しいです。なので、最も人気のあるStable Diffusion web UIをWSLとUbuntuの環境に構築したいと思います。 [20240303]環境構築後にCUDA ToolkitやcuDNNを更新する方法です。本記事のバージョンが合わない場合、以下の記事も参考にしてください。 [20240620]Stable Diffusion web UIを更新する方法です。既に環境を構築済みの人は参考にしてください。...
◆ Counterfeit V2.5について
個人的に1番かわいい絵が生成できる学習モデルに新バージョンが出たので追加してみました。https://huggingface.co/gsdf/Counterfeit-V2.5 ◆ Stable Diffusion web UIのインストール方法について [20230321] VAEについて (綺麗な画像を生成するにはVAEが必要) [20230503] より新しいCounterfeit V3.0について 学習モデルの追加方法 2.5になったこ...
[] 標準VAEについて
現状VAEってほぼ必須な訳ですが、VAEが用意されてないモデルも多いです。そんな時にどうするって話なんですが、実はStabilityAIの標準VAEがあります。本来であれば専用VAEの利用が望ましいのですが、無い時用に導入しておくと便利ですよ。 ◆ Stable Diffusion web UIのインストール方法について ◆ VAEの手動切り替え設定について 標準VAEの追加方法 次のコマンドで追加できます。2種類あるので両方とも追加しておきましょう。 ...
[] より新しいCounterfeit V3.0について
Counterfeitの新バージョンが出てたので試してみました。今回は公式VAEが見つからなかったので前バージョンを使ってます。https://huggingface.co/gsdf/Counterfeit-V3.0 ◆ Stable Diffusion web UIのインストール方法について ◆ Counterfeit V2.5について 学習モデルの追加方法 次のコマンドで追加できます。デイスク容量を気にする場合はCounterfeit-V3.0_fp1...
VAE導入
VAEのメリット
画像を生成した時に、何か暗い感じの画像とか艶の無い画像が生成されませんか？
これは本来VAEを使うことを想定されたモデルでVAEを使わないと現れる現象です。
つまり設定不足！
ちゃんとドキュメント読もう。
Counterfeit用のVAEを追加
次のコマンドでVAEを追加できます。
cd ~/stable-diffusion-webui
wget https://huggingface.co/gsdf/Counterfeit-V2.5/resolve/main/Counterfeit-V2.5.vae.pt -O ./models/VAE/Counterfeit-V2.5.vae.pt
これは単にmodels/VAEってディレクトリに配置してるだけです。
ちなみにvae.ptってのがCounterfeitモデルのVAEです。この部分はモデルごとに異なります。
VAEの手動切り替えを有効化
Stable Diffusion web UIにはVAEを自動で切り替える機能がありますが、手動でON/OFFするほうが便利なので自動化はしません。
これはVAEが存在しないモデルもあり、そういったモデルでも別のVAEを利用できるようになるからです。
では、次の画像(赤枠)を参考に設定値を変更しましょう。設定は[Settings -> User interface -> Quicksettings list]にあります。
この値を次のように変更します。変更したらUIを再起動してください。
sd_model_checkpoint, sd_vae
再起動が完了すると、次の画像(赤枠)と同じように、任意のVAEを選択できる項目が増えます。
生成画像の比較
最後にVAEの利用有無での差を見てみましょう。参考に両方3枚くらいアップします。
VAEなし
ParametersSampler: DPM++ 2M Karras, Steps: 20, CFG scale: 10, Seed: 3450209604, Size: 448x768, Model: Counterfeit-V2.5
Prompt((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field
NegativePromptEasyNegative, extra fingers,fewer fingers
ParametersSampler: DPM++ 2M Karras, Steps: 20, CFG scale: 10, Seed: 164696639, Size: 448x768, Model: Counterfeit-V2.5
Prompt((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field
NegativePromptEasyNegative, extra fingers,fewer fingers
ParametersSampler: DPM++ 2M Karras, Steps: 20, CFG scale: 10, Seed: 1076667484, Size: 448x768, Model: Counterfeit-V2.5
Prompt((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field
NegativePromptEasyNegative, extra fingers,fewer fingers
VAEあり
ParametersSampler: DPM++ 2M Karras, Steps: 20, CFG scale: 10, Seed: 532972488, Size: 448x768, Model: Counterfeit-V2.5
Prompt((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field
NegativePromptEasyNegative, extra fingers,fewer fingers
ParametersSampler: DPM++ 2M Karras, Steps: 20, CFG scale: 10, Seed: 1563570685, Size: 448x768, Model: Counterfeit-V2.5
Prompt((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field
NegativePromptEasyNegative, extra fingers,fewer fingers
ParametersSampler: DPM++ 2M Karras, Steps: 20, CFG scale: 10, Seed: 2246031799, Size: 448x768, Model: Counterfeit-V2.5
Prompt((masterpiece,best quality)),1girl, solo, animal ears, rabbit, barefoot, knees up, dress, sitting, rabbit ears, short sleeves, looking at viewer, grass, short hair, smile, white hair, puffy sleeves, outdoors, puffy short sleeves, bangs, on ground, full body, animal, white dress, sunlight, brown eyes, dappled sunlight, day, depth of field
NegativePromptEasyNegative, extra fingers,fewer fingers
あとがき
少し薄かった画像から、くっきりした画像になったと思いませんか？
VAEを使ったほうが綺麗ですね。
この記事は参考になりましたか？
コメント