現状VAEってほぼ必須な訳ですが、VAEが用意されてないモデルも多いです。
そんな時にどうするって話なんですが、実はStabilityAIの標準VAEがあります。
本来であれば専用VAEの利用が望ましいのですが、無い時用に導入しておくと便利ですよ。
◆ Stable Diffusion web UIのインストール方法について
純正のStable Diffusionをコマンド実行するのは実用的に厳しいです。なので、最も人気のあるStable Diffusion web UIをWSLとUbuntuの環境に構築したいと思います。 [20240303]環境構築後にCUDA ToolkitやcuDNNを更新する方法です。本記事のバージョンが合わない場合、以下の記事も参考にしてください。 [20240620]Stable Diffusion web UIを更新する方法です。既に環境を構築済みの人は参考にしてください。...
◆ VAEの手動切り替え設定について
最近までVAEって仕組みを知りませんでした。今回はインストール済みのCounterfeitでVAEを利用できるようにします。 ◆ Stable Diffusion web UIのインストール方法について ◆ Counterfeit V2.5について [20230408] 標準VAEについて [20230503] より新しいCounterfeit V3.0について VAE導入 VAEのメリット 画像を生成した時に、何か暗い感...
標準VAEの追加方法
次のコマンドで追加できます。2種類あるので両方とも追加しておきましょう。
cd ~/stable-diffusion-webui
wget https://huggingface.co/stabilityai/sd-vae-ft-ema-original/resolve/main/vae-ft-ema-560000-ema-pruned.safetensors -O ./models/VAE/vae-ft-ema-560000-ema-pruned.safetensors
cd ~/stable-diffusion-webui
wget https://huggingface.co/stabilityai/sd-vae-ft-mse-original/resolve/main/vae-ft-mse-840000-ema-pruned.safetensors -O ./models/VAE/vae-ft-mse-840000-ema-pruned.safetensors
画像生成時のError対策
VAEを利用すると画像生成時にErrorが発生する場合があります。その時に--no-half-vaeを利用しろと言われるので先に対策しておきます。
これは起動オプションに--no-half-vaeを追加すればいいのですが、毎回指定するのは正直めんどいです。なので、Default値に記述しちゃいましょう。
ここが対象となる設定ファイルが存在するディレクトリです。
cd ~/stable-diffusion-webui
そして設定ファイルはこれです。
cat webui-user.sh
この中に次の行があるので、これを変更します。変更はviコマンドとかWindows側から直接ファイルを修正してください。
export COMMANDLINE_ARGS=""
僕の場合は他の引数もあるのでこうなります。
export COMMANDLINE_ARGS="--xformers --no-half-vae"
生成画像の比較
比較で利用するモデルはAnything 5.0です。かなり良さげなモデルなので追加方法は別記事にします。
[] Anything 5.0について
Anythingの新バージョンが出てたので使ってみました。Counterfeitは少し薄いかなと思うことが多いのですが、Anythingは彩度が高い印象です。VAEは別記事で紹介したStabilityAIの標準VAEで十分に機能します。ちなみにダウンロード先はHuggingFaceではなくCivitaiです。https://civitai.com/models/9409?modelVersionId=30163 [20240425] Anything XLについて ◆ Stable ...
VAE未使用
ParametersSampler: DPM++ 2M Karras, Steps: 20, CFG scale: 7, Seed: 1486638394, Size: 512x512, Model: anything-v5-Prt-RE
Prompt(best quality, masterpiece:1.0), 1 girl, long long hair, blue hair, blue yellow eyes
NegativePrompt(EasyNegative:1.0), extra fingers,fewer fingers, NSFW
VAE利用(vae-ft-ema-560000-ema-pruned)
ParametersSampler: DPM++ 2M Karras, Steps: 20, CFG scale: 7, Seed: 362910291, Size: 512x512, Model: anything-v5-Prt-RE
Prompt(best quality, masterpiece:1.0), 1 girl, long long hair, blue hair, blue yellow eyes
NegativePrompt(EasyNegative:1.0), extra fingers,fewer fingers, NSFW
VAE利用(vae-ft-mse-840000-ema-pruned)
ParametersSampler: DPM++ 2M Karras, Steps: 20, CFG scale: 7, Seed: 448348559, Size: 512x512, Model: anything-v5-Prt-RE
Prompt(best quality, masterpiece:1.0), 1 girl, long long hair, blue hair, blue yellow eyes
NegativePrompt(EasyNegative:1.0), extra fingers,fewer fingers, NSFW
あとがき
かなり汎用的に利用できます。というか使わない場合よりも標準VAEを使ったほうが質が良いです。
この記事は参考になりましたか？
コメント