簡単・便利！　無料でAI画像生成ができるStable Diffusionの使い方

プログラミングができない人でもできる！
という事で技術的な事や歴史的な事は端折ります。

Stable Diffusionとは？

• オープンソースの画像生成AI
• 環境さえ整えば無料で使える
• 生成した画像は商用利用もOK

ライセンスは以下の記事などを参考に原文に当たってください。

画像生成AI「Stable Diffusion」のLicense要約を和訳して読む｜イワケン｜note

このnoteは何か 画像生成AIの一つ「Stable Diffusion」のLicense要約のブログをDeepLで和訳したnoteです。 結論をいうと ・出力する画像は基本自由に使っていいよ、でも違法/有害なことしないでね という私は解釈をしました。しかし、私はソフトウェアエンジニアでありますがAIに関する専門家ではありません。その前提で、一つの参考として読んでいただけると嬉しいです。

!pip install --upgrade diffusers[torch] transformers

!pip install diffusers==0.9.0
!pip install transformers scipy ftfy
!pip install "ipywidgets>=7,<8"

from google.colab import output
output.enable_custom_widget_manager()

from huggingface_hub import notebook_login
notebook_login()

from diffusers import StableDiffusionPipeline, EulerDiscreteScheduler
import torch
 
model_id = "stabilityai/stable-diffusion-2-1"
pipe = StableDiffusionPipeline.from_pretrained(
  model_id,
  scheduler=EulerDiscreteScheduler.from_pretrained(
    model_id,
    subfolder="scheduler"
  ),
  torch_dtype=torch.float16
).to("cuda")
pipe.enable_attention_slicing()

import torch
from diffusers import StableDiffusionPipeline
pipe = StableDiffusionPipeline.from_pretrained("CompVis/stable-diffusion-v1-4", revision="fp16", torch_dtype=torch.float16, use_auth_token=True)

pipe = pipe.to("cuda")

from torch import autocast

prompt = "a photograph of a magician with black hood, cannot see the face"

image = pipe(prompt).images[0]
image

with autocast("cuda"):
  image = pipe(prompt).images[0]
 
image

トラブルシューティング

生成される画像の解像度を変更したい

以下の様にします。

image = pipe(prompt, height=512, width=768)["sample"][0]

解像度は8の倍数でないとエラーになります。

大きな解像度を指定したらエラーが出た

PYTORCH_CUDA_ALLOC_CONFがどうのこうのというエラーはメモリ不足です。
Google Colabのスペックはあまり強くない（無料版だとさらに制限が強い）ので仕方ありません。

メモリ不足を起こしたら以下のコマンドでメモリ内を掃除出来ます。

import gc
gc.collect(generation=0)
gc.collect(generation=1)
gc.collect(generation=2)

私がやってみた感じだとheight=512, width=768が限度の様です。

解像度を戻したり上記コマンドでリセットしてもエラーになる場合、ランタイムのメニューからランタイムを再起動し、最初からやり直してください。

なお以下の設定はやってみましたが効果がありませんでした。

%env PYTORCH_CUDA_ALLOC_CONF=max_split_size_mb:100

どうしても大きな画像が欲しいなら別のAIと組み合わせる方が楽かもです。
kakudaiACさんとか。
Google Colabに慣れているならReal-ESRGANとか。

学習モデルを固定したい

こうして（最後のカッコ内の数字がシード番号）、

generator = torch.Generator("cuda").manual_seed(1024)

こうじゃ。

image = pipe(prompt, generator=generator)["sample"][0]

pipe()のカッコ内は他の命令（サイズ指定とか）と組み合わせて利用できます。

Img2Imgをしたい

Google Colabの左側にフォルダっぽいアイコンがあります。
そこをクリックすると一時的なファイル置き場が出てきますので、ここにドラッグ＆ドロップで元絵をアップロードします。

あとは以下のように書き出しコードを変更。

from PIL import Image
filename = "アップロードしたファイルの名前.png"
init_image = Image.open(filename)
with autocast("cuda"):  # この行はv2.1では削除してください
  image = pipe(prompt, init_image=init_image)["sample"][0]
 
image

v2.1で画像が真っ黒になる

エラーが出ない場合

v1.4で存在した以下のコードを

with autocast("cuda"):
  image = pipe(prompt).images[0]

以下のようにしてください。

image = pipe(prompt).images[0]

参考→Only generates black images?

エラーが出る場合

NSFWフィルターだったら以下の方法で解除。

Stable DiffusionでNSFWフィルターをスマートに回避する方法

「Stable DiffusionのNSFWフィルターに引っかかってしまう・・・」「Potential NSFW contentというメッセージが出て、黒い画像が作成される・・・」このような場合には、この記事の内容が参考になります。

作成した画像の例（v1.4で作成）

Stable Diffusion on Google Colab
1枚目は「cosmetics」とだけ指定
2枚目の男の子の絵は自分で描いた元絵を食わせてtrending pixivとかでやったんだが構図しか残ってないな pic.twitter.com/dpw6gbnzCH

— 8/11に新曲上げたSophia / ほしがみちえ (@CosmossoahC) August 28, 2022

ちなみに自分で食わせた元絵は『ライアーの瞳』のジャケット絵の陰がないやつで、呪文はboy with purple eyes, trending pixivです。

元絵は小さいんだからUPしとくか（拡大したら重さの方がクソデカになってしまったので #StableDiffusion pic.twitter.com/ruFuVgWwaS

— 8/11に新曲上げたSophia / ほしがみちえ (@CosmossoahC) August 28, 2022

• #AI / ML

Sophia

DTMとかやる人。

• Misskey
• Follow @CosmossoahC
• more...