リアルタイム画像生成をkrita-ai-diffusionで試してみる

リアルタイム画像生成はどのようなものか

リアルタイム画像生成は、ペイントソフトで描画した下書きを元にAIがリアルタイムで画像を生成します。
下書きが修正されるたびに生成結果が更新されます。
プロンプト「red flower」（赤い花）で、下書きを描いてリアルタイム画像生成をしてみます。
この単純なラフ画が

このように画像生成されます。

テキストプロンプトを変えて、同じラフ画から異なった画像を生成できます。
プロンプト「firework」（花火）と変更し、先程のラフ画の位置を変えて背景を付け加えて描くと

このようなイラストが生成されました。

動画をご覧になるとわかりますが、一筆一筆に反応して画像が生成されるので、生成結果を見ながらラフ画を修正して望むイラストを生成できます。

ご紹介したリアルタイムの画像生成は、ぺイントソフトKritaとその拡張機能krita-ai-diffusionを使用して実現しています。

kritaと拡張機能krita ai diffusionについて

今回ご紹介するペイントソフトKritaと拡張機能であるkrita-ai-diffusionの関係についてご説明します。

Krita

Kritaはオープンソースで開発されているペイントソフトです。
色管理、変形やレイヤー機能など搭載した高機能なペイントソフトでありながら商用利用可能なフリーソフトです。

krita-ai-diffusion

krita-ai-diffusionはペイントソフトKritaに画像生成AI「Stable Diffusion」を組み込むプラグインです。
Krita上でシームレスに画像生成AI「Stable Diffusion」を使用しAIによる画像生成を実現します。

krita-ai-diffusionを使用するメリット

リアルタイムで画像生成を行う方法はいくつかありますが、今回Kritaと拡張機能krita-ai-diffusionをご紹介する理由は以下の二つです。

・kritaは無料高機能のペイントソフトで、インストールが容易なこと

先にご説明した通り商用利用可能なフリーソフトのプラグインであることです。また、後ほどご紹介しますがインストールが容易で、リアルタイム画像生成を手軽に体験できるという点でもお勧めできます。

・ペイントソフトKritaとの連携、生成した画像に不備があった場合に、修正をシームレスで行えることやレイヤー機能を使用した多重層の画像生成が可能なこと

部分的な不備が発生しやすい生成画像ですが、Kritaの高機能なレタッチツールでシームレスに画像補正、修正が行えます。
レイヤー機能を使用して、生成した画像をレイヤーごとに管理できる点は画像生成の合成、加工を行う方には効率の良い環境といえるでしょう。

Kritaとkrita-ai-diffusionのインストール

必要なパソコン環境

　Kritaのシステム必要条件は以下です。
オペレーティングシステム:Windows 8.1以上, OSX 10.13, Linux
RAM(メモリー容量):4GB以上推奨
GPUオプション:OpenGL 3.0以上
サポートされているグラフィックタブレット:ワコム、Huion、Yiyinova、Surface Pro

　krita-ai-diffusionのシステム必要条件は以下です。
オペレーティングシステム:Windows 8.1以上, OSX 10.13, Linux
LinuxやMacを使用している場合にPythonとvenvがインストールされている必要があります。
Python: 3.11か3.10の推奨バージョンが必要です。
venv: Pythonの仮想環境ツールであり、Pythonプロジェクトごとに独立した環境を作成するために使用されます。venvもインストールする必要があります。
6GB以上のVRAMを備えたグラフィックスボードの使用が推奨されています。
ストレージの空き容量が約10GB必要です。

Kritaのインストール

今回はWindows版をインストールする例です。
https://krita.org/ja/
ダウンロードページにアクセスしたら「Windows インストーラ」と記されたボタンをクリックしてインストーラーをダウンロードします

ダウンロードが完了したらダブルクリックをして実行します。

言語の選択は英語と中国語になっていますが、アプリケーション起動後は日本語を表示できます。
とりあえず「English」で「OK」をクリックしておきましょう。

「Next」をクリック。

あとは指示に従ってインストールを完了します。

krita-ai-diffusionのインストール

次はkrita ai diffusionをダウンロードします。
https://github.com/Acly/krita-ai-diffusion/releases
記事作成時点で最新の、1.14.0をダウンロードしました。

ダウンロードが完了したらKritaを起動します。
Kritaを起動したら「ツール」→「スクリプト」の順にメニューをたどり、「Pythonプラグインをファイルからインポート」をクリックします。

ダウンロードしたZIPファイルを選択して「開く」をクリックし、AI Image Diffusionを有効にします。

Kritaを再起動してから「新しい画像」をクリック。

画像のサイズを幅、高さともに512ピクセルに指定して「作成」をクリック。

画像編集画面になったら「設定」→「ドッキングパネル」の順にメニューをたどり、AI Image Generationをクリックします。

画面右下にAI Image Generationのドッキングパネルが表示されたら「Configure」をクリックします。

まずはデフォルトのまま手を入れず「Install」をクリックすると、必要なファイルのダウンロードとインストールが始まります。10GBほど空き容量が必要になりますので、注意しましょう。

インストールが完了したら「OK」をクリックします。これでkrita-ai-diffusionのインストールは完了です。
私の環境では1時間ほどかかりました。ダウンロード項目ごとの進行状況が確認できないので、フリーズしていないか不安な方はタスクマネージャーなどを立ち上げておくと良いでしょう。

通常の画像生成とリアルタイム画像生成

通常の画像生成

Kritaを起動して新規画像を作成します。
画像のサイズが大きすぎると生成に時間がかかるので注意しましょう。
今回は幅、高さともに512ピクセルに指定しています。

AI Image Generationドッキングパネルのプロンプト入力欄にプロンプトを入力して「Generate」をクリックします。今回は「Lion standing in the wind」（風に立つライオン）と入力しました。

少し待つとライオンの画像が生成されます。

画像は一度に複数枚生成されます。
生成されたサムネイルをクリックするとレイヤーに出力されます。

リアルタイム画像生成

ライブ機能を使って画像生成を行います。これがリアルタイムで画像を生成するパターンです。

AI Image GenerationからLiveを選択します。

プロンプトの入力後、再生ボタンを押すとライブ生成が始まります。 キャンバスに描いた絵を元にリアルタイムで画像生成されていきます。
パネル内の「Strength」は画像生成をどれくらいAIにまかせるかの度合いを調整します。
小さい値であれば元の絵の特徴が強く残り、大きい値にするとプロンプトに合わせた、AIまかせの生成が行われます。
望む画像が生成されたら丸で囲んでいるボタンを押し、レイヤーに出力します。

次の動画はプロンプト「Woman with a bouquet of flowers」（花束を持った女性）で、ラフ画を描きながらリアルタイム画像生成したものです。

以下の画像は、このラフ画に対して強度を変えて生成した結果です。

「Strength」を5

「Strength」を30

「Strength」を50

「Strength」を100

AIにまかせる「Strength」を強くすることで、ラフ画の変化する度合いが変わります。
「Strength」の値を上げるとイラストは綺麗に仕上がりますが、もとの落書きのイメージからは離れていきます。
絵の得意な方は元の絵のイメージを残しつつAIの支援を受けながら色塗りするなどの柔軟な使い方ができるでしょう。

人間とAIの共同作業の進化

人間がAIを効率よく使用するために、人間の思考を円滑にAIに伝える仕組みは重要になってくると思います。
今回試したKritaとkrita-ai-diffusionを用いる方法は人間とAIの関係を円滑にする仕組みに一つの方向性を見せてくれたと感じました。
一本の線からでも画像を生成できるリアルタイム画像生成は、イーロン・マスク氏が開発を進めている脳内チップのように、心に思っていることを絵で表現したいと思ってもできない、ハンディキャップがある方が絵を描くキッカケになるかもしれないと、近未来に思いをはせてワクワクしました。
人とAIが協力し合う新しい体験、一度試してみてはいかがでしょうか。