1.RVCを起動

RVC(Retrieval-based-Voice-Conversion)からダウンロードする
(以下、2.2.231006を使用)
フォルダ内のgo-web.batを起動するとコマンドプロンプトが起動し、待機してたらブラウザが開く

2.学習元の音声データ用意

音声データは
・合計10分以上が推奨(10～50分が目安、長すぎると過学習が起こるみたい)
・長すぎるファイルは事前に複数ファイルに分ける(自分は10～20秒を目安にリサイズした・・・けどもしかしたら3秒くらいの長さのほうが良い気がする？)
・声のみのデータにする(BGMやノイズが無い、除去されたもの)
という感じで準備する

3.モデルの作成

「トレーニング」タブを開く

まずは”ステップ1″と”ステップ2a”
「モデル名」と「トレーニング用フォルダのパス」を入力、サンプリングレートは用意した音声データにあわせ、ほかの選択肢も画像を参考に設定したら「データ処理」を押す

横の「出力情報」が動き始め、「end preprocess」と出力されるまで待機する

データ処理が終わったら次に”ステップ2b”
GPUの選択と抽出アルゴリズムを選択後「特徴抽出」を押す
「出力情報」が動き始め、「end preprocess」と出力されるまでまた待機する

※抽出アルゴリズムは簡単に書くと、
pm側 = 負荷が軽い
rmvpe_gpu側 = 負荷重い
って感じ！GPUがないならpm、高スペックGPUならrmvpe_gpuを選択って感じでいいと思う)

最後に”ステップ3″
選択肢を画像のように設定して「ワンクリックトレーニング」を押す完成！
ちなみにブラウザ側だと動いてるか分からないけどcmd見るとめっちゃ頑張ってる感が分かる

総エポック数は僕が試した感じ120～160付近が一番ボイチェンの変換後音声がいい感じなことが多かった
音声ファイルの数や長さによって適正が変わるし、(のちに記載するが、)「エポックごとの保存頻度」を20に設定して途中のpthも保存するからそれぞれ確認して良さそうなとこを使っていくのがいい
まだ学習足りてなさそうな場合は総エポック数を増やしてみるといい

出力は時間がかかる(1～2時間くらい)
GPUの性能がいいなら「GPUごとのバッチサイズ」の値を増やすと早くなる！けど適正値が分からないから増やすにしても少しずつ試していったほうがいい(値を上げすぎると逆に生成が遅くなるみたい)

生成したモデルはRVCフォルダのassets→weightsに入ってる

C:◯◯◯\RVC1006Nvidia\assets\weights

4.出力モデルの動作確認

(あらかじめ動作確認用に声変換前のテスト音源を用意しておく)
「モデル推論」タブを開く

音源推論、ピッチ変更、処理対象ファイルパス、インデックスパスを画像を参考に選択する

・音源推論
さきほど作成したモデルがドロップダウンにない場合、横の「音源リストとインデックスパスの更新」を押したら出てくるはず

・ピッチ変更
男→男・女→女 => 0
男→女 => 12
女→男 => -12
をいれる(モデルの動作確認だから単純に1オクターブ上下させる)

・処理対象ファイルパス
ボイチェンさせる音源のパスを指定

・インデックスパスの自動検出
ここもドロップダウンでさきほど作成したフォルダがあるはず

あとは「変換」を押したら変換できる！
出力できたらその場で再生とダウンロードができる！！！

これでボイチェン後の音声が問題ないならOKなんだけど、微妙な場合は！

4-2.エポックごとの動作確認

音源推論で指定するときに「test-model_e20_s540.pth」みたいに変な数字が付いたpthデータもあったはず！
これは、ステップ3で「各保存時点の小モデルを全部weightsフォルダに保存するかどうか」に「はい」を選択してたら保存されるもの
モデル学習中のデータが定期的に保存されてるものだからこれを確認して一番よさそうなものを使えばいいと思う！
(数値が低いと学習少なくて変換がボロボロに、逆に数値が高すぎると過学習でこっちでもボロボロになる)

雑談として、
最近はApplio っていうのでもpthを作成できるらしいけど結局このRVC-WebUIで作成した
理由としてはApplioとRVC-WebUIはベースが同じだから(同じ設定の場合)クオリティに差がほとんどでないらしい
細かい設定はApplioのほうが触れるらしいけど今回のRVC-WebUIで僕は十分綺麗に学習できてると感じた

投稿 RVC-WebUIでモデルを作成する方法 は 弓月ゆあのしんかのきせき に最初に表示されました。

なお、単語が長いため以降は
Stable Diffusion → SD
AUTOMATIC1111版 → A1111版
と略す

SDのインストール

今まで使っていたA1111版 SDをそのまま使えるらしいからインストールは過去の記事を参考に
(A1111版 SDのバージョンが v1.5.0以降からXL対応)

SDXLを使うためのモデルの準備

Baseモデル、Refinerモデル、VAEの3個を、それぞれのサイト(Hugging Face)からダウンロードする

Baseモデル
→ “sd_xl_base_1.0.safetensors”をダウンロード
Refinerモデル
→ “sd_xl_refiner_1.0.safetensors”をダウンロード
VAE
→ “sdxl_vae.safetensors”をダウンロード

ダウンロード後、BaseモデルとRefinerモデルをSDの置いてあるフォルダの”models\Stable-diffusion” に入れる
VAEは”models\VAE” に入れる
(つまり普段のmodel・VAEを入れるとこと同じ)

SDの設定

あとは今までのモデル切り替えと同様、ダウンロードしたBaseモデル・VAEをセットする
Refinerモデルについては、下の画像のように「Refiner」の欄からBaseモデルと同様に選択する

VAEの欄が表示されていない場合は「設定(Settings)」→「ユーザーインターフェース(User Interfase)」を開き、「クイック設定(Quicksettings list)」に”sd_vae”を追加してUIの更新を行うとcheckpointの横にVAEの欄が表示される

あとは今まで通り画像を出力するとXLが反映された画像が出力できるようになる

まとめ

• SDXLは単にXLのモデルを使用するだけで通常のSDとなんにも変わらない
• SDXLでできた機能”Refiner”でディティールが上がる!! けど現状あんまり活用されてないみたい?
• 今までのSDとSDXLでVAEやLoRAが互換無いらしく新しく用意しなくてはいけない
• LoRAの作成でXLに対応させるため解像度の項目を1024*1024にした結果LoRAができるまで1日かかった

投稿 Stable Diffusion XL導入してみた(AUTOMATIC1111版) は 弓月ゆあのしんかのきせき に最初に表示されました。

こんな感じになった
前回の最後にある画像とそんなに変わらないレベルの出来栄え
このLoRAを暫く使い、手直しした立ち絵をyoutubeのサムネ等に使っていき、ある程度データが集まったら修正後のLoRAをまた作る予定

紹介はこれで終わり、ここから”LoRA Easy Training Scripts”の調整箇所の説明を行っていく(導入方法は前回の記事を見てね)
左側のタブを上から順に僕が触った項目を説明していく

「GENERAL ARGS」

・Base Model
教育時に参照するcheckpointを選択(僕はCounterfeitを使用)
・Cache Latents
VRAMの使用量を削減できるらしいからチェックした
・Max Training Time
Epochs 12に設定した(詳細は繰り返し回数と共に後述)

「NETWORK ARGS」

・Network Dimension
よく分からないけど8～128あたりで調整したら結果が変わる
・Network Alpha
Network Dimensionの半分の値にする

「OPTMIZER ARGS」

・オプティマイザ選択(AdamWの欄)
AdamWがよく使われているらしい
AdamW8bitがメモリ使用量が少ないという記事も見た気がする
・スケジューラー選択(cosine with restartsの欄)
cosine with restartsは学習に時間がかかるが過学習し辛いらしい
・Learning Rate
学習率の設定らしい

「SAVING ARGS」

・Output Folder
学習結果LoRAの保存先の選択
・Output Name
保存するLoRAのファイル名
・(Save Frequency)
指定タイミング毎に学習データを残してくれる
画像の状態だと1Epochs毎にLoRAが保存される
学習させている最中にどこから過学習になるか分からない為、全部残すと確認が楽

「BUCKET ARGS」

・ENABLEのチェックを外す
学習させる画像サイズについての設定らしいけど画像サイズが全て同じなら不要みたい

「右側のリスト」

・input image Dir
学習元のフォルダを選択
(・Number of Repeats)
学習元フォルダを選択したら(フォルダ名の先頭の値が)勝手に数値が入る
繰り返し回数と呼ばれる項目

ここで繰り返し回数・Epochsについて説明すると、どれくらい学習を行うかの数値になるらしく、計算は単純で
「画像数 * epochs * 繰り返し回数 = ステップ数」となる
調べてる中では画像数を20枚程度にしてステップ数を2000～10000前後になるよう調整するのがいいみたい?
上に画像を貼ったけど学習不足だと似てない、過学習だと絵が破綻したりする

あとは赤文字にした項目の数値を上下させて自分的に綺麗なLoRAができたら完成!!
上で書いたけどいったん今回できたLoRAを使っていき、手直しした画像を使って再度LoRAを作る予定
まあ将来的にやるかも、って感じだから今回の作り方を再度行うかもしれないし、また新しいAI画像生成の技術ができたらそっちつかうかもしれないって感じかな

投稿 LoRA作成してもきれいに出力されない件(LoRA調整編) は 弓月ゆあのしんかのきせき に最初に表示されました。

画像の左上が”プロンプト”といって生成したい画像のイメージを命令するとこ
例えば「1girl, orange hair, forest」と指定したら森にいるオレンジ色の髪の女の子が出力される

左下が”ネガティブプロンプト”といって逆に入れたくないものを命令することができる
例えば森と指定したせいで動物が出力されるときは「animal」と書いて動物を出力しないようにできる

しかしプロンプトだけで特定のキャラを作成することは服装・アクセサリーなどワード化するのが難しすぎる

例えば上の弓月ゆあモデルを出力したいと思って頑張っても

100枚の出力から厳選してこれくらいの雰囲気
服装については指定無理ゲー

こんな感じにプロンプトのみだとキャラクターの出力は難しいけど今回はタイトルにある”LoRA”を使うことによりキャラクターを出力できるようになる

まずLoRAを使った例を出す

10枚程度出力するだけでこんな感じに服装・アクセサリーがそれっぽい画像が出力できるようになる
前振りが長くなったけど今回はこのLoRAを作成する

LoRAは簡単に説明すると事前にそのキャラクターの画像を複数用意して学習セットを作る感じ
ここから導入方法について書いていく

1.必要なものを揃える

Python(推奨ver3.10.6)・git・LoRA Easy Training Scriptsをインストールする
Pythonとgitは以前のstable diffusion紹介で導入しているはず、LoRA Easy Training Scriptsが今回LoRAを作成するためのツール(僕は2023年6月頭に導入したけど以前ツールのアップデートで色々変わったみたい)

LoRA Easy Training Scriptsインストール中にGPUについての質問(RTX30☓0～40☓0系かそれ以外か、及びGTX10☓0か)が出た際はそれに従う

2.学習用画像を準備する

上記作業でLoRA作成ツールを準備ができたが、肝心な学習用データが無いから準備する
僕の場合はvroidモデルを学習させるため適当にスクショを撮った

vroidの撮影モードで1024*1024の画像を撮った(512*512が推奨らしく、後にリサイズして試したけど違いが分からなかった)
フォルダは今回”10_yua_yuzuki”という名前にして画像を保存してある(画像ファイル名については適当)
フォルダ名には意味があって”10″がLoRA作成時の繰り返し回数となり、(繰り返し回数については今回は説明無し、次回のLoRA調整編で説明する)”yua_yuzuki”の部分はトリガープロンプトというLoRAを呼び出すときに使う文字列となる
ちなみに正則化画像とかいうのは今回用意してない

3.画像のタグ付けをする

集めた画像毎にどのようなプロンプトで出力されるか説明するファイルが必要
画像毎に必要だから手作業するのは面倒、ということで簡単にタグ付けするツールを使う

「Dataset Tag Editor」というstable diffusionの拡張機能を使う
stable diffusionの「拡張機能(日本語化していない場合はExtensions)」→「URLからインストール(Install from URL)」→「拡張機能のリポジトリのURL(URL for extensions’s git repository)」を選択して以下を入力する

https://github.com/toshiaki1729/stable-diffusion-webui-dataset-tag-editor

あとはstable diffusionのUIを再起動したら導入完了
タブにある「Dataset Tag Editor」を開くと下の画像のように表示される

この画像のよう赤線部分を触る
左欄にてフォルダの指定及びチェック欄とか合わせた後に読み込みを押し、右欄で左欄で設定した画像のうちどれを選択するか指定、最後に一番上の「すべての変更を保存(Save all changes)」を押したらタグ付け用txtファイルが画像と同じフォルダに作成されるって感じの流れ
インタロゲーターについてはプロンプトの生成方法が違うみたいだけど違いがよく分からないから適当に選択した

4.LoRA作成

ついに最後のLoRA作成にきた
LoRA Easy Training Scriptsのフォルダ内の「run.bat」を起動する

cmdが起動後、少ししたら新しくアプリが起動する
このアプリで色々数値調整をしてLoRAが作成できる
本当は調整内容まで紹介しようとしてたけど内容が長くなるのとまだ調整中で紹介できないから次回投稿予定→調整編投稿した！！

一応現段階でこんな感じに出力できているよっていう例を出して今回は終了!(手が中々上手く出力できない・・・)

投稿 AI画像生成で目当てのキャラを出力(LoRA導入編) は 弓月ゆあのしんかのきせき に最初に表示されました。

ブラウザ版とローカル版があるけど今回はローカル版を導入してみた
ローカル版も「AUTOMATIC1111版Stable Diffusion web UI」と「NMKD Stable Diffusion GUI」の2種類があって今回は前者の「AUTOMATIC1111版Stable Diffusion web UI」を導入した

導入方法はぶっちゃけAUTOMATIC1111の本家説明を見ればよいけど英語だから書いていく(なお導入は2023年5月です)

1.必要なものを揃える

Python(推奨ver3.10.6)・git・AUTOMATIC1111版Stable Diffusion web UIをインストールする
Pythonは推奨のverでなくても一応いいみたいだけど最新だと逆に動作NGってことがあるみたいだからPythonを使っていない人は素直に3.10.6を入れればよい
Pythonのインストールするときは大体初期設定のままNextを押していけばいいんだけど「Advanced Options」の「Add Python to environment variables」のチェックは付けたほうがいいみたい(3.で書いてあるエラーが発生する原因みたい)

Stable Diffusionはgithubからダウンロードするかコマンドプロンプト(cmd)でインストールしたい場所を指定して

git clone https://github.com/AUTOMATIC1111/stable-diffusion-webui.git

をcmdに入力してインストールのいずれかで良い

2.モデルファイルを用意する

別に用意しなくても最近のverでは初回起動時に自動で用意してくれるらしいけど自分の出力したい画像のイメージと異なる可能性があるから初めから用意しておく方が良さげ
モデルファイルは.Safetensorsと.ckpt拡張子で適当にググって気に入ったものを導入する感じ(Hugging FaceとかCivitaiにたくさんある)
モデルファイルの保存場所はStable Diffusionをインストールしたフォルダの「stable-diffusion-webui\models\Stable-diffusion」フォルダに保存する

3.Stable Diffusion起動

作成されたフォルダ内に「webui-user.bat」があるため起動するとcmdが起動して環境が構築される(環境構築に1時間くらいかかることもあるみたいだけど僕は5分くらいで完了した)

なお、1.のPythonインストール時のチェックマークを入れてない場合は「webui-user.bat」を起動したときにpythonの場所が不明という内容のエラー「exit code: 9009」が発生するらしく(自分は発生した)その場合はPythonを入れ直すか場所を指定すればいい

まずcmdを起動して下記コードを書く

py --list-paths

赤線のところをコピーしておいてStable Diffusionのフォルダ内の「webui-user.bat」(さっき起動したbat)をメモ帳で開く

「set PYTHON=」って書いてあるところにコピーしたやつを貼り付けて保存する

あとは再度「webui-user.bat」を起動したら問題なく環境構築される(はず)

あとは上記画像の中にあるURLの通り

http://127.0.0.1:7860/

をブラウザで開いたら導入完了!

ちなみに「webui-user.bat」で開いたcmdを消すと動かなくなるから注意
今後はStable Diffusionを起動したい場合は毎回batファイルを起動して上のcmd画像のような「Running on local URL: http://127.0.0.1:7860」が表示されてからURLを開く、Stable Diffusionを終了する場合はcmdを閉じるという感じになる

あとは右上の「～checkpoint」のとこで2.で用意したモデル(僕が用意したのはACertainThing.ckpt)を選択してそのままイラストを出力した結果がトップの画像って感じ
他にも

みたいな感じに出力できた
ここから色々と設定を触っていこうかなって感じで自分的には今後普段の動画投稿で作ってるサムネの一部で活用していこうかな?って思ってる
弓月ゆあ自体のモデルをインプットしてイラスト化したり人物画だけでなくて背景を出力とかやっていきたい!!

投稿 AUTOMATIC1111版Stable Diffusion web UI導入してみた は 弓月ゆあのしんかのきせき に最初に表示されました。