1.RVCを起動

RVC(Retrieval-based-Voice-Conversion)からダウンロードする
(以下、2.2.231006を使用)
フォルダ内のgo-web.batを起動するとコマンドプロンプトが起動し、待機してたらブラウザが開く

2.学習元の音声データ用意

音声データは
・合計10分以上が推奨(10～50分が目安、長すぎると過学習が起こるみたい)
・長すぎるファイルは事前に複数ファイルに分ける(自分は10～20秒を目安にリサイズした・・・けどもしかしたら3秒くらいの長さのほうが良い気がする？)
・声のみのデータにする(BGMやノイズが無い、除去されたもの)
という感じで準備する

3.モデルの作成

「トレーニング」タブを開く

まずは”ステップ1″と”ステップ2a”
「モデル名」と「トレーニング用フォルダのパス」を入力、サンプリングレートは用意した音声データにあわせ、ほかの選択肢も画像を参考に設定したら「データ処理」を押す

横の「出力情報」が動き始め、「end preprocess」と出力されるまで待機する

データ処理が終わったら次に”ステップ2b”
GPUの選択と抽出アルゴリズムを選択後「特徴抽出」を押す
「出力情報」が動き始め、「end preprocess」と出力されるまでまた待機する

※抽出アルゴリズムは簡単に書くと、
pm側 = 負荷が軽い
rmvpe_gpu側 = 負荷重い
って感じ！GPUがないならpm、高スペックGPUならrmvpe_gpuを選択って感じでいいと思う)

最後に”ステップ3″
選択肢を画像のように設定して「ワンクリックトレーニング」を押す完成！
ちなみにブラウザ側だと動いてるか分からないけどcmd見るとめっちゃ頑張ってる感が分かる

総エポック数は僕が試した感じ120～160付近が一番ボイチェンの変換後音声がいい感じなことが多かった
音声ファイルの数や長さによって適正が変わるし、(のちに記載するが、)「エポックごとの保存頻度」を20に設定して途中のpthも保存するからそれぞれ確認して良さそうなとこを使っていくのがいい
まだ学習足りてなさそうな場合は総エポック数を増やしてみるといい

出力は時間がかかる(1～2時間くらい)
GPUの性能がいいなら「GPUごとのバッチサイズ」の値を増やすと早くなる！けど適正値が分からないから増やすにしても少しずつ試していったほうがいい(値を上げすぎると逆に生成が遅くなるみたい)

生成したモデルはRVCフォルダのassets→weightsに入ってる

C:◯◯◯\RVC1006Nvidia\assets\weights

4.出力モデルの動作確認

(あらかじめ動作確認用に声変換前のテスト音源を用意しておく)
「モデル推論」タブを開く

音源推論、ピッチ変更、処理対象ファイルパス、インデックスパスを画像を参考に選択する

・音源推論
さきほど作成したモデルがドロップダウンにない場合、横の「音源リストとインデックスパスの更新」を押したら出てくるはず

・ピッチ変更
男→男・女→女 => 0
男→女 => 12
女→男 => -12
をいれる(モデルの動作確認だから単純に1オクターブ上下させる)

・処理対象ファイルパス
ボイチェンさせる音源のパスを指定

・インデックスパスの自動検出
ここもドロップダウンでさきほど作成したフォルダがあるはず

あとは「変換」を押したら変換できる！
出力できたらその場で再生とダウンロードができる！！！

これでボイチェン後の音声が問題ないならOKなんだけど、微妙な場合は！

4-2.エポックごとの動作確認

音源推論で指定するときに「test-model_e20_s540.pth」みたいに変な数字が付いたpthデータもあったはず！
これは、ステップ3で「各保存時点の小モデルを全部weightsフォルダに保存するかどうか」に「はい」を選択してたら保存されるもの
モデル学習中のデータが定期的に保存されてるものだからこれを確認して一番よさそうなものを使えばいいと思う！
(数値が低いと学習少なくて変換がボロボロに、逆に数値が高すぎると過学習でこっちでもボロボロになる)

雑談として、
最近はApplio っていうのでもpthを作成できるらしいけど結局このRVC-WebUIで作成した
理由としてはApplioとRVC-WebUIはベースが同じだから(同じ設定の場合)クオリティに差がほとんどでないらしい
細かい設定はApplioのほうが触れるらしいけど今回のRVC-WebUIで僕は十分綺麗に学習できてると感じた

投稿 RVC-WebUIでモデルを作成する方法 は 弓月ゆあのしんかのきせき に最初に表示されました。

※価格は2023年11月に確認した定価のため、為替状況やキャンペーンで価格が上下することがある

ピッチとフォルマントについては
ピッチ：単純な声の高さ
フォルマント：声質
って感じ

上記は全て同じ効果のVSTだけどVST毎に特徴?癖?があって変換後の音が違うから無料のやつを納得するまで全部試してみるのが良いと思う
自分はMHarmonizerMBを使ってるけど声の調整を怠っているから久々にやらないとなって感じ

投稿 ボイスチェンジャーに使えるVST紹介 は 弓月ゆあのしんかのきせき に最初に表示されました。

現状のプラグインとしては、
入力→ゲイン→イコライザ→ノイズリダクション→ボイチェン→イコライザ→コンプ→ゲート→出力
って感じ
詳細は↓の動画(詳しくもない)

動画ではディエッサとリバーブが入っていたけどディエッサがたまに働かないのとリバーブが結局いらなくね?ってなったから消した

とりあえずボイチェンの動きを知るために、声を同じ感じに出しつつVT-4のピッチとフォルマントを動かした波形を確認

↑声は全て「あ」
左からピッチ下から上+フォルマント下、ピッチ下+フォルマント下から上、
ピッチ下から上+フォルマント中間、ピッチ中間+フォルマント下から上、
ピッチ下から上+フォルマント上、ピッチ上+フォルマント下から上
の順でVT-4のつまみ動かした(関係ないが、このときVT-4のAUTO PITCHオンになってたかもしれん)

↑左から声は「あ」「い」「う」「え」「お」「あ」「い」「う」「え」「お」「あ」「あ」
左5個がピッチ下から上+フォルマント中間、
次の5個がピッチ中間+フォルマント下から上、
最後2個が声は「あ」だけど、今までの声より高い声をだしたやつで左がピッチ下から上+フォルマント中間、右がピッチ中間+フォルマント下から上(これ文章で伝わるか????)

(VT-4の場合の)ボイチェンの動きは大体
ピッチつまみ=0～2500Hzあたりの音を上下させる感じ、
フォルマントつまみ=400Hz～の音を(フォルマントのみ)上下させる、または音を削るor生成する感じっぽい?

今更だけど画像の見方は緑が濃さが音量で上にいく程周波数が高いって感じ、んでフォルマントってのは上の画像でいう色の濃いとこ(のはず)

次に女性の声との比較

↑声は全て「あ」
左から2個(赤橙)が女性ウィスパーボイス、
次3個(緑青黄)が女性ボイス、
次3個(水色)が左から自分(VT-4ではなく普段のボイチェン有り)、voiceroid、vocaloid
ボカロ以外は周波数の100Hz以下と10000Hz以上を削除してある

これを見る感じの感想としては
①ウィスパーは例外だけど基本的にフォルマント以外はほぼ音がない感じに対して自分はノイズだらけ
②7000Hz以降が自分の声削りすぎ
③2500Hz付近とかは女性ボイスではある程度音が減るとこが自分も再現されてて意外といい感じ
④自分のフォルマント若干他と比べ弱い?
⑤自分のフォルマント高音だとノイズで消えてる
って感じ

①「ウィスパーは例外だけど基本的にフォルマント以外はほぼ音がない感じに対して自分はノイズだらけ」
ReaFirに周波数毎のGateがあったのである程度小さいノイズを削ることにした

②「7000Hz以降が自分の声削りすぎ」
これについては声がロボっぽくならないように、ノイズを減らすようイコライザーかませてるけど削り過ぎかもしれない

③「2500Hz付近とかは女性ボイスではある程度音が減るとこが自分も再現されてて意外といい感じ」
2500Hz付近をただ下げるか、ってなるわけではなくて例えば

↑声は全て「い」、で「あ」のvoiceroidとvocaloidをが無いバージョン
これを見ると今度は1600hz当たりが音が減る、けど自分も小さい気がするからたぶんここらへんは言葉、もしくは人間の構造的に自然になるっぽい?ということでこれについては特に触らない

④「自分のフォルマント若干他と比べ弱い?」
今までのスクショは大体上部にある全体の音量波形をある程度そろえたつもりだったけど何となくフォルマント自体は音量小さい気がした(けど声「い」パターン見るとそこまででもない気がしてきた)
これについては①で無駄なノイズを削って全体音量が下がるから相対的に音量が上がると思うから

⑤「自分のフォルマント高音だとノイズで消えてる」
通常女性ボイスだとちゃんと高音でもフォルマントの波形が見えるけど自分の波形だとめっちゃぼやけてるここは・・・どうしようね??????
結局④と同じくノイズ減ってわかりやすくなるのを祈るしかないかな?対策思いつかんかった

結局今までプラグインとの前後比較としては
入力→ゲイン→イコライザ→ノイズリダクション→ボイチェン→イコライザ→コンプ→ゲート→出力
から
入力→ゲイン→ノイズリダクション→イコライザ→ゲート→ボイチェン→イコライザ→コンプ→ゲート→出力

ほぼ変わってねーじゃん!!!!
まあノイズリダクション位置をイコライザ前にしたのとゲートを追加しただけ

まだ実況撮ってないから聞き取りやすくなったか分からないけどロボ声からはちょっとノイズ減ってる感じはあるはず、あると思う

投稿 ボイチェン調整しようと思った(定期) は 弓月ゆあのしんかのきせき に最初に表示されました。