1.RVCを起動

RVC(Retrieval-based-Voice-Conversion)からダウンロードする
(以下、2.2.231006を使用)
フォルダ内のgo-web.batを起動するとコマンドプロンプトが起動し、待機してたらブラウザが開く

2.学習元の音声データ用意

音声データは
・合計10分以上が推奨(10～50分が目安、長すぎると過学習が起こるみたい)
・長すぎるファイルは事前に複数ファイルに分ける(自分は10～20秒を目安にリサイズした・・・けどもしかしたら3秒くらいの長さのほうが良い気がする？)
・声のみのデータにする(BGMやノイズが無い、除去されたもの)
という感じで準備する

3.モデルの作成

「トレーニング」タブを開く

まずは”ステップ1″と”ステップ2a”
「モデル名」と「トレーニング用フォルダのパス」を入力、サンプリングレートは用意した音声データにあわせ、ほかの選択肢も画像を参考に設定したら「データ処理」を押す

横の「出力情報」が動き始め、「end preprocess」と出力されるまで待機する

データ処理が終わったら次に”ステップ2b”
GPUの選択と抽出アルゴリズムを選択後「特徴抽出」を押す
「出力情報」が動き始め、「end preprocess」と出力されるまでまた待機する

※抽出アルゴリズムは簡単に書くと、
pm側 = 負荷が軽い
rmvpe_gpu側 = 負荷重い
って感じ！GPUがないならpm、高スペックGPUならrmvpe_gpuを選択って感じでいいと思う)

最後に”ステップ3″
選択肢を画像のように設定して「ワンクリックトレーニング」を押す完成！
ちなみにブラウザ側だと動いてるか分からないけどcmd見るとめっちゃ頑張ってる感が分かる

総エポック数は僕が試した感じ120～160付近が一番ボイチェンの変換後音声がいい感じなことが多かった
音声ファイルの数や長さによって適正が変わるし、(のちに記載するが、)「エポックごとの保存頻度」を20に設定して途中のpthも保存するからそれぞれ確認して良さそうなとこを使っていくのがいい
まだ学習足りてなさそうな場合は総エポック数を増やしてみるといい

出力は時間がかかる(1～2時間くらい)
GPUの性能がいいなら「GPUごとのバッチサイズ」の値を増やすと早くなる！けど適正値が分からないから増やすにしても少しずつ試していったほうがいい(値を上げすぎると逆に生成が遅くなるみたい)

生成したモデルはRVCフォルダのassets→weightsに入ってる

C:◯◯◯\RVC1006Nvidia\assets\weights

4.出力モデルの動作確認

(あらかじめ動作確認用に声変換前のテスト音源を用意しておく)
「モデル推論」タブを開く

音源推論、ピッチ変更、処理対象ファイルパス、インデックスパスを画像を参考に選択する

・音源推論
さきほど作成したモデルがドロップダウンにない場合、横の「音源リストとインデックスパスの更新」を押したら出てくるはず

・ピッチ変更
男→男・女→女 => 0
男→女 => 12
女→男 => -12
をいれる(モデルの動作確認だから単純に1オクターブ上下させる)

・処理対象ファイルパス
ボイチェンさせる音源のパスを指定

・インデックスパスの自動検出
ここもドロップダウンでさきほど作成したフォルダがあるはず

あとは「変換」を押したら変換できる！
出力できたらその場で再生とダウンロードができる！！！

これでボイチェン後の音声が問題ないならOKなんだけど、微妙な場合は！

4-2.エポックごとの動作確認

音源推論で指定するときに「test-model_e20_s540.pth」みたいに変な数字が付いたpthデータもあったはず！
これは、ステップ3で「各保存時点の小モデルを全部weightsフォルダに保存するかどうか」に「はい」を選択してたら保存されるもの
モデル学習中のデータが定期的に保存されてるものだからこれを確認して一番よさそうなものを使えばいいと思う！
(数値が低いと学習少なくて変換がボロボロに、逆に数値が高すぎると過学習でこっちでもボロボロになる)

雑談として、
最近はApplio っていうのでもpthを作成できるらしいけど結局このRVC-WebUIで作成した
理由としてはApplioとRVC-WebUIはベースが同じだから(同じ設定の場合)クオリティに差がほとんどでないらしい
細かい設定はApplioのほうが触れるらしいけど今回のRVC-WebUIで僕は十分綺麗に学習できてると感じた

投稿 RVC-WebUIでモデルを作成する方法 は 弓月ゆあのしんかのきせき に最初に表示されました。

ちなみにわんコメのバックアップガイドにファイルの場所とか、user.dbがリスナー記録データとかって書いてある公式ページが見つかったけど、バージョン4.0のドキュメントで、現在の7.1はちょっと違った
パスは

C:\Users\USER_NAME\AppData\Roaming\onecomme

ちなみにこのフォルダ自体はわんコメの右上メニュー→フォルダを開く→データフォルダ で開くこともできる

この中で
設定ファイル:config.json
リスナーリスト:onecomme.db
となっていた

4.0のドキュメントに書かれていたuser.dbもあるが、これを移してもなんにも変化がなかった
7.1を直接インストールしてもファイル自体は入ってたけど少なくともリスナーリストとしては使ってなさそうだった

config.jsonとonecomme.dbを前のフォルダから移したら設定とリスナーリストが復活した よかったよかった

投稿 わんコメの設定ファイルの場所について(Ver7.1) は 弓月ゆあのしんかのきせき に最初に表示されました。

※価格は2023年11月に確認した定価のため、為替状況やキャンペーンで価格が上下することがある

ピッチとフォルマントについては
ピッチ：単純な声の高さ
フォルマント：声質
って感じ

上記は全て同じ効果のVSTだけどVST毎に特徴?癖?があって変換後の音が違うから無料のやつを納得するまで全部試してみるのが良いと思う
自分はMHarmonizerMBを使ってるけど声の調整を怠っているから久々にやらないとなって感じ

投稿 ボイスチェンジャーに使えるVST紹介 は 弓月ゆあのしんかのきせき に最初に表示されました。

OBS Studio

配信サイトへ自分の映像を送るためのアプリ
まずは一番重要、というか最低限ならOBSだけあれば十分放送できる

obs-multi-rtmp(OBSプラグイン)

以前の記事で書いたように自分は複数のサイト(YouTube・ツイキャス・Kick)で同時配信している
OBS単体だと無理やり(録画用の設定を配信用に設定するらしい)2箇所で配信できるけど、このプラグインを入れることで1箇所の配信開始を押したら自動で設定した2箇所でも同時に配信を開始する、という動作を組み込めるようになる

わんコメ

コメントビューア
youtubeだけで放送する場合や配信画面にコメントを表示しない場合はいらない
僕は複数のサイトで放送しているから配信画面にコメントを表示して他サイトでコメントを貰ったことが分かりやすくなると思い導入した

棒読みちゃん & VOICEROID

音声合成ソフト
(VOICEROIDについては自分が元々持っていたものを使っているけどA.I.VOICEの方が新しい)
貰ったコメントを配信中に気づけるようにコメントを読み上げしてほしかったから使っている
ちなみに各アプリを連携して使っていて
①わんコメと棒読みちゃんを連携して読み上げるようにしている
②棒読みちゃんとVOICEROIDを連携して声をVOICEROIDにしている
ちなみにVOICEROIDを持っていたから使っているだけで持ってないなら棒読みちゃんの読み上げ音声で十分だと思う

トランスルー

翻訳ソフト(わんコメと連携して動作するアプリ)
日本語以外のコメントがきたときに読み上げ音声がぐちゃぐちゃになる、英語ならまだしも他言語がきたときに毎回手動で翻訳するのが面倒ってことで導入した
ただし、翻訳エンジンによるけど僕の使っているやつはそこまで精度がよくないのか翻訳結果がよく分からないってことがたまにある

streamlabs & どねる

ドネーション(投げ銭)アプリ
配信サイトには有名になったら投げ銭機能を有効にできるよ!っていうことがよくある(youtubeならチャンネル登録1000人+総再生数が4000時間でスパチャ解禁!!みたいなやつ)
弓月ゆあは無名だから基本的に無理、ということで外部の投げ銭アプリを導入している
まあ投げ銭がくることは無いけど気分的に導入したかった
投げ銭ができる他にメリットとして、配信サイトの投げ銭機能と比べて手数料が低い、投げ銭だけでなくチャンネル登録等のタイミングで配信画面に通知を出すこともできる

以上が自分の使っている配信用のアプリ
あとプラスアルファとして配信素材も軽く紹介してみる

配信待機画面
ゲーム配信画面
配信待機中のBGM (「騒音のない世界」の「教えてよ」)

を使ってる
弓月ゆあの服装もそうだけどboothにクリエイター達が作ってくれた素材とかがめっちゃあるからとてもありがたい

→ハードウェア編も書いた!!

投稿 自分の配信周り紹介 ソフトウェア編 は 弓月ゆあのしんかのきせき に最初に表示されました。

同時配信：複数サイトで同時に配信していいかどうか
わんコメ・マルチコメントビューア(MCV)：コメントビューア
解像度・ビットレート・フレームレート：簡単に言うと数値が高いほど綺麗な絵を配信できる

8個の配信サイトを比較してみた
今まで動画投稿していたYouTubeでLIVEもするとして、同時配信もどこかでやろうかと思って自分なりに考えた結果、YouTube+ツイキャス+KickでLIVEしようかな?って思った

同時配信が可能、コメントビューアで同時にコメントを取得できるってことでニコ生も候補にあったけどニコ生は30分で枠が閉じるから面倒ってことで候補から外した

YouTube+ツイキャス+OPENRECっていう選択肢もあったけど最近できたKickも試してみたいな～って思ってそっちにした

直近ではYouTubeだけでLIVEしているけどちょっとずつ手を広げて同時配信をはじめ放送のレベルを上げていきたいな、って感じ

投稿 ライブ配信サイトを比較してみた は 弓月ゆあのしんかのきせき に最初に表示されました。

現状のプラグインとしては、
入力→ゲイン→イコライザ→ノイズリダクション→ボイチェン→イコライザ→コンプ→ゲート→出力
って感じ
詳細は↓の動画(詳しくもない)

動画ではディエッサとリバーブが入っていたけどディエッサがたまに働かないのとリバーブが結局いらなくね?ってなったから消した

とりあえずボイチェンの動きを知るために、声を同じ感じに出しつつVT-4のピッチとフォルマントを動かした波形を確認

↑声は全て「あ」
左からピッチ下から上+フォルマント下、ピッチ下+フォルマント下から上、
ピッチ下から上+フォルマント中間、ピッチ中間+フォルマント下から上、
ピッチ下から上+フォルマント上、ピッチ上+フォルマント下から上
の順でVT-4のつまみ動かした(関係ないが、このときVT-4のAUTO PITCHオンになってたかもしれん)

↑左から声は「あ」「い」「う」「え」「お」「あ」「い」「う」「え」「お」「あ」「あ」
左5個がピッチ下から上+フォルマント中間、
次の5個がピッチ中間+フォルマント下から上、
最後2個が声は「あ」だけど、今までの声より高い声をだしたやつで左がピッチ下から上+フォルマント中間、右がピッチ中間+フォルマント下から上(これ文章で伝わるか????)

(VT-4の場合の)ボイチェンの動きは大体
ピッチつまみ=0～2500Hzあたりの音を上下させる感じ、
フォルマントつまみ=400Hz～の音を(フォルマントのみ)上下させる、または音を削るor生成する感じっぽい?

今更だけど画像の見方は緑が濃さが音量で上にいく程周波数が高いって感じ、んでフォルマントってのは上の画像でいう色の濃いとこ(のはず)

次に女性の声との比較

↑声は全て「あ」
左から2個(赤橙)が女性ウィスパーボイス、
次3個(緑青黄)が女性ボイス、
次3個(水色)が左から自分(VT-4ではなく普段のボイチェン有り)、voiceroid、vocaloid
ボカロ以外は周波数の100Hz以下と10000Hz以上を削除してある

これを見る感じの感想としては
①ウィスパーは例外だけど基本的にフォルマント以外はほぼ音がない感じに対して自分はノイズだらけ
②7000Hz以降が自分の声削りすぎ
③2500Hz付近とかは女性ボイスではある程度音が減るとこが自分も再現されてて意外といい感じ
④自分のフォルマント若干他と比べ弱い?
⑤自分のフォルマント高音だとノイズで消えてる
って感じ

①「ウィスパーは例外だけど基本的にフォルマント以外はほぼ音がない感じに対して自分はノイズだらけ」
ReaFirに周波数毎のGateがあったのである程度小さいノイズを削ることにした

②「7000Hz以降が自分の声削りすぎ」
これについては声がロボっぽくならないように、ノイズを減らすようイコライザーかませてるけど削り過ぎかもしれない

③「2500Hz付近とかは女性ボイスではある程度音が減るとこが自分も再現されてて意外といい感じ」
2500Hz付近をただ下げるか、ってなるわけではなくて例えば

↑声は全て「い」、で「あ」のvoiceroidとvocaloidをが無いバージョン
これを見ると今度は1600hz当たりが音が減る、けど自分も小さい気がするからたぶんここらへんは言葉、もしくは人間の構造的に自然になるっぽい?ということでこれについては特に触らない

④「自分のフォルマント若干他と比べ弱い?」
今までのスクショは大体上部にある全体の音量波形をある程度そろえたつもりだったけど何となくフォルマント自体は音量小さい気がした(けど声「い」パターン見るとそこまででもない気がしてきた)
これについては①で無駄なノイズを削って全体音量が下がるから相対的に音量が上がると思うから

⑤「自分のフォルマント高音だとノイズで消えてる」
通常女性ボイスだとちゃんと高音でもフォルマントの波形が見えるけど自分の波形だとめっちゃぼやけてるここは・・・どうしようね??????
結局④と同じくノイズ減ってわかりやすくなるのを祈るしかないかな?対策思いつかんかった

結局今までプラグインとの前後比較としては
入力→ゲイン→イコライザ→ノイズリダクション→ボイチェン→イコライザ→コンプ→ゲート→出力
から
入力→ゲイン→ノイズリダクション→イコライザ→ゲート→ボイチェン→イコライザ→コンプ→ゲート→出力

ほぼ変わってねーじゃん!!!!
まあノイズリダクション位置をイコライザ前にしたのとゲートを追加しただけ

まだ実況撮ってないから聞き取りやすくなったか分からないけどロボ声からはちょっとノイズ減ってる感じはあるはず、あると思う

投稿 ボイチェン調整しようと思った(定期) は 弓月ゆあのしんかのきせき に最初に表示されました。

こんな感じでWiiリモコンはPINを未入力で接続するらしいけど文字入れないと(CSR製は)接続を押せない

ドライバ変更とかできるん？とか思いつつググってたら他の接続方法で普通にいけることが分かった
というか後で判明したけど別にドライバCSR製じゃないけどなんか接続押せなかったみたい

※一旦接続方法書くけどこれは再起動の度に同じことして接続しなきゃダメであまり参考にならない、下の方見たほうがいい
タスクバーのbluetoothアイコン右クリック→「パーソナルエリアネットワークへ参加」をクリック

デバイスとプリンターウィンドウが出たら「デバイスの追加」を押したらwiiリモコンの「sync」押すor「1 + 2」を押したらRVL-CNT-01が表示されるあとは選択して「次へ」から進んで接続していく

これで接続完了！！・・・なんだけどPC起動するたびに接続できなくなるためデバイスの削除して上記作業を毎回やっていた
しかしこれもググると一度設定するとpc再起動後もwiiリモコンのボタンを押すと自動で起動する方法を発見

wiipermpair2というプログラムでいける設定方法があった

こんな感じのツールなんだけど使い方はまあ上のサイトを見ればOKって感じ
(Bluetooth接続の表示が全部表示されるらしくMajestouch Convertible 2は自分が使ってるキーボードが出てる)

簡単に書くと
①ツール起動
②wiiリモコンsyncボタンオン
③名前が「Nintendo～」の列が表示されたら同列のpairingを押す
④左下のauto pairingをチェック入れる
⑤再起動しても毎回接続されるようになる

投稿 Win10でWiiリモコンプラスを接続する方法 は 弓月ゆあのしんかのきせき に最初に表示されました。

基本自分はMikuMikuCaptureを直で録画してるけどkinectの位置+ディスプレイ3個あるせいで端の画面見ようとするだけでもすぐに顔認識が行方不明になる

MMCの代わりに自作でモーションキャプチャできたらいいと思いつつまあ難しいのでせめてkinectのデータをBVH化してデータを自作プログラムで改善して出力するのならまだできるんじゃね？って思ったので少し調べた、いや調べようとしはじめた

とりあえずkinectでBVHエクスポートできるのをぐぐった

候補① iPi Desktop Motion Capture

有料 やれるかどうか分からないのに試しに出せる金額ではないため却下

候補② Brekel Kinect

えいごよくわからなかったです。

というのも8割あるけどまず「MotionBuilder Device Plugin」ってのがインストールできなくて諦めた

候補③ Hitogata

これは最有力候補 これはkinectじゃなくwebカメラでの顔認識になる

たぶんBVHでエクスポートできないと思うけどVMDでならできるみたいだからVMD→BVHを使う手間はありそう

候補④,⑤ MikuMikuMoving, MikuMikuDance

結局VMD出力するならMMMorMMDでいいんじゃね？っていう発想

まあここまで調べて興味が他に行ってこれ以上調べてないっていう状態です

最後にkinect使おうとしたときにエラーメッセージで「this kinect sensor is already in use」がでたらkinectが複数箇所から読み取ろう(MMDとMMCで同時使用的な)としたら出るみたいっていう豆知識だけおいておく

投稿 kinectのBVH化メモ(不完全) は 弓月ゆあのしんかのきせき に最初に表示されました。

ちなみに前回のデフォルトちゃんはこんな感じ、問題なし

Unityからエクスポートするときに使うPMX Exporterの設定を弄ってみたりもしたけど直らない

結論言うとPmxEditorで材質設定したら直ったっていう話

用意するもの
PmxEditor(2019/02/12時点最新ver0.2.5.4)

①.pmxをPmxEditorにD&Dでそのままインポート

②Pmx編集のウィンドウで材質タブ開いて(自分の場合まつげがおかしいから)FaceEyelashを選択

※ちなみに選択した材質がどのポジションか頂点色のチェックを押せば消えるから分かる(写真だとまつげのFaceEyelashにチェックしたからまつげ消えた)

③あとは「底」ボタンを押したら完璧(ボタン押してもPmxViewが更新されないから頂点色を2回押して更新すると表示される)

④あとは保存して完成！

注意点として、③の「底」ボタンは(僕の場合は)FaceEyelineより下に表示順を持っていくために押した
「底」ボタン押したら他の表示がバグった！！とか発生したら「底」ボタンではなく「↓」ボタンでちょっとずつ位置を下げればいけると思う

投稿 Vroidモデルを.pmxに変換したらまつげが白くなった件 は 弓月ゆあのしんかのきせき に最初に表示されました。

必要なもの(2019/2/5時点の最新ver)
VRoidStudio(v0.5.3)
Unity(v2018.3.3f1)
UniVRM(v0.49_43)
VRMtoPMXExporter(v0.5.3)
MMD(v931)

①VRoidでキャラをモデリングする(スクショではサンプルを使用)

②「撮影・エクスポートタブ」からエクスポートで.vrm形式で保存(色々設定どうするか表示されるが自分で遊ぶだけならコメント無しでOK)

③Unityを起動して下のアセットにUniVRMとVRMtoPMXExporterと.vrmデータをドラッグ&ドロップでインポート

④読み込んだVRMデータをドラッグ&ドロップで左のヒエラルキーにいれる

⑤アセットのPMXExporterフォルダにあるPMXExporter.csをドラッグ&ドロップで左のヒエラルキーに入れたVRMデータにいれる

⑥ヒエラルキー上のVRMデータを選択して右のインスペクター内下の方に「PMX Exporter(Script)」がありその右の設定(歯車のやつ)からエクスポートを選択して保存する

⑦PMXデータとテクスチャフォルダが出力され完成！！

ちなみにどこかテクスチャ抜け発生する可能性あるかもだからpmx化したあと確認したほうがいいかも

自分は一月前のverで試したときは眉の色が抜けてたけど新しいverにしたら直ってた
→まつげが白くなったときの対応方法も書いたよ

投稿 VRoidモデルをMMD用のPMXにする方法 は 弓月ゆあのしんかのきせき に最初に表示されました。