歌唱合成ソフト『NEUTRINO』を使ってみたのでコツなどをメモ

最近UTAUのプラグインの調子が悪く調声が辛かったので、使える声が限られてしまうのですがNEUTRINOを使ってみました。

NEUTRINOとは

機械学習で良い感じに歌ってくれるソフト。今のところ無料です。

但しニューラルネットワーク(NSF)を利用した合成にはGPUが必要で、オフライン版より素直にGoogleアカウント作ってオンライン版(Colaboratoryを利用)を使った方が良いです。

ColaboratoryはJupyter Notebookみたいなやつなので、Pythonを使った事がある人には馴染みやすいと思います。

日本でも有料版が使えるようになったので、無料版では足りない場合もGPU買うよりは安くつくのではないでしょうか。

(1曲作るくらいなら無料版で十分です。)

MusicXMLを読み込ませて合成

NEUTRINOではMusicXMLから歌唱合成をしますが、MusicXMLそのものの作成機能はNEUTRINOにはありません。

代わりにMuseScoreという楽譜作成ソフトの利用が推奨されています。
フリーソフトでポータブル版もあるので、導入のハードルは低いと思います。

UTAUやボーカロイドで制作していた人は、このソフトで五線譜入力していくよりも、DAW等から出力したMIDIをMuseScoreにインポートするのが作業の流れが変わらず良いと思います。
但し、MuseScoreで自動的にスタッカートとして解釈された部分は、NEUTRINOでは無視されてしまうので、インポート後に音符の長さの修正が必要です。

MuseScoreで1から作るぜって人には以下の記事が参考になるかも。

手間取ったところとか

ありがちな躓きポイントは公式でもまとめられています。

MuseScoreで歌詞を入れるのが面倒すぎる

この点についてはフォロワーさんが教えてくれたり、ググればすぐ出てきたりしました…。
以下の方法で多少はマシになります。

  1. 適当なテキストエディタで歌詞を全部ひらがな入力
  2. 各文字の間に半角スペースまたは改行を入れる
  3. MuseScoreの歌詞入力欄でペーストすると、スペースまたは改行ごとに入力されていくので連続してペーストしていく

文字の間に半角スペースを入れるのは、正規表現置き換えが出来るエディタ(Visual Studio Codeとか)で以下の様にします。

検索文字列
([^ゃゅょ])
必要に応じて「っ」も。
置換文字列
$1
見えていませんがドルの前に半角スペースがあります。

Colab NotebookでGoogleドライブを再マウントできなくなった

慌てず騒がず

  1. 「ランタイム」→「ランタイムを再起動」
  2. 最初から実行し直し

書き出した音声の音が外れている

楽譜が正しくても、譜面によってはピッチが上がりきらなかったり、ポルタメントが強すぎて音がずれて聞こえるところがたまにあります。

時間とマシンの余裕があれば、譜面の方を調整してレンダリングを試行錯誤する手もありますが、私は大人しくMelodyneで修正してしまいました…。

追記:もう少し使ってみての所感

「せい」と入力して「すぃ」の発音になるのはなんでや
NEUTRINO単体では直せないので曲の方を直すしかないのか
一点ハ~ロ以外の音は苦しそうに聞こえる
息苦しそうにしているのが人間らしいと言えばそうだけど、歌が上手いからは離れてしまう
NSFじゃない方が音が安定している分上手く聴こえることもある
上と同じなのですが、音の揺れがあるのが人間らしいと言えばそうだけど(以下略
キュルキュル音がひどい
フリーソフトに文句言うのも何ですが、かなりの頻度で入るのでアカペラはきついですね
別のソフトでノイズ取りするなら良いけども
ちなみに私はSpectraLayersでノイズ取りをしています

まとめというか感想

  • 機械学習しゅごい…歌が上手い…
  • 直感的なツールでは無いので音楽よりコンピュータの知識が必要
  • 標準装備では細かい調声は出来ない(しなくても良いクオリティではある)ので、調声作業自体が好きな人には物足りないかも
  • ツールの名前を一般名詞にするとググラビリティがとても良くない…

今回は時間の都合で使えませんでしたが、フォロワーさん曰く、もう少し細かい事が出来る拡張ツールは開発されているそうです。

NEUTRINOで作った楽曲はこちらにあります。

この記事が気に入りましたら、いいね、シェア、購読をお願いします!

🔔 から登録すると、更新をプッシュ通知で受け取れます。

このサイトではクッキーを使用しています。
詳細