歌唱合成ソフト『NEUTRINO』を使ってみたのでコツなどをメモ
最近UTAUのプラグインの調子が悪く調声が辛かったので、使える声が限られてしまうのですがNEUTRINOを使ってみました。
Contents
NEUTRINOとは
機械学習で良い感じに歌ってくれるソフト。今のところ無料です。
NEUTRINO - Neural singing synthesizerNEUTRINO はニューラルネットワークを用いた、フリーの歌声シンセサイザーです。 楽譜から発声タイミング・音の高さ・声質・声のかすれ具合などのパラメータを推定し、推定したパラメータをもとにボコーダーで歌声を合成します。
但しニューラルネットワーク（NSF）を利用した合成にはGPUが必要で、オフライン版より素直にGoogleアカウント作ってオンライン版（Colaboratoryを利用）を使った方が良いです。
ColaboratoryはJupyter Notebookみたいなやつなので、Pythonを使った事がある人には馴染みやすいと思います。
日本でも有料版が使えるようになったので、無料版では足りない場合もGPU買うよりは安くつくのではないでしょうか。
（1曲作るくらいなら無料版で十分です。）
MusicXMLを読み込ませて合成
NEUTRINOではMusicXMLから歌唱合成をしますが、MusicXMLそのものの作成機能はNEUTRINOにはありません。
代わりにMuseScoreという楽譜作成ソフトの利用が推奨されています。
フリーソフトでポータブル版もあるので、導入のハードルは低いと思います。
UTAUやボーカロイドで制作していた人は、このソフトで五線譜入力していくよりも、DAW等から出力したMIDIをMuseScoreにインポートするのが作業の流れが変わらず良いと思います。
但し、MuseScoreで自動的にスタッカートとして解釈された部分は、NEUTRINOでは無視されてしまうので、インポート後に音符の長さの修正が必要です。
MuseScoreで1から作るぜって人には以下の記事が参考になるかも。
NEUTRINOで歌わせるために必要なMuseScoreの操作方法｜npaka｜note「NEUTRINO」でAIに歌わせるために必要な「MuseScore」の操作方法をまとめました。Macを使ってます。 1. 音符の追加と削除 音符ツールバーの左端のボタンで、「音符入力モード」を切り替えることができます。「N」キーで切り替えることもできます 楽譜に音符を追加したい場合は、音符入力モードをON（青）にしてで楽譜をクリックします。楽譜の音符を選択したい場合は、モードをOFF（灰色
手間取ったところとか
ありがちな躓きポイントは公式でもまとめられています。
MusicXMLについて | NEUTRINOこの記事ではMusicXMLについて説明します。
MuseScoreで歌詞を入れるのが面倒すぎる
この点についてはフォロワーさんが教えてくれたり、ググればすぐ出てきたりしました…。
以下の方法で多少はマシになります。
- 適当なテキストエディタで歌詞を全部ひらがな入力
- 各文字の間に半角スペースまたは改行を入れる
- MuseScoreの歌詞入力欄でペーストすると、スペースまたは改行ごとに入力されていくので連続してペーストしていく
文字の間に半角スペースを入れるのは、正規表現置き換えが出来るエディタ（Visual Studio Codeとか）で以下の様にします。
- 検索文字列
([^ゃゅょ])
必要に応じて「っ」も。- 置換文字列
$1
見えていませんがドルの前に半角スペースがあります。
Colab NotebookでGoogleドライブを再マウントできなくなった
慌てず騒がず
- 「ランタイム」→「ランタイムを再起動」
- 最初から実行し直し
書き出した音声の音が外れている
楽譜が正しくても、譜面によってはピッチが上がりきらなかったり、ポルタメントが強すぎて音がずれて聞こえるところがたまにあります。
時間とマシンの余裕があれば、譜面の方を調整してレンダリングを試行錯誤する手もありますが、私は大人しくMelodyneで修正してしまいました…。
追記：もう少し使ってみての所感
- 「せい」と入力して「すぃ」の発音になるのはなんでや
- NEUTRINO単体では直せないので曲の方を直すしかないのか
- 一点ハ～ロ以外の音は苦しそうに聞こえる
- 息苦しそうにしているのが人間らしいと言えばそうだけど、歌が上手いからは離れてしまう
- NSFじゃない方が音が安定している分上手く聴こえることもある
- 上と同じなのですが、音の揺れがあるのが人間らしいと言えばそうだけど（以下略
- キュルキュル音がひどい
- フリーソフトに文句言うのも何ですが、かなりの頻度で入るのでアカペラはきついですね
別のソフトでノイズ取りするなら良いけども
ちなみに私はSpectraLayersでノイズ取りをしています
まとめというか感想
- 機械学習しゅごい…歌が上手い…
- 直感的なツールでは無いので音楽よりコンピュータの知識が必要
- 標準装備では細かい調声は出来ない（しなくても良いクオリティではある）ので、調声作業自体が好きな人には物足りないかも
- ツールの名前を一般名詞にするとググラビリティがとても良くない…
今回は時間の都合で使えませんでしたが、フォロワーさん曰く、もう少し細かい事が出来る拡張ツールは開発されているそうです。
NEUTRINO調声支援ツールが公開される。AIシンガーきりたんなどNEUTRINOが出力する歌声のタイミングやピッチがGUIで編集可能に - 週刊ボカフロsigさんがNEUTRINO調声支援ツールを公開しました。 f0とlabを編集できるツールを作りましたmidiの読み込みもできますまだ開発中ですが少しずつアップデートしていく予定です#NEUTRINO#AIきりたんpic.twitter.com/rbA3hht6kl — sig (@m_sig_tw) 2020年3月18日 簡単に使い方を書いておきます①まず環境設定からNEUTRINOフォルダを設
NEUTRINOで作った楽曲はこちらにあります。
セール中のプラグイン一覧はこちら。
