歌唱合成ソフト『NEUTRINO』を使ってみたのでコツなどをメモ
最近UTAUのプラグインの調子が悪く調声が辛かったので、使える声が限られてしまうのですがNEUTRINOを使ってみました。
Contents
NEUTRINOとは
機械学習で良い感じに歌ってくれるソフト。今のところ無料です。
NEUTRINO -Neural singing synthesizerNEUTRINOはニューラルネットワークを用いた歌声シンセサイザーです。 歌詞とメロディーを入力するだけで、簡単に歌わせることができ、本人の声質だけではなく癖・歌いまわしなども再現しています。実在の歌手に依頼するような感覚で制作を進めることができます。
但しニューラルネットワーク（NSF）を利用した合成にはGPUが必要で、オフライン版より素直にGoogleアカウント作ってオンライン版（Colaboratoryを利用）を使った方が良いです。
ColaboratoryはJupyter Notebookみたいなやつなので、Pythonを使った事がある人には馴染みやすいと思います。
日本でも有料版が使えるようになったので、無料版では足りない場合もGPU買うよりは安くつくのではないでしょうか。
ゼロからはじめるPython(76) ColabのGPU高性能マシンが月1072円で使い放題になっていた件Googleアカウントさえあれば無料でPythonの機械学習プラットフォームが使えるColaboratory(通称Colab)というサービスがある。既に本連載でも何度か紹介したことがあるが、3月末に待望の有料プランが日本でも始まった。有料プランでも制限はあるもののGPUを備えた超高性能マシンが月1072円で使い放題になったのは大きい。実際に有料版を試してみたので使い勝手を紹介しよう。
（1曲作るくらいなら無料版で十分です。）
MusicXMLを読み込ませて合成
NEUTRINOではMusicXMLから歌唱合成をしますが、MusicXMLそのものの作成機能はNEUTRINOにはありません。
代わりにMuseScoreという楽譜作成ソフトの利用が推奨されています。
フリーソフトでポータブル版もあるので、導入のハードルは低いと思います。
UTAUやボーカロイドで制作していた人は、このソフトで五線譜入力していくよりも、DAW等から出力したMIDIをMuseScoreにインポートするのが作業の流れが変わらず良いと思います。
但し、MuseScoreで自動的にスタッカートとして解釈された部分は、NEUTRINOでは無視されてしまうので、インポート後に音符の長さの修正が必要です。
MuseScoreで1から作るぜって人には以下の記事が参考になるかも。
NEUTRINOで歌わせるために必要なMuseScoreの操作方法｜npaka｜note「NEUTRINO」でAIに歌わせるために必要な「MuseScore」の操作方法をまとめました。Macを使ってます。 1. 音符の追加と削除 音符ツールバーの左端のボタンで、「音符入力モード」を切り替えることができます。「N」キーで切り替えることもできます 楽譜に音符を追加したい場合は、音符入力モードをON（青）にしてで楽譜をクリックします。楽譜の音符を選択したい場合は、モードをOFF（灰
手間取ったところとか
ありがちな躓きポイントは公式でもまとめられています。
MusicXMLについて | NEUTRINOこの記事ではMusicXMLについて説明します。
MuseScoreで歌詞を入れるのが面倒すぎる
この点についてはフォロワーさんが教えてくれたり、ググればすぐ出てきたりしました…。
以下の方法で多少はマシになります。
- 適当なテキストエディタで歌詞を全部ひらがな入力
- 各文字の間に半角スペースまたは改行を入れる
- MuseScoreの歌詞入力欄でペーストすると、スペースまたは改行ごとに入力されていくので連続してペーストしていく
文字の間に半角スペースを入れるのは、正規表現置き換えが出来るエディタ（Visual Studio Codeとか）で以下の様にします。
- 検索文字列
([^ゃゅょ])
必要に応じて「っ」も。- 置換文字列
$1
見えていませんがドルの前に半角スペースがあります。
Colab NotebookでGoogleドライブを再マウントできなくなった
慌てず騒がず
- 「ランタイム」→「ランタイムを再起動」
- 最初から実行し直し
書き出した音声の音が外れている
楽譜が正しくても、譜面によってはピッチが上がりきらなかったり、ポルタメントが強すぎて音がずれて聞こえるところがたまにあります。
時間とマシンの余裕があれば、譜面の方を調整してレンダリングを試行錯誤する手もありますが、私は大人しくMelodyneで修正してしまいました…。
まとめというか感想
- 機械学習しゅごい…歌が上手い…
- 直感的なツールでは無いので音楽よりコンピュータの知識が必要
- 標準装備では細かい調声は出来ない（しなくても良いクオリティではある）ので、調声作業自体が好きな人には物足りないかも
- ツールの名前を一般名詞にするとググラビリティがとても良くない…
今回は時間の都合で使えませんでしたが、フォロワーさん曰く、もう少し細かい事が出来る拡張ツールは開発されているそうです。
NEUTRINO調声支援ツールが公開される。AIシンガーきりたんなどNEUTRINOが出力する歌声のタイミングやピッチがGUIで編集可能に - 週刊ボカフロsigさんがNEUTRINO調声支援ツールを公開しました。 f0とlabを編集できるツールを作りましたmidiの読み込みもできますまだ開発中ですが少しずつアップデートしていく予定です#NEUTRINO#AIきりたんpic.twitter.com/rbA3hht6kl — sig (@m_sig_tw) 2020年3月18日 簡単に使い方を書いておきます①まず環境設定からNEUTRINOフォルダを設
NEUTRINOで作った楽曲はこちらにあります。