Google の実験プロジェクト Magenta が機械学習を使ったシンセサイザー NSynth Super を公開しました。NSynth（Neural Audio Synthesis） という全く異なる楽器やサウンドを機械学習で特徴を理解させダイナミックに合成する技術、と。KORG WAVESTATION のようなサウンド合成技術のように聞こえるけど、モックの見た目は KORG KAOSSPAD のよう。
異なる楽器のサウンドを合成演算する技術はこれまでもあったと思うのですが、波形合成ベースではなく、波形の特徴量を合成しているイメージですかね。
Google プロジェクト Magenta はこれまでも機械学習を楽曲構成に適用するツール（MIDIデータをリカレントニューラルネットワークで学習し、新しい楽曲を生成する）を公開している。
作曲にしても合成にしても、既存の楽曲や楽器を機械学習させるには、特徴を整理した方が効率が上がる。例えば音程とリズムを分離して学習させるとか、楽曲の構成とキーを分けて学習させるとか。
既存の楽器のフレーズ展開をダイナミックに合成するといえば、2001年に KORG が Stephen Kay と開発した KORG KARMA の KARMA（Kay Algorithmic Realtime Music Architecture）アルゴリズムを思い出すけど、機械学習にかける前にアルゴリズムで整理してやると出力がより音楽的になるのかもしれない。
「楽器を作りたい」というよりマシンラーニングの適用シーンを片っ端から実験している Google ですが、なんなら音声コマンドでダイナミックにサウンドを合成するようなマシンの方が面白かったかも。「オーケーグーグル、シンクラビアとフェアライトEMIとフェラーリの激突音をブレンドしたサウンドを合成して」とか。既存の技術をつなげれば問題なく出来そう。うーん。
コメント