interview hero

R&Dエンジニア

金 賢 Hyon Kim

早稲田大学基幹理工学部応用数理学科卒業、シンガポール国立大学大学院理学研究科数学専攻修了(修士)。

卒業後シンガポールで自動運転自動車の時系列データ解析、センサーフュージョン、センサー外れ値検知、物体検出などのモジュールを開発。日本に戻り、音声認識、異常音検知などのプロジェクトに従事。現在は楽曲の自動作成、音源調整技術を開発中。

北朝鮮国籍を持ち、
シンガポール国立大学で修士を取得。
世界を見据えたエンジニアは、
「音楽×機械学習」の新たな領域に挑む。

「これまでミキシングエンジニアやマスタリングエンジニアと言われる人がしていたミキシングの作業をAIで自動化します」そう話すのはEYS-STYLE(現2nd Community / 以下、EYS)のR&Dエンジニア 金 賢 氏だ。Inspiart事業のまさに中核と言えるAI開発を担当している。パートごとに録音された演奏データを、機械学習でミキシングし、ひとつの楽曲として成立させる。これまでにないプロジェクトである。

Kim Hyon

第1フェーズは「音楽のノイズリダクション」

InspiartにおけるAI開発は大きくノイズリダクションとミキシングの2つのフェーズに分けられる。元の演奏データに含まれる明らかなノイズを取り除いてから、ミキシングするというワケだ。スマートスピーカーなどの普及もあり、音声認識のノイズリダクションは研究・開発が進んでいる一方、“音楽”となるとあまり聞かれない。その背景には、音楽はスタジオ録音など録音環境をよくすることでノイズをなくすのが鉄則だったため、ノイズリダクションのニーズがあまりなかったことが挙げられる。しかし、これからはスマートフォンで録音した演奏のノイズをとりたいという需要はあるはずだ。金 氏は「ノイズリダクションでは、完成した楽曲データにあとからノイズを加えることで、ノイズがあるデータ/ないデータを作成できます。これを教師データとし、深層学習のなかでも『半教師あり学習』と呼ばれる手法で、ノイズ削減のアルゴリズムを組んでいます」と話す。すでに16,000曲に及ぶデータセットが用意でき、早くも実現の目途は見えているという。

Kim Hyon

「いい曲」を作るために、複数の技術をかけ合わせる

一方で、ミキシングに関しては教師データをどう集めるかが問題だった。完成した楽曲データはあっても、ミキシング前の演奏データが入手できない。データさえ一定量確保できれば一気に学習が進むはずだが、ないものはないのだ。しかし、データがないならほかの方法をとればいいだけ、と話す。「各パートの演奏を重ねて完成した楽曲の特徴量からメロディやビート、リズムを検出し、メロディならその音を強く出す、ビートやリズムはコード進行による音の強弱を見つけるなど、取るべきアプローチは見えています」
そもそもメロディやビートの検出と、抑揚の設定などはそれぞれ独立した技術であり、これらを組み合わせることも新たな挑戦だ。「これまで音楽とAIのジャンルで個別に研究されてきた技術や要素をどうかけ合わせたら、人が聴いて一番いいと思える曲にできるかを目指します」と話す金 氏。未知なる領域に挑むことを心から楽しんでいる様子がうかがえた。

Kim Hyon

音楽の「正解」とは何か

音楽のAI化において、もうひとつの課題は「正解がない」ことだ。たとえば音声認識ならば、だれかが発した言葉に対して、アウトプットされたテキストが「正しいかどうか」の精度がはかれるが、音楽には正解がない。金 氏は「ですからまずは評価の定量化からスタートですよね。また、そもそもアウトプットの形がひとつである必要もないと思っています」と語る。学習モデルを少しずつ変えたものを複数用意し、ユーザに提示する形もありうるというのだ。「ジャンルごとにもミキシングは異なり、ジャズはこう、クラシックはこう、などのパターンがあるはずなので、それも探っている最中です。EYSには作曲家など音楽の専門家が多いので、彼らとも連携しながら進めています」まさにEYSだから実現できる強力なタッグと言えよう。

Kim Hyon

インターナショナルな環境があることがInspiartチームの魅力

AIの開発チームは金 氏を筆頭に3名。中国、ベラルーシと国際色豊かなメンバーがそろう。皆、トップクラスの機械学習エンジニアだ。さらにエストニアにあるAI関連の開発を手がける企業との連携も進めている。「エストニアの企業はとにかくスピード感があって、やると決めたらすぐに立ち上がるのがいいですね。優秀なエンジニアも集まってきたので、ここから一気に進められると思いますよ(金 氏)」と頼もしい。
金 氏自身は、朝鮮籍のパスポートを持つ、在日朝鮮人3世である。早稲田大学の応用数理学科で学んだのち、シンガポール国立大学の大学院に進学、機械学習を研究した。卒業後はシンガポールで就職。データサイエンティストとして、オンライン広告の価格最適化ロジック生成に関わったほか、自動運転自動車の位置検出時におけるアウトライヤー(ノイズデータ)を統計的にはじく仕組みの実装も手掛けた。しかし、米朝関係の悪化にともなう経済制裁の余波をうけ、日本への帰国を余儀なくされる。機械学習による音の特徴量抽出で、産業機械の異常音検出を実現する企業でしばらく働いた後、EYSに入社した。さまざまな企業で最先端の技術開発に携わってきた金 氏だが「できればシンガポールで働き続けたかった」と話す。「インターナショナルであることが、自分が過ごしやすい要素だと思っています」文化が違うことが前提にあるシンガポールの、ある種ドライな関係性に、居心地のよさを感じていたという。「ゴールオリエンテッドで目標をベースに話ができるのもいいですよね」それは、EYSのInspiartチームにも通じるものがある。「個人を尊重し、目標に向けた手段は任せてもらえる。個人的にここは働きやすいと感じています」

Kim Hyon

コードは世界共通、日本にこだわる必要はない

さらに金 氏は「次は、博士号取得したい」と話す。音楽AIを研究する大学の研究室を探し、すでに願書は出したという。目指す先は、フィンランド、ロンドン、バルセロナ………とグローバル。「アメリカにもいくつか研究室はあるのですが、今回はヨーロッパを目指そうと考えています。そのうえで、Inspiartのプロジェクトにも関わって、共同研究という形がとれればベストですね」と語った。自然と世界中の大学が選択肢に挙がる、その背景にはシンガポールでの経験が大きいようだ。「シンガポールで学生と社会人を経験したことは自分にとって大きな転機になりました。英語ができれば、日本にこだわる必要はどこにもないですよね。ましてエンジニアならコードさえかければ、どこでも働けます」視線は常に世界へ ――― コードは世界共通だ。

blogArea

金 / 執筆記事

leaders

“Inspiart”プロジェクトを推進する
プロジェクトメンバーのご紹介

cso
CSO

九頭龍 雄一郎

国内大手楽器メーカーからシリコンバレーの音楽系ベンチャーへ、さらに帰国後介護関連デバイスを開発するベンチャーに参加。

2018年EYS-STYLE(現2nd Community)の取締役CSO / Inspiart事業本部長就任。同時期に株式会社クレイテックを起業し、製品企画からハ ードウェア/ソフトウェア開発、生産まで全プロセスを手がけてきた経験を強みに、新規事業開発などのコンサルティングを おこなう。

インタビューを見る
大塚 健司
CTO

大塚 健司

京都大学理学部卒、SIerにおけるシステム開発を経て2013年EYS-STYLE(現2nd Community)入社。

その後、株式会社ぐるなびなどを経て、2016年にEYS-STYLEのCTOに就任。Web開発、Android Phone/Wearの開発、機械学習など幅広い分野の開発経験を持つ。現在は、EYS STYLEのInspiartプロジェクトにおいてブロックチェーン開発及びEYS-STYLEモンゴルオフィスのマネジメント業務を担当する。

インタビューを見る
金 賢
R&D エンジニア

金 賢

早稲田大学基幹理工学部応用数理学科卒業、シンガポール国立大学大学院理学研究科数学専攻修了(修士)。

卒業後シンガポールで自動運転自動車の時系列データ解析、センサーフュージョン、センサー外れ値検知、物体検出などのモジュールを開発。日本に戻り、音声認識、異常音検知などのプロジェクトに従事。現在は楽曲の自動作成、音源調整技術を開発中。

インタビューを見る
張 森
R&D エンジニア

張 森

千葉大学の飛び入学制度を利用し、17歳で入学。
3年で大学を卒業し、総合研究大学院大学で素粒子物理学の博士号を取得。

岡山光科学研究所に勤務し、研究を進める傍らITに興味を持つ。SIer、機械学習関連のベンチャー企業を経て、現在はEYS-STYLE(現2nd Community) Inspiartプロジェクトにて、機械学習による楽曲ミキシングなどの研究開発を担当する。

インタビューを見る
ハダノウィチ アレクセイ
R&D エンジニア

ハダノウィチ アレクセイ

ベラルーシ出身。東京都市大学卒業後、同大学院にてEnd-to-End音声認識システムの研究・開発を行う。

同時にEYS-STYLE(現2nd Community) Inspiartプロジェクトに参画し、機械学習によるノイズ除去に関する開発を担当。

Convolutional LSTMなどのニューラルネットワークアーキテクチャの研究を専門とする。

インタビューを見る
野田 誠人
CTO

野田 誠人

大阪大学理学部数学科中退。SES企業に入社し、C#を中心としたシステム開発を手がける。その後、かつてバンドに参加していた縁からEYS-STYLE(現2nd Community)に転職し、ほぼ唯一のエンジニアとして基幹システムを構築。結婚を機に京都へ生活圏を移し、フリーランスを経て塾・教育業界向けシステムを受託開発する企業に転職。講座や出欠管理から動画配信、LINE連携までさまざまなサービスを開発した。2019年4月、Inspiart事業に参加すべく再びEYSに入社。

インタビューを見る