楽器の演奏をアニメーション化するのは、音と絵のタイミングをあわせたり、指という非常に小さなパーツの僅かな動きで力の入れ具合を表現したりでものすごく大変。しかし今回とあるベンチャーが開発したAIは、音を聞かせるだけで勝手にアニメーションを生成してくれます。

AIを開発したのはカナダのMassive Technologies社。実物と並べてみても遜色のない動きを、約3秒の遅れで生成することができます。動画はこちらから。
A.I. Generates 3D Virtual Concerts from Sound – YouTube

Massive Technologies社は他にも動画のピアノにピアニストを合成する技術など、ピアノ関連のソフトウェアを色々と開発しています。
自宅のピアノにピアニストを召喚して合成できる不思議なアプリ「AR Pianist」 – DNA