キャラクターの自動生成と写真の3D化を組み合わせた技術がすごい。クリエイティブ産業向けに好みのキャラクターや高精細な3Dモデルが簡単に生成可能

株式会社Preferred Networksは、クリエイティブ産業向けに好みのキャラクターや高精細な3Dモデルが簡単に生成できるデジタル素材生成システムを発表した。

同社はこの技術を使ったミュージックビデオを公開。主人公はキャラクター自動生成システムが生成したキャラクターを元にデザインされ、スマートフォンや背景の文房具などのアイテムは高精細3Dモデル生成機能を用いて実物から生成されたものが元になっている。

画像は株式会社Preferred Networks公式サイト内 Newsページより

この技術の根幹にあるのは、2Dキャラクターを自動で生成するCrypkoと、実在の物品を専用の3Dスキャナで取り込み3Dモデルを作るシステムのふたつだ。

Crypko」は、深層学習の一種であるGAN(Generative Adversarial Network)を利用し、高品質の2Dキャラクターの立ち絵を自動生成することができるシステム。2020年に技術が公開されたときからさらに進歩し、現在は上半身全体を高解像度でデザインできるようになった。

上記のミュージックビデオではここでデザインされたキャラクターを元に3Dモデルを起こしている。なお、Crypkoを使った2Dキャラクターを自動的に3Dにする機能はないようだ。

画像はPFN、深層学習を活用したデジタル素材生成システムをクリエイティブ産業向けに開発より

実物から3Dモデルを作るシステムは、小型のアイテムであれば約6時間の撮影作業で当日中に200点以上の3Dモデル化が可能だという。動画の背景で使われている文房具やスマホはこの技術で3Dモデル化された。
さまざまな材質や大きさの被写体に対応しており、制作したデータは市販の編集ソフトで自由に加工・複製し、映像作品やゲーム等で使用できる。ビデオゲームでも一般的になった「フォトグラメトリ」技術のひとつといえるだろう。

主人公がかき鳴らすギターの3Dモデルは、細部の質を上げるため外部クリエイターと共同作業を行っている。自動生成した3Dモデルをアーティストの手でさらにブラッシュアップできるので、3Dアーティストが作業時間を短縮することもできるだろう。

画像はPFN、深層学習を活用したデジタル素材生成システムをクリエイティブ産業向けに開発より

この技術は、経済産業省の令和元年度補正予算「コンテンツグローバル需要創出促進・基盤整備事業費補助金(J-LOD)」第4弾の採択事業として開発された。“作品制作に関わるプロフェッショナルからアマチュアまで広く利用可能なプラットホームとして提供”するということなので、小規模チームによるゲーム開発などでも利用できそうだ。

「PFN、深層学習を活用したデジタル素材生成システムをクリエイティブ産業向けに開発」はこちら株式会社Preferred Networks公式Twitterはこちら

#キャラクター #モデル #システム #株式会社 #ミュージックビデオ


キャラクターの自動生成と写真の3D化を組み合わせた技術がすごい。クリエイティブ産業向けに好みのキャラクターや高精細な3Dモデルが簡単に生成可能