論文の概要: RenderMe-360: A Large Digital Asset Library and Benchmarks Towards High-fidelity Head Avatars

• arxiv url: http://arxiv.org/abs/2305.13353v1
• Date: Mon, 22 May 2023 17:54:01 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 21:17:20.607078
• Title: RenderMe-360: A Large Digital Asset Library and Benchmarks Towards High-fidelity Head Avatars
• Title（参考訳）: RenderMe-360: 大規模デジタルアセットライブラリと高忠実度ヘッドアバターへのベンチマーク
• Authors: Dongwei Pan, Long Zhuo, Jingtan Piao, Huiwen Luo, Wei Cheng, Yuxin Wang, Siming Fan, Shengqi Liu, Lei Yang, Bo Dai, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Kwan-Yee Lin
• Abstract要約: RenderMe-360は、頭部アバター研究の進歩を促進するための総合的な4次元人間の頭部データセットである。 そこには大量のデータ資産があり、合計で243万あまりのヘッドフレームと、500の異なるアイデンティティから8万件のビデオシーケンスがある。 データセットに基づいて、頭部アバター研究のための総合的なベンチマークを構築し、5つの主要なタスクで16の最先端の手法を実行した。
• 参考スコア（独自算出の注目度）: 157.82758221794452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Synthesizing high-fidelity head avatars is a central problem for computer vision and graphics. While head avatar synthesis algorithms have advanced rapidly, the best ones still face great obstacles in real-world scenarios. One of the vital causes is inadequate datasets -- 1) current public datasets can only support researchers to explore high-fidelity head avatars in one or two task directions; 2) these datasets usually contain digital head assets with limited data volume, and narrow distribution over different attributes. In this paper, we present RenderMe-360, a comprehensive 4D human head dataset to drive advance in head avatar research. It contains massive data assets, with 243+ million complete head frames, and over 800k video sequences from 500 different identities captured by synchronized multi-view cameras at 30 FPS. It is a large-scale digital library for head avatars with three key attributes: 1) High Fidelity: all subjects are captured by 60 synchronized, high-resolution 2K cameras in 360 degrees. 2) High Diversity: The collected subjects vary from different ages, eras, ethnicities, and cultures, providing abundant materials with distinctive styles in appearance and geometry. Moreover, each subject is asked to perform various motions, such as expressions and head rotations, which further extend the richness of assets. 3) Rich Annotations: we provide annotations with different granularities: cameras' parameters, matting, scan, 2D/3D facial landmarks, FLAME fitting, and text description. Based on the dataset, we build a comprehensive benchmark for head avatar research, with 16 state-of-the-art methods performed on five main tasks: novel view synthesis, novel expression synthesis, hair rendering, hair editing, and talking head generation. Our experiments uncover the strengths and weaknesses of current methods. RenderMe-360 opens the door for future exploration in head avatars.
• Abstract（参考訳）: 高忠実度ヘッドアバターの合成はコンピュータビジョンとグラフィックスの中心的な問題である。 頭アバター合成アルゴリズムは急速に進歩してきたが、最良のアルゴリズムはまだ現実世界のシナリオで大きな障害に直面している。 重要な原因の1つは不適切なデータセットです。 1)現在公開されているデータセットは、研究者が高忠実度頭部アバターを1つか2つのタスク方向に探索することのみを支援できる。 2)これらのデータセットは通常,データボリュームが制限されたデジタルヘッドアセットと,属性の限定的な分布を含む。 本稿では,頭部アバター研究の進展を推し進める包括的4次元頭部データセットRenderMe-360を提案する。 そこには巨大なデータ資産があり、総フレーム数は2430万を超え、30FPSの同期マルチビューカメラによってキャプチャされた500種類のアイデンティティから8万本以上のビデオシーケンスがある。 3つの重要な属性を持つ頭部アバター用の大規模デジタルライブラリである。 1)高忠実度:全被写体を60個の同期2kカメラで360度撮影する。 2)多様度:収集対象は年齢、時代、民族、文化によって異なり、外観や幾何学に特徴的な様式の豊富な資料を提供する。 さらに、各被験者は、表現や頭部回転などの様々な動作を依頼され、資産の豊かさをさらに拡張する。 3)リッチアノテーション:カメラのパラメータ,マット,スキャン,2D/3D顔のランドマーク,FLAMEフィッティング,テキスト記述など,さまざまな粒度のアノテーションを提供する。 このデータセットに基づいて, 頭部アバター研究のための総合ベンチマークを構築し, ノベルビュー合成, 新規表現合成, ヘアレンダリング, ヘア編集, トーキングヘッド生成の5つの主な課題に対して, 最新の16の手法を適用した。 我々の実験は現在の方法の長所と短所を明らかにする。 RenderMe-360は将来のアバター探査の扉を開く。

関連論文リスト

• Head360: Learning a Parametric 3D Full-Head for Free-View Synthesis in 360° [25.86740659962933]
  アーティストが設計した高忠実度頭部のデータセットを構築し,それを用いた新しいパラメトリック頭部モデルを提案する。 本手法は,従来のパラメトリック3Dメッシュモデルと付加された神経テクスチャで表される顔の動き・形状・顔の外観を分離する。 実験により、パラメトリック空間では顔の動きや外観がうまく絡み合っていることが示され、SOTAのレンダリングとアニメーション品質が向上した。
  論文  参考訳（メタデータ） (2024-08-01T05:46:06Z)
• ILSH: The Imperial Light-Stage Head Dataset for Human Head View Synthesis [42.81410101705251]
  Imperial Light-Stage Headデータセットは、人間の頭に対する視覚合成の課題をサポートするために設計された、新しいデータセットである。 本稿では,高解像度(4K)人間の頭部画像の撮影に特化して設計された光ステージのセットアップについて詳述する。 データ収集に加えて、データセットのトレイン、バリデーション、テストセットへの分割にも対処します。
  論文  参考訳（メタデータ） (2023-10-06T00:32:36Z)
• DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering [126.00165445599764]
  ニューラルアクターレンダリングのための人間のパフォーマンスデータの大規模かつ高忠実なリポジトリであるDNAレンダリングを提案する。 我々のデータセットには、1500人以上の被験者、5000のモーションシーケンス、67.5Mのフレームのデータボリュームが含まれています。 我々は,最大解像度4096 x 3000の60個の同期カメラと15fpsの速度,ステルカメラキャリブレーションステップを含む,データをキャプチャするプロフェッショナルなマルチビューシステムを構築した。
  論文  参考訳（メタデータ） (2023-07-19T17:58:03Z)
• HeadSculpt: Crafting 3D Head Avatars with Text [143.14548696613886]
  テキストプロンプトから3Dヘッドアバターを作るために,HeadSculptという多用途パイプラインを導入した。 まずランドマークに基づく制御と学習されたテキスト埋め込みを活用することで,3次元認識による拡散モデルを構築した。 テクスチャメッシュを高分解能な微分可能なレンダリング技術で最適化するための,新しいアイデンティティ対応編集スコア蒸留手法を提案する。
  論文  参考訳（メタデータ） (2023-06-05T16:53:58Z)
• Head3D: Complete 3D Head Generation via Tri-plane Feature Distillation [56.267877301135634]
  現在のフルヘッド生成法では、モデルをトレーニングするために多数の3Dスキャンやマルチビューイメージが必要となる。 マルチビュー画像に制限のある完全3Dヘッドを生成する手法であるHead3Dを提案する。 本モデルは,写真リアルなレンダリングと高品質な幾何表現により,コスト効率と多種多様な完全ヘッド生成を実現する。
  論文  参考訳（メタデータ） (2023-03-28T11:12:26Z)
• MVP-Human Dataset for 3D Human Avatar Reconstruction from Unconstrained Frames [59.37430649840777]
  野生(Arwild)における3次元アバター再構成を行い,まず暗黙のスキンフィールドを多段階的に再構成する。 大規模なデータセットであるMVP-Humanには400人の被験者が参加し、それぞれ異なるポーズで15のスキャンを行います。 全体として、特定のネットワークアーキテクチャと多様なデータにより、トレーニングされたモデルは、制約のないフレームから3Dアバターを再構築することができる。
  論文  参考訳（メタデータ） (2022-04-24T03:57:59Z)
• DRaCoN -- Differentiable Rasterization Conditioned Neural Radiance Fields for Articulated Avatars [92.37436369781692]
  フルボディの体積アバターを学習するためのフレームワークであるDRaCoNを提案する。 2Dと3Dのニューラルレンダリング技術の利点を利用する。 挑戦的なZJU-MoCapとHuman3.6Mデータセットの実験は、DRaCoNが最先端の手法より優れていることを示している。
  論文  参考訳（メタデータ） (2022-03-29T17:59:15Z)
• SHD360: A Benchmark Dataset for Salient Human Detection in 360{\deg} Videos [26.263614207849276]
  実写シーンを収集する360度ビデオSHDデータセットSHD360を提案する。 SHD360には16,238の有能な人間の実例があり、手動で注釈付けされたピクセル単位の地上真実がある。 提案したデータセットとベンチマークは,360度パノラマデータに向けた人間中心の研究の出発点となる可能性がある。
  論文  参考訳（メタデータ） (2021-05-24T23:51:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。