論文の概要: DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering

• arxiv url: http://arxiv.org/abs/2307.10173v1
• Date: Wed, 19 Jul 2023 17:58:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 13:00:53.715567
• Title: DNA-Rendering: A Diverse Neural Actor Repository for High-Fidelity Human-centric Rendering
• Title（参考訳）: DNAレンダリング:高忠実性人間中心レンダリングのための横型ニューラルアクターリポジトリ
• Authors: Wei Cheng, Ruixiang Chen, Wanqi Yin, Siming Fan, Keyu Chen, Honglin He, Huiwen Luo, Zhongang Cai, Jingbo Wang, Yang Gao, Zhengming Yu, Zhengyu Lin, Daxuan Ren, Lei Yang, Ziwei Liu, Chen Change Loy, Chen Qian, Wayne Wu, Dahua Lin, Bo Dai, Kwan-Yee Lin
• Abstract要約: ニューラルアクターレンダリングのための人間のパフォーマンスデータの大規模かつ高忠実なリポジトリであるDNAレンダリングを提案する。 我々のデータセットには、1500人以上の被験者、5000のモーションシーケンス、67.5Mのフレームのデータボリュームが含まれています。 我々は,最大解像度4096 x 3000の60個の同期カメラと15fpsの速度,ステルカメラキャリブレーションステップを含む,データをキャプチャするプロフェッショナルなマルチビューシステムを構築した。
• 参考スコア（独自算出の注目度）: 147.21188284532053
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Realistic human-centric rendering plays a key role in both computer vision and computer graphics. Rapid progress has been made in the algorithm aspect over the years, yet existing human-centric rendering datasets and benchmarks are rather impoverished in terms of diversity, which are crucial for rendering effect. Researchers are usually constrained to explore and evaluate a small set of rendering problems on current datasets, while real-world applications require methods to be robust across different scenarios. In this work, we present DNA-Rendering, a large-scale, high-fidelity repository of human performance data for neural actor rendering. DNA-Rendering presents several alluring attributes. First, our dataset contains over 1500 human subjects, 5000 motion sequences, and 67.5M frames' data volume. Second, we provide rich assets for each subject -- 2D/3D human body keypoints, foreground masks, SMPLX models, cloth/accessory materials, multi-view images, and videos. These assets boost the current method's accuracy on downstream rendering tasks. Third, we construct a professional multi-view system to capture data, which contains 60 synchronous cameras with max 4096 x 3000 resolution, 15 fps speed, and stern camera calibration steps, ensuring high-quality resources for task training and evaluation. Along with the dataset, we provide a large-scale and quantitative benchmark in full-scale, with multiple tasks to evaluate the existing progress of novel view synthesis, novel pose animation synthesis, and novel identity rendering methods. In this manuscript, we describe our DNA-Rendering effort as a revealing of new observations, challenges, and future directions to human-centric rendering. The dataset, code, and benchmarks will be publicly available at https://dna-rendering.github.io/
• Abstract（参考訳）: リアルな人間中心のレンダリングはコンピュータビジョンとコンピュータグラフィックスの両方において重要な役割を果たす。 アルゴリズムの面ではここ数年急速に進歩してきたが、既存の人間中心のレンダリングデータセットとベンチマークは、レンダリング効果に不可欠な多様性の面では貧弱である。 研究者は通常、現在のデータセット上の小さなレンダリング問題の探索と評価を制限されるが、現実世界のアプリケーションは、さまざまなシナリオで堅牢なメソッドを必要とする。 本研究では、ニューラルアクターレンダリングのための人間のパフォーマンスデータの大規模かつ高忠実なリポジトリであるDNAレンダリングを提案する。 dnaレンダリングにはいくつかの属性がある。 まず、私たちのデータセットは1500人以上の被験者、5000のモーションシーケンス、67.5Mのフレームのデータボリュームを含む。 第二に、2D/3Dの人体キーポイント、前景マスク、SMPLXモデル、布/アクセトリー材料、マルチビューイメージ、ビデオなど。 これらの資産は、下流レンダリングタスクにおける現在の手法の精度を高める。 第3に,60個の同期カメラと最大解像度4096 x 3000,15fpsの速度,スタンカメラキャリブレーションステップを備え,タスクトレーニングと評価のための高品質な資源を確保する,プロのマルチビューシステムを構築した。 データセットとともに,新しいビュー合成,新しいポーズアニメーション合成,新しいアイデンティティレンダリング手法の既存の進歩を評価するための複数のタスクを含む,大規模かつ定量的なベンチマークをフルスケールで提供する。 本論文では,DNAレンダリングの取り組みを,人中心レンダリングへの新たな観察,課題,今後の方向性を明らかにするものとして記述する。 データセット、コード、ベンチマークはhttps://dna-rendering.github.io/で公開される。

関連論文リスト

• Implicit-Zoo: A Large-Scale Dataset of Neural Implicit Functions for 2D Images and 3D Scenes [65.22070581594426]
  Implicit-Zoo"は、この分野の研究と開発を容易にするために、数千のGPUトレーニング日を必要とする大規模なデータセットである。 1)トランスモデルのトークン位置を学習すること、(2)NeRFモデルに関して直接3Dカメラが2D画像のポーズを取ること、である。 これにより、画像分類、セマンティックセグメンテーション、および3次元ポーズ回帰の3つのタスクすべてのパフォーマンスが向上し、研究のための新たな道が開けることになる。
  論文  参考訳（メタデータ） (2024-06-25T10:20:44Z)
• MVHumanNet: A Large-scale Dataset of Multi-view Daily Dressing Human Captures [44.172804112944625]
  MVHumanNetは4,500人の身元からなる多視点人間の行動系列からなるデータセットである。 我々のデータセットには、人のマスク、カメラパラメータ、2Dおよび3Dキーポイント、SMPL/SMPLXパラメータ、および対応するテキスト記述を含む、9000の日次服、6万のモーションシーケンス、645万の豊富なアノテーションが含まれています。
  論文  参考訳（メタデータ） (2023-12-05T18:50:12Z)
• Relightable Neural Human Assets from Multi-view Gradient Illuminations [39.70530019396583]
  このUltraStageは、2000以上の高品質な人的資産をマルチビューとマルチイルミネーションの両方でキャプチャした、新しい3D人的データセットである。 ニューラル表現の最近の進歩に触発されて、我々はそれぞれの例を任意の照明条件下で新しいビュー合成を可能にするニューラルヒューマンアセットに解釈する。 我々の神経質な人的資産は極めて高い捕獲性能を達成でき、顔のしわや布の折りなどの細部を表現できることを示す。
  論文  参考訳（メタデータ） (2022-12-15T08:06:03Z)
• Human Performance Modeling and Rendering via Neural Animated Mesh [40.25449482006199]
  従来のメッシュをニューラルレンダリングの新たなクラスでブリッジします。 本稿では,映像から人間の視点をレンダリングする新しい手法を提案する。 我々は、ARヘッドセットにバーチャルヒューマンパフォーマンスを挿入して、さまざまなプラットフォーム上でのアプローチを実証する。
  論文  参考訳（メタデータ） (2022-09-18T03:58:00Z)
• Multiface: A Dataset for Neural Face Rendering [108.44505415073579]
  本研究では,新しいマルチビュー,高解像度のヒューマン・フェイス・データセットであるMultifaceを提案する。 顔のパフォーマンスの高解像度同期映像をキャプチャする大規模なマルチカメラ装置であるMugsyを紹介する。 Multifaceの目的は、学術コミュニティにおける高品質データへのアクセシビリティのギャップを埋め、VRテレプレゼンスの研究を可能にすることである。
  論文  参考訳（メタデータ） (2022-07-22T17:55:39Z)
• HuMMan: Multi-Modal 4D Human Dataset for Versatile Sensing and Modeling [83.57675975092496]
  HuMManは、1000人の被験者、400kシーケンス、60Mフレームからなる大規模なマルチモーダル4Dデータセットである。 1)カラーイメージ、ポイントクラウド、キーポイント、SMPLパラメータ、テクスチャメッシュを含むマルチモーダルデータとアノテーション。
  論文  参考訳（メタデータ） (2022-04-28T17:54:25Z)
• Learning Dynamic View Synthesis With Few RGBD Cameras [60.36357774688289]
  本稿では,RGBDカメラを用いて動的屋内シーンのフリー視点映像を合成することを提案する。 我々は、RGBDフレームから点雲を生成し、それをニューラル機能を介して、自由視点ビデオにレンダリングする。 そこで本研究では,未完成の深度を適応的に塗布して新規なビューを描画する,シンプルなRegional Depth-Inpaintingモジュールを提案する。
  論文  参考訳（メタデータ） (2022-04-22T03:17:35Z)
• Simple and Effective Synthesis of Indoor 3D Scenes [78.95697556834536]
  1枚以上の画像から3D屋内シーンを没入する問題について検討する。 我々の狙いは、新しい視点から高解像度の画像とビデオを作成することである。 本稿では,不完全点雲の再投影から高解像度のRGB-D画像へ直接マップするイメージ・ツー・イメージのGANを提案する。
  論文  参考訳（メタデータ） (2022-04-06T17:54:46Z)
• A Review of Deep Learning Techniques for Markerless Human Motion on Synthetic Datasets [0.0]
  近年,人間の姿勢推定がコンピュータビジョンコミュニティで注目を集めている。 2次元画像のみに基づくアニメーションの骨格を予測できるモデルを提案する。 実装プロセスは、独自のデータセットにDeepLabCutを使用して、多くの必要なステップを実行する。
  論文  参考訳（メタデータ） (2022-01-07T15:42:50Z)
• HUMAN4D: A Human-Centric Multimodal Dataset for Motions and Immersive Media [16.711606354731533]
  HUMAN4Dは大規模かつマルチモーダルな4Dデータセットで、同時にキャプチャされたさまざまな人間の活動を含む。 我々はHUMAN4Dによる最新の人間のポーズ推定と3Dポーズ推定手法を用いてベンチマークを行う。
  論文  参考訳（メタデータ） (2021-10-14T09:03:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。