論文の概要: Learning Visibility Field for Detailed 3D Human Reconstruction and Relighting

• arxiv url: http://arxiv.org/abs/2304.11900v1
• Date: Mon, 24 Apr 2023 08:19:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-25 15:51:17.629323
• Title: Learning Visibility Field for Detailed 3D Human Reconstruction and Relighting
• Title（参考訳）: 詳細な3次元再構成とリライティングのための学習可視界
• Authors: Ruichen Zheng and Peng Li and Haoqian Wang and Tao Yu
• Abstract要約: 本稿では,新たな視界を付加した疎視的3次元人体再構成フレームワークを提案する。 提案手法の有効性を再現精度の観点から検証し, 提案手法の有効性を実証した。
• 参考スコア（独自算出の注目度）: 19.888346124475042
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detailed 3D reconstruction and photo-realistic relighting of digital humans are essential for various applications. To this end, we propose a novel sparse-view 3d human reconstruction framework that closely incorporates the occupancy field and albedo field with an additional visibility field--it not only resolves occlusion ambiguity in multiview feature aggregation, but can also be used to evaluate light attenuation for self-shadowed relighting. To enhance its training viability and efficiency, we discretize visibility onto a fixed set of sample directions and supply it with coupled geometric 3D depth feature and local 2D image feature. We further propose a novel rendering-inspired loss, namely TransferLoss, to implicitly enforce the alignment between visibility and occupancy field, enabling end-to-end joint training. Results and extensive experiments demonstrate the effectiveness of the proposed method, as it surpasses state-of-the-art in terms of reconstruction accuracy while achieving comparably accurate relighting to ray-traced ground truth.
• Abstract（参考訳）: デジタル人間の詳細な3次元再構成とフォトリアリスティックなリライトは様々な用途に不可欠である。 そこで本研究では,多視点特徴集合におけるオクルージョンあいまいさを解消するだけでなく,自己シャドーライトのための光減衰の評価にも利用できる,新たなスパースビュー3次元ヒューマンリコンストラクションフレームワークを提案する。 トレーニングの有効性と効率性を高めるため,固定されたサンプル方向の視認性を識別し,幾何学的3次元深度特徴と局所的な2次元画像特徴とを併用して供給する。 さらに,視認性と占有領域の調整を暗黙的に実施し,エンドツーエンドの合同訓練を可能にする,新しいレンダリングインスパイアされた損失,すなわちtransferlossを提案する。 結果と広範な実験により,レイトレースされた地上真理の再現性が両立し,再現精度の面では最先端を上回っており,提案手法の有効性が実証された。

関連論文リスト

• Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems [15.603880588503355]
  本稿では,3次元空間の暗黙的表現を用いた多フレーム構造光設定のための新しい深度推定手法を提案する。 我々のアプローチでは、自己教師付き微分可能レンダリングによって訓練された、ニューラルサイン付き距離場(SDF)を用いる。
  論文  参考訳（メタデータ） (2024-05-20T13:24:35Z)
• Relightable 3D Gaussians: Realistic Point Cloud Relighting with BRDF Decomposition and Ray Tracing [21.498078188364566]
  フォトリアリスティックなリライトを実現するために,新しい微分可能な点ベースレンダリングフレームワークを提案する。 提案したフレームワークは、メッシュベースのグラフィクスパイプラインを、編集、トレース、リライトを可能にするポイントベースのパイプラインで革新する可能性を示している。
  論文  参考訳（メタデータ） (2023-11-27T18:07:58Z)
• Robust Geometry-Preserving Depth Estimation Using Differentiable Rendering [93.94371335579321]
  我々は、余分なデータやアノテーションを必要とせずに、幾何学保存深度を予測するためにモデルを訓練する学習フレームワークを提案する。 包括的な実験は、我々のフレームワークの優れた一般化能力を強調します。 我々の革新的な損失関数は、ドメイン固有のスケール・アンド・シフト係数を自律的に復元するモデルを可能にします。
  論文  参考訳（メタデータ） (2023-09-18T12:36:39Z)
• Making the Invisible Visible: Toward High-Quality Terahertz Tomographic Imaging via Physics-Guided Restoration [24.045067900801072]
  テラヘルツ(THz)トモグラフィーは、非侵襲的で非破壊的で、非イオン化、物質分類、超高速な物体探査と検査により、近年大きな注目を集めている。 本稿では,THz画像のマルチビューアテンションとマルチスペクトル特徴を融合した多視点サブスペース誘導再生ネットワーク(SARNet)を提案する。
  論文  参考訳（メタデータ） (2023-04-28T15:05:46Z)
• Neural Light Field Estimation for Street Scenes with Differentiable Virtual Object Insertion [129.52943959497665]
  既存の屋外照明推定の作業は通常、シーン照明を環境マップに単純化する。 単一画像から5次元HDR光場を推定するニューラルネットワークを提案する。 自律運転アプリケーションにおけるARオブジェクト挿入の利点を示す。
  論文  参考訳（メタデータ） (2022-08-19T17:59:16Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)
• Unsupervised Discovery and Composition of Object Light Fields [57.198174741004095]
  オブジェクト中心の合成シーン表現において、オブジェクトを光場として表現することを提案する。 オブジェクト中心の光場から大域的な光場を再構成できる新しい光場合成モジュールを提案する。
  論文  参考訳（メタデータ） (2022-05-08T17:50:35Z)
• Photorealistic Monocular 3D Reconstruction of Humans Wearing Clothing [41.34640834483265]
  我々は,単眼のRGB画像のみを付加したフォトリアリスティックな3次元人体再構成のための,新しいエンドツーエンドトレーニング可能なディープニューラルネットワーク手法PHORHUMを提案する。 我々の画素アライメント法は,3次元形状を詳細に推定し,非整形表面色とシーン照明を併用した。
  論文  参考訳（メタデータ） (2022-04-19T14:06:16Z)
• Learning Indoor Inverse Rendering with 3D Spatially-Varying Lighting [149.1673041605155]
  1枚の画像からアルベド, 正常, 深さ, 3次元の空間的変化を共同で推定する問題に対処する。 既存のほとんどの方法は、シーンの3D特性を無視して、画像から画像への変換としてタスクを定式化する。 本研究では3次元空間変動照明を定式化する統合学習ベースの逆フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-13T15:29:03Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。