論文の概要: DeLiRa: Self-Supervised Depth, Light, and Radiance Fields

• arxiv url: http://arxiv.org/abs/2304.02797v1
• Date: Thu, 6 Apr 2023 00:16:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-07 15:41:55.376106
• Title: DeLiRa: Self-Supervised Depth, Light, and Radiance Fields
• Title（参考訳）: delira: 自己教師付き深さ、光、放射場
• Authors: Vitor Guizilini, Igor Vasiljevic, Jiading Fang, Rares Ambrus, Sergey Zakharov, Vincent Sitzmann, Adrien Gaidon
• Abstract要約: 可変ボリュームレンダリングは、3次元再構成と新しいビュー合成のための強力なパラダイムである。 標準的なボリュームレンダリングアプローチは、視点の多様性が限られている場合、縮退したジオメトリーと競合する。 本研究では,多視点測光目標を体積レンダリングのための幾何正則化器として用いることを提案する。
• 参考スコア（独自算出の注目度）: 32.350984950639656
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Differentiable volumetric rendering is a powerful paradigm for 3D reconstruction and novel view synthesis. However, standard volume rendering approaches struggle with degenerate geometries in the case of limited viewpoint diversity, a common scenario in robotics applications. In this work, we propose to use the multi-view photometric objective from the self-supervised depth estimation literature as a geometric regularizer for volumetric rendering, significantly improving novel view synthesis without requiring additional information. Building upon this insight, we explore the explicit modeling of scene geometry using a generalist Transformer, jointly learning a radiance field as well as depth and light fields with a set of shared latent codes. We demonstrate that sharing geometric information across tasks is mutually beneficial, leading to improvements over single-task learning without an increase in network complexity. Our DeLiRa architecture achieves state-of-the-art results on the ScanNet benchmark, enabling high quality volumetric rendering as well as real-time novel view and depth synthesis in the limited viewpoint diversity setting.
• Abstract（参考訳）: 可変ボリュームレンダリングは、3次元再構成と新しいビュー合成のための強力なパラダイムである。 しかしながら、標準的なボリュームレンダリングアプローチは、ロボット工学の一般的なシナリオである視点の多様性が限定された場合、縮退したジオメトリと競合する。 本研究では,自動教師付深度推定文献から得られた多視点測光目標をボリュームレンダリングのための幾何正則化器として利用し,追加情報を必要としない新規なビュー合成を著しく改善することを提案する。 この知見に基づいて,一般変換器を用いたシーン幾何の明示的なモデリングを探索し,輝度場と深さ場,光場を共用した潜在符号のセットで学習する。 タスク間で幾何情報を共有することは相互に有益であり,ネットワークの複雑さを増すことなく,シングルタスク学習よりも改善できることを示す。 我々のDeLiRaアーキテクチャは、ScanNetベンチマークの最先端結果を実現し、高品質なボリュームレンダリングと、限られた視点の多様性設定におけるリアルタイムな新規ビューと深度合成を可能にする。

関連論文リスト

• Incorporating dense metric depth into neural 3D representations for view synthesis and relighting [25.028859317188395]
  ロボット応用では、密度の深い距離の深さをステレオで直接測定することができ、照明を制御できる。 本研究は,ニューラルネットワークによる3次元表現のトレーニングに高密度な距離深度を組み込む手法を実証する。 また、パイプラインに必要なデータを取得し、リライティングとビュー合成の結果を示すために開発されたマルチフラッシュステレオカメラシステムについても論じる。
  論文  参考訳（メタデータ） (2024-09-04T20:21:13Z)
• GS-Phong: Meta-Learned 3D Gaussians for Relightable Novel View Synthesis [63.5925701087252]
  本稿では,3次元ガウス点の集合を用いて,点光で照らされたシーンを表現する手法を提案する。 Blinn-Phongモデルにインスパイアされた我々の手法は、シーンを周囲、拡散、および特異成分に分解する。 照明条件に依存しない幾何学的情報の分解を容易にするため,新しい二段階最適化に基づくメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-31T13:48:54Z)
• Depth Reconstruction with Neural Signed Distance Fields in Structured Light Systems [15.603880588503355]
  本稿では,3次元空間の暗黙的表現を用いた多フレーム構造光設定のための新しい深度推定手法を提案する。 我々のアプローチでは、自己教師付き微分可能レンダリングによって訓練された、ニューラルサイン付き距離場(SDF)を用いる。
  論文  参考訳（メタデータ） (2024-05-20T13:24:35Z)
• Improved Neural Radiance Fields Using Pseudo-depth and Fusion [18.088617888326123]
  マルチスケール符号化ボリュームの構築とNeRFモデルへのマルチスケール幾何情報の提供を提案する。 シーン内の被写体表面と描画深度をより正確に近づけるために, 同時に深度予測と放射場再構成を行うことを提案する。
  論文  参考訳（メタデータ） (2023-07-27T17:01:01Z)
• Learning to Render Novel Views from Wide-Baseline Stereo Pairs [26.528667940013598]
  本稿では,単一の広線ステレオ画像ペアのみを付与した新しいビュー合成手法を提案する。 スパース観測による新しいビュー合成への既存のアプローチは、誤った3次元形状の復元によって失敗する。 対象光線に対する画像特徴を組み立てるための,効率的な画像空間のエピポーラ線サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2023-04-17T17:40:52Z)
• GM-NeRF: Learning Generalizable Model-based Neural Radiance Fields from Multi-view Images [79.39247661907397]
  本稿では,自由視点画像の合成に有効なフレームワークであるGeneralizable Model-based Neural Radiance Fieldsを提案する。 具体的には、多視点2D画像からの出現コードを幾何学的プロキシに登録するための幾何学誘導型アテンション機構を提案する。
  論文  参考訳（メタデータ） (2023-03-24T03:32:02Z)
• High-fidelity 3D GAN Inversion by Pseudo-multi-view Optimization [51.878078860524795]
  フォトリアリスティック・ノベルビューを合成可能な高忠実度3次元生成対向ネットワーク(GAN)インバージョン・フレームワークを提案する。 提案手法は,1枚の画像から高忠実度3Dレンダリングを可能にし,AI生成3Dコンテンツの様々な応用に期待できる。
  論文  参考訳（メタデータ） (2022-11-28T18:59:52Z)
• Depth Field Networks for Generalizable Multi-view Scene Representation [31.090289865520475]
  我々は、ビューの多様性を高めるために、幾何学的帰納法として、一連の3次元データ拡張手法を導入し、暗黙的に多視点一貫したシーン表現を学習する。 我々のDeFiNe(Depth Field Networks)は、明示的な幾何学的制約を伴わずにステレオとビデオの深さを推定し、広いマージンでゼロショット領域の一般化を改善する。
  論文  参考訳（メタデータ） (2022-07-28T17:59:31Z)
• Object Scene Representation Transformer [56.40544849442227]
  オブジェクトシーン表現変換(OSRT: Object Scene Representation Transformer)は、新しいビュー合成を通じて、個々のオブジェクト表現が自然に現れる3D中心のモデルである。 OSRTは、既存のメソッドよりもオブジェクトとバックグラウンドの多様性が大きい、はるかに複雑なシーンにスケールする。 光電場パラメトリゼーションと新しいSlot Mixerデコーダのおかげで、合成レンダリングでは桁違いに高速である。
  論文  参考訳（メタデータ） (2022-06-14T15:40:47Z)
• Extracting Triangular 3D Models, Materials, and Lighting From Images [59.33666140713829]
  多視点画像観測による材料と照明の協調最適化手法を提案する。 従来のグラフィックスエンジンにデプロイ可能な,空間的に変化する材料と環境を備えたメッシュを活用します。
  論文  参考訳（メタデータ） (2021-11-24T13:58:20Z)
• Deep 3D Capture: Geometry and Reflectance from Sparse Multi-View Images [59.906948203578544]
  本稿では,任意の物体の高品質な形状と複雑な空間変化を持つBRDFを再構成する学習に基づく新しい手法を提案する。 まず、深層多視点ステレオネットワークを用いて、ビューごとの深度マップを推定する。 これらの深度マップは、異なるビューを粗く整列するために使用される。 本稿では,新しい多視点反射率推定ネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-03-27T21:28:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。