論文の概要: SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields

• arxiv url: http://arxiv.org/abs/2212.02501v1
• Date: Mon, 5 Dec 2022 18:59:57 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-06 16:04:19.329288
• Title: SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields
• Title（参考訳）: SceneRF: 放射場を用いた自己監督単眼3次元シーン再構成
• Authors: Anh-Quan Cao and Raoul de Charette
• Abstract要約: SceneRFは、ポーズ付き複数の画像シーケンスから学習したニューラルレイディアンスフィールド(NeRF)を用いた、自己教師付き単眼シーン再構築手法である。 後者は1つのフレームに条件付けされているため、複数の合成された新規深度ビューの融合によりシーン再構成が達成される。
• 参考スコア（独自算出の注目度）: 15.587144736312089
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the literature, 3D reconstruction from 2D image has been extensively addressed but often still requires geometrical supervision. In this paper, we propose SceneRF, a self-supervised monocular scene reconstruction method with neural radiance fields (NeRF) learned from multiple image sequences with pose. To improve geometry prediction, we introduce new geometry constraints and a novel probabilistic sampling strategy that efficiently update radiance fields. As the latter are conditioned on a single frame, scene reconstruction is achieved from the fusion of multiple synthesized novel depth views. This is enabled by our spherical-decoder, which allows hallucination beyond the input frame field of view. Thorough experiments demonstrate that we outperform all baselines on all metrics for novel depth views synthesis and scene reconstruction. Our code is available at https://astra-vision.github.io/SceneRF.
• Abstract（参考訳）: 文献では2次元画像からの3次元再構成が広く研究されているが、幾何的監督を必要とすることが多い。 本稿では,ポーズ付き複数画像列から学習したニューラルレイディアンスフィールド(NeRF)を用いた自己教師型モノクロシーン再構築手法であるSceneRFを提案する。 形状予測を改善するために,新しい幾何制約と放射場を効率的に更新する新しい確率的サンプリング戦略を導入する。 後者は1つのフレームに条件付けされているため、複数の合成された新規深度ビューの融合によりシーン再構成を実現する。 これは球面デコーダによって実現され、入力フレームの視野を超えた幻覚が可能である。 詳細な実験により、新しい深度ビューの合成とシーン再構築のために、すべての指標のベースラインを上回ります。 私たちのコードはhttps://astra-vision.github.io/scenerfで利用可能です。

関連論文リスト

• DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
  DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。 本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
  論文  参考訳（メタデータ） (2024-06-17T21:15:13Z)
• Denoising Diffusion via Image-Based Rendering [54.20828696348574]
  実世界の3Dシーンの高速かつ詳細な再構築と生成を可能にする最初の拡散モデルを提案する。 まず、大きな3Dシーンを効率よく正確に表現できる新しいニューラルシーン表現であるIBプレーンを導入する。 第二に,2次元画像のみを用いて,この新たな3次元シーン表現の事前学習を行うためのデノイング拡散フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-05T19:00:45Z)
• ReconFusion: 3D Reconstruction with Diffusion Priors [104.73604630145847]
  本稿では,数枚の写真を用いて現実のシーンを再構成するReconFusionを提案する。 提案手法は,合成および多視点データセットに基づいて訓練された新規なビュー合成に先立って拡散を利用する。 本手法は,観測領域の外観を保ちながら,非拘束領域における現実的な幾何学とテクスチャを合成する。
  論文  参考訳（メタデータ） (2023-12-05T18:59:58Z)
• PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
  PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。 本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。 PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
  論文  参考訳（メタデータ） (2023-10-25T17:59:01Z)
• 3D Reconstruction with Generalizable Neural Fields using Scene Priors [71.37871576124789]
  シーンプライオリティ(NFP)を取り入れたトレーニング一般化型ニューラルフィールドを提案する。 NFPネットワークは、任意のシングルビューRGB-D画像を符号付き距離と放射値にマッピングする。 融合モジュールを外した体積空間内の個々のフレームをマージすることにより、完全なシーンを再構築することができる。
  論文  参考訳（メタデータ） (2023-09-26T18:01:02Z)
• Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis [12.3338393483795]
  SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
  論文  参考訳（メタデータ） (2023-04-11T13:37:17Z)
• Multi-Plane Neural Radiance Fields for Novel View Synthesis [5.478764356647437]
  新しいビュー合成は、新しいカメラの視点からシーンのフレームを描画する、長年にわたる問題である。 本研究では, 単面多面体ニューラル放射場の性能, 一般化, 効率について検討する。 合成結果の改善と視聴範囲の拡大のために,複数のビューを受理する新しい多面体NeRFアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-03T06:32:55Z)
• MVSNeRF: Fast Generalizable Radiance Field Reconstruction from Multi-View Stereo [52.329580781898116]
  MVSNeRFは、ビュー合成のための神経放射場を効率的に再構築できる新しいニューラルレンダリング手法である。 高密度にキャプチャされた画像に対して,シーン毎の最適化を考慮に入れたニューラルネットワークの先行研究とは異なり,高速ネットワーク推論により,近傍の3つの入力ビューのみからラミアンスフィールドを再構成できる汎用ディープニューラルネットワークを提案する。
  論文  参考訳（メタデータ） (2021-03-29T13:15:23Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。