論文の概要: Dense Depth Priors for Neural Radiance Fields from Sparse Input Views

• arxiv url: http://arxiv.org/abs/2112.03288v1
• Date: Mon, 6 Dec 2021 19:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-08 14:23:34.203131
• Title: Dense Depth Priors for Neural Radiance Fields from Sparse Input Views
• Title（参考訳）: スパース入力からのニューラル・ラミアンス・フィールドの深い深さの事前推定
• Authors: Barbara Roessle, Jonathan T. Barron, Ben Mildenhall, Pratul P. Srinivasan, Matthias Nie{\ss}ner
• Abstract要約: そこで本研究では,部屋全体の新しいビューを,桁違いに少ない画像から合成する手法を提案する。 提案手法は,18枚以上の映像をシーン全体に適用して,挑戦的な屋内シーンにおけるデータ効率の高い新規ビュー合成を可能にする。
• 参考スコア（独自算出の注目度）: 37.92064060160628
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance fields (NeRF) encode a scene into a neural representation that enables photo-realistic rendering of novel views. However, a successful reconstruction from RGB images requires a large number of input views taken under static conditions - typically up to a few hundred images for room-size scenes. Our method aims to synthesize novel views of whole rooms from an order of magnitude fewer images. To this end, we leverage dense depth priors in order to constrain the NeRF optimization. First, we take advantage of the sparse depth data that is freely available from the structure from motion (SfM) preprocessing step used to estimate camera poses. Second, we use depth completion to convert these sparse points into dense depth maps and uncertainty estimates, which are used to guide NeRF optimization. Our method enables data-efficient novel view synthesis on challenging indoor scenes, using as few as 18 images for an entire scene.
• Abstract（参考訳）: ニューラルレイディアンスフィールド(NeRF)は、シーンをニューラル表現に符号化し、新しいビューのフォトリアリスティックレンダリングを可能にする。 しかし、RGB画像からの再構成に成功した場合、静的な条件下で撮影された多数の入力ビューが要求される。 本手法は,部屋全体の新しい視点を,桁違いに少ない画像から合成することを目的としている。 この目的のために、我々は、NeRF最適化を制約するために、深い深さの先行値を利用する。 まず、カメラのポーズを推定するために使用される動き(SfM)前処理ステップから自由に利用できるスパース深度データを利用する。 第二に、これらのスパース点を深度マップや不確実性推定に変換して、NeRF最適化の導出に使用する。 提案手法は,18枚以上の映像をシーン全体に適用して,挑戦的な屋内シーンにおけるデータ効率の高い新規ビュー合成を可能にする。

関連論文リスト

• Enhancing Neural Radiance Fields with Depth and Normal Completion Priors from Sparse Views [8.533926962066305]
  Neural Radiance Fields (NeRF)は、ニューラルネットワークモデルを通じてシーンについて学ぶことによって、非常にリアルな画像を生成する。 NeRFは、十分な画像が扱えない場合、しばしば問題に遭遇し、ビューを正確にレンダリングする際の問題を引き起こす。 このフレームワークは、NeRF最適化プロセスに先立って、奥行きと通常の密閉を付加することにより、ビューレンダリングを強化する。
  論文  参考訳（メタデータ） (2024-07-08T07:03:22Z)
• SceneRF: Self-Supervised Monocular 3D Scene Reconstruction with Radiance Fields [19.740018132105757]
  SceneRFは、画像列のみを用いた自己教師付き単眼シーン再構築法である。 推測において、単一の入力画像は、融合した新しい深度ビューを幻覚させ、3Dシーンの再構成を得るのに十分である。
  論文  参考訳（メタデータ） (2022-12-05T18:59:57Z)
• DINER: Depth-aware Image-based NEural Radiance fields [45.63488428831042]
  我々はDINER(Depth-aware Image-based NEural Radiance Field)を提案する。 RGB入力ビューの粗いセットが与えられた場合、シーン表現の再構築を導くために深度と特徴マップを予測する。 特徴融合と効率的なシーンサンプリングに深度情報を組み込む新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-11-29T23:22:44Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
  本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。 これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。 さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
  論文  参考訳（メタデータ） (2022-09-02T17:44:50Z)
• Efficient Neural Radiance Fields with Learned Depth-Guided Sampling [43.79307270743013]
  本稿では,暗示放射場と暗示深度マップを組み合わせたハイブリッドシーン表現を提案する。 実験の結果,提案手法はDTU, Real Forward- facing および NeRF Synthetic データセット上での最先端性能を示すことがわかった。 また,動的人間パフォーマーの視点自由映像をリアルタイムに合成する方法について述べる。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• NeMI: Unifying Neural Radiance Fields with Multiplane Images for Novel View Synthesis [69.19261797333635]
  単一画像からの高密度3次元再構成による新しいビュー合成と深度推定を行う手法を提案する。 我々のNeMIはマルチプレーン画像(MPI)とニューラル放射場(NeRF)を統一する iBims-1およびNYU-v2の深さ推定でも、注釈付き深度監視なしで競争力のある結果が得られます。
  論文  参考訳（メタデータ） (2021-03-27T13:41:00Z)
• D-NeRF: Neural Radiance Fields for Dynamic Scenes [72.75686949608624]
  そこで我々は,D-NeRF(D-NeRF)を動的領域に拡張する手法を提案する。 D-NeRFは、周囲を動き回るカメラから、剛体で非剛体な動きの下で物体のイメージを再構成する。 我々は,剛体・調音・非剛体動作下での物体のシーンに対するアプローチの有効性を実証した。
  論文  参考訳（メタデータ） (2020-11-27T19:06:50Z)
• NeRF: Representing Scenes as Neural Radiance Fields for View Synthesis [78.5281048849446]
  本稿では,複雑なシーンの新たなビューを合成する手法を提案する。 提案アルゴリズムは,完全接続型(非畳み込み型)深層ネットワークを用いたシーンを表現する。 ボリュームレンダリングは自然に微分可能であるため、表現を最適化するのに必要な唯一の入力は、既知のカメラポーズを持つ画像の集合である。
  論文  参考訳（メタデータ） (2020-03-19T17:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。