Fugu-MT 論文翻訳(概要): SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates

論文の概要: SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates

arxiv url: http://arxiv.org/abs/2303.13582v1
Date: Thu, 23 Mar 2023 18:00:07 GMT
ステータス: 処理完了
システム内更新日: 2023-03-27 16:58:27.959581
Title: SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates
Title（参考訳）: SCADE: あいまいさを考慮した宇宙彫刻からのNeRF
Authors: Mikaela Angelina Uy, Ricardo Martin-Brualla, Leonidas Guibas, Ke Li
Abstract要約: SCADEは、スパースで制約のない入力ビューにおけるNeRF再構成品質を改善する新しい技術である。本研究では,各視点に対して,深度推定の連続的マルチモーダル分布を予測する新しい手法を提案する。実験により,本手法はスパースビューから高忠実度ノベルビューの合成を可能にすることが示された。
参考スコア（独自算出の注目度）: 16.344734292989504
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural radiance fields (NeRFs) have enabled high fidelity 3D reconstruction from multiple 2D input views. However, a well-known drawback of NeRFs is the less-than-ideal performance under a small number of views, due to insufficient constraints enforced by volumetric rendering. To address this issue, we introduce SCADE, a novel technique that improves NeRF reconstruction quality on sparse, unconstrained input views for in-the-wild indoor scenes. To constrain NeRF reconstruction, we leverage geometric priors in the form of per-view depth estimates produced with state-of-the-art monocular depth estimation models, which can generalize across scenes. A key challenge is that monocular depth estimation is an ill-posed problem, with inherent ambiguities. To handle this issue, we propose a new method that learns to predict, for each view, a continuous, multimodal distribution of depth estimates using conditional Implicit Maximum Likelihood Estimation (cIMLE). In order to disambiguate exploiting multiple views, we introduce an original space carving loss that guides the NeRF representation to fuse multiple hypothesized depth maps from each view and distill from them a common geometry that is consistent with all views. Experiments show that our approach enables higher fidelity novel view synthesis from sparse views. Our project page can be found at https://scade-spacecarving-nerfs.github.io .
Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は複数の2次元入力ビューから高忠実度3次元再構成を可能にする。しかし、NeRFの欠点としてよく知られたのは、ボリュームレンダリングによって強制される制約が不十分なため、少数のビューにおいて、理想的でないパフォーマンスである。この問題に対処するため,本研究では,室内シーンの非拘束な入力ビューにおいて,NeRF再構成品質を向上させる新しい技術であるSCADEを紹介する。現状のモノクル深度推定モデルで生成したビューごとの深度推定を,シーン全体にわたって一般化可能な幾何的事前推定に利用した。重要な課題は、単眼深度推定は、本質的に曖昧さを持つ不適切な問題である。この問題に対処するために,条件付きインプリシット最大類似度推定(cIMLE)を用いて,各視点に対して,奥行き推定の連続的マルチモーダル分布を予測できる新しい手法を提案する。マルチビューの利用を曖昧にするために,各ビューから複数の仮説の奥行きマップを融合させ,すべてのビューと整合する共通の幾何学を蒸留するために,nrf表現を導いたオリジナルの空間彫刻ロスを導入する。実験により,本手法は疎明な視点からの高忠実度新規ビュー合成を可能にすることを示した。私たちのプロジェクトページはhttps://scade-spacecarving-nerfs.github.io にある。

関連論文リスト

DistillNeRF: Perceiving 3D Scenes from Single-Glance Images by Distilling Neural Fields and Foundation Model Features [65.8738034806085]
DistillNeRFは、自動運転シーンにおける3D環境を理解するための自己教師型学習フレームワークである。本手法は,スパースで単一フレームのマルチビューカメラ入力からリッチなニューラルシーン表現を予測する一般化可能なフィードフォワードモデルである。
論文参考訳（メタデータ） (2024-06-17T21:15:13Z)
SimpleNeRF: Regularizing Sparse Input Neural Radiance Fields with Simpler Solutions [6.9980855647933655]
NeRFによって推定される深さの監視は、より少ないビューで効果的にトレーニングするのに役立つ。我々は、位置エンコーディングとビュー依存放射能の役割を探求することによって、より単純な解決を促進する拡張モデルの設計を行う。上記の正規化を用いて、2つの一般的なデータセット上での最先端のビュー合成性能を実現する。
論文参考訳（メタデータ） (2023-09-07T18:02:57Z)
DaRF: Boosting Radiance Fields from Sparse Inputs with Monocular Depth Adaptation [31.655818586634258]
我々は,少数の実世界の画像を用いて,強靭なNeRF再構成を実現する,D"aRF"と呼ばれる新しいフレームワークを提案する。我々のフレームワークは、視界と視界の両面において、NeRF表現に先立って、MDEネットワークの強力な幾何学を課している。さらに、パッチワイドスケールシフトフィッティングと幾何蒸留により、単分子深さのあいまいさを克服する。
論文参考訳（メタデータ） (2023-05-30T16:46:41Z)
ViP-NeRF: Visibility Prior for Sparse Input Neural Radiance Fields [9.67057831710618]
スパース入力ビューにおけるニューラルレイディアンス場(NeRF)のトレーニングは、過度な適合と不正確なシーン深さ推定につながる。我々は、NeRFを再構成して、与えられた視点から3Dポイントの可視性を直接出力し、可視性制約でトレーニング時間を短縮する。我々のモデルは、学習した先行データを含む、競合するスパース入力のNeRFモデルよりも優れています。
論文参考訳（メタデータ） (2023-04-28T18:26:23Z)
NeRFVS: Neural Radiance Fields for Free View Synthesis via Geometry Scaffolds [60.1382112938132]
室内における自由ナビゲーションを可能にする新しいニューラル放射場(NeRF)法であるNeRFVSを提案する。 NeRFは、トレーニングビューと大きく異なる新規ビューに苦しむ一方で、入力ビューと同様の新規ビューの画像のレンダリングにおいて、印象的なパフォーマンスを実現している。
論文参考訳（メタデータ） (2023-04-13T06:40:08Z)
Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
論文参考訳（メタデータ） (2023-03-26T12:24:31Z)
StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints [23.15914545835831]
StructNeRFは、スパース入力を持つ屋内シーンのための新しいビュー合成のソリューションである。本手法は,外部データに付加的なトレーニングを加えることなく,NeRFの幾何とビュー合成性能を向上する。
論文参考訳（メタデータ） (2022-09-12T14:33:27Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
InfoNeRF: Ray Entropy Minimization for Few-Shot Neural Volume Rendering [55.70938412352287]
ニューラルな暗黙表現に基づく数ショットの新規ビュー合成のための情報理論正規化手法を提案する。提案手法は,不十分な視点で発生する潜在的な復元の不整合を最小化する。複数の標準ベンチマークにおいて,既存のニューラルビュー合成手法と比較して一貫した性能向上を実現している。
論文参考訳（メタデータ） (2021-12-31T11:56:01Z)
Non-line-of-Sight Imaging via Neural Transient Fields [52.91826472034646]
NLOS(non-Line-of-Sight)イメージングのためのニューラルモデリングフレームワークを提案する。最近のNeRF(Neural Radiance Field)アプローチにインスパイアされた我々は、ニューラルネットワーク(NeTF)を表現するために多層パーセプトロン(MLP)を使用する。共焦点と非共焦点の両方に適用可能な球状ボリュームnetf再構成パイプラインを定式化する。
論文参考訳（メタデータ） (2021-01-02T05:20:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。