Fugu-MT 論文翻訳(概要): D\"aRF: Boosting Radiance Fields from Sparse Inputs with Monocular Depth Adaptation

論文の概要: D\"aRF: Boosting Radiance Fields from Sparse Inputs with Monocular Depth Adaptation

arxiv url: http://arxiv.org/abs/2305.19201v1
Date: Tue, 30 May 2023 16:46:41 GMT
ステータス: 処理完了
システム内更新日: 2023-05-31 14:55:09.437417
Title: D\"aRF: Boosting Radiance Fields from Sparse Inputs with Monocular Depth Adaptation
Title（参考訳）: D\"aRF":単眼深度適応によるスパース入力からの放射場向上
Authors: Jiuhn Song, Seonghoon Park, Honggyu An, Seokju Cho, Min-Seop Kwak, Sungjin Cho, Seungryong Kim
Abstract要約: 我々は,少数の実世界の画像を用いて,強靭なNeRF再構成を実現する,D"aRF"と呼ばれる新しいフレームワークを提案する。我々のフレームワークは、視界と視界の両面において、NeRF表現に先立って、MDEネットワークの強力な幾何学を課している。さらに、パッチワイドスケールシフトフィッティングと幾何蒸留により、単分子深さのあいまいさを克服する。
参考スコア（独自算出の注目度）: 24.002797673631857
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Neural radiance fields (NeRF) shows powerful performance in novel view synthesis and 3D geometry reconstruction, but it suffers from critical performance degradation when the number of known viewpoints is drastically reduced. Existing works attempt to overcome this problem by employing external priors, but their success is limited to certain types of scenes or datasets. Employing monocular depth estimation (MDE) networks, pretrained on large-scale RGB-D datasets, with powerful generalization capability would be a key to solving this problem: however, using MDE in conjunction with NeRF comes with a new set of challenges due to various ambiguity problems exhibited by monocular depths. In this light, we propose a novel framework, dubbed D\"aRF, that achieves robust NeRF reconstruction with a handful of real-world images by combining the strengths of NeRF and monocular depth estimation through online complementary training. Our framework imposes the MDE network's powerful geometry prior to NeRF representation at both seen and unseen viewpoints to enhance its robustness and coherence. In addition, we overcome the ambiguity problems of monocular depths through patch-wise scale-shift fitting and geometry distillation, which adapts the MDE network to produce depths aligned accurately with NeRF geometry. Experiments show our framework achieves state-of-the-art results both quantitatively and qualitatively, demonstrating consistent and reliable performance in both indoor and outdoor real-world datasets. Project page is available at https://ku-cvlab.github.io/DaRF/.
Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、新しいビュー合成と3次元幾何再構成において強力な性能を示すが、既知の視点の数が劇的に減少すると、重要な性能劣化に悩まされる。既存の作業は、外部の事前情報を利用することでこの問題を克服しようとするが、その成功は特定のシーンやデータセットに限られる。大規模rgb-dデータセットで事前学習されたmde(monocular depth estimation)ネットワークを使用することで、強力な一般化能力を備えることが、この問題の鍵となる。そこで本研究では,NRFの強みと単眼深度推定を相補的学習により組み合わせることで,一握りの現実世界画像と頑健なNeRF再構成を実現する,D\"aRF"と呼ばれる新しいフレームワークを提案する。提案手法では,nrf表現前のmdeネットワークの強固な幾何構造を,視・視認の両視点で強制し,強固性とコヒーレンス性を高める。さらに,mdeネットワークを応用し,nrf幾何に正確に整列した深さを生成するパッチワイズ・スケールシフト・フィッティングと幾何蒸留により,単眼深度の曖昧性問題を克服した。実験により,本フレームワークは室内および屋外の実世界のデータセットにおいて,定量的かつ質的に,一貫した信頼性のある性能を示す。プロジェクトページはhttps://ku-cvlab.github.io/darf/。

関連論文リスト

FBINeRF: Feature-Based Integrated Recurrent Network for Pinhole and Fisheye Neural Radiance Fields [13.014637091971842]
本稿では,ラジアル歪みに適応した柔軟なバンドル調整法により適応的なGRUを提案する。ピンホールカメラおよび魚眼カメラ用NeRFの高忠実度化について検討した。
論文参考訳（メタデータ） (2024-08-03T23:11:20Z)
SGCNeRF: Few-Shot Neural Rendering via Sparse Geometric Consistency Guidance [106.0057551634008]
FreeNeRFは暗黙の幾何正規化を統合することでこの制限を克服しようとする。新しい研究は、新しい特徴マッチングに基づくスパース幾何正規化モジュールを導入する。モジュールは、高周波キーポイントをピンポイントすることで、詳細の完全性を保護する。
論文参考訳（メタデータ） (2024-04-01T08:37:57Z)
Ternary-Type Opacity and Hybrid Odometry for RGB NeRF-SLAM [58.736472371951955]
表面を交差する光線上の点を3つの領域(前・前・後・後)に分類する3成分式不透明度モデルを導入する。これにより、より正確な深度のレンダリングが可能となり、画像ワープ技術の性能が向上する。 TTとHOの統合アプローチは,合成および実世界のデータセット上で最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2023-12-20T18:03:17Z)
AltNeRF: Learning Robust Neural Radiance Field via Alternating Depth-Pose Optimization [25.44715538841181]
AltNeRFは、既知のカメラのポーズに頼ることなく、回復力のあるNeRF表現を作成するように設計された新しいフレームワークである。我々は、NeRF出力を調和して融合させる交互アルゴリズムを導入する。 SMDEは、コンデンス駆動のメカニズムにより拡張される。深度事前の整合性実験では、高忠実でロバストな新奇なビューを生成する上で、AltNeRFの魅力的な能力を示す。
論文参考訳（メタデータ） (2023-08-19T12:41:35Z)
SCADE: NeRFs from Space Carving with Ambiguity-Aware Depth Estimates [16.344734292989504]
SCADEは、スパースで制約のない入力ビューにおけるNeRF再構成品質を改善する新しい技術である。本研究では,各視点に対して,深度推定の連続的マルチモーダル分布を予測する新しい手法を提案する。実験により,本手法はスパースビューから高忠実度ノベルビューの合成を可能にすることが示された。
論文参考訳（メタデータ） (2023-03-23T18:00:07Z)
NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
論文参考訳（メタデータ） (2023-02-20T17:12:00Z)
GeCoNeRF: Few-shot Neural Radiance Fields via Geometric Consistency [31.22435282922934]
我々は、幾何認識整合性正規化を伴う数ショット設定でニューラルラジアンス場(NeRF)を正則化する新しいフレームワークを提案する。本研究では,最新の数発のNeRFモデルと比較して,競争力のある結果が得られることを示す。
論文参考訳（メタデータ） (2023-01-26T05:14:12Z)
On Robust Cross-View Consistency in Self-Supervised Monocular Depth Estimation [56.97699793236174]
本論文では,2種類の堅牢なクロスビュー整合性について検討する。深度特徴空間と3次元ボクセル空間の時間的コヒーレンスを自己教師付き単眼深度推定に利用した。いくつかのアウトドアベンチマークの実験結果から,本手法は最先端技術より優れていることが示された。
論文参考訳（メタデータ） (2022-09-19T03:46:13Z)
StructNeRF: Neural Radiance Fields for Indoor Scenes with Structural Hints [23.15914545835831]
StructNeRFは、スパース入力を持つ屋内シーンのための新しいビュー合成のソリューションである。本手法は,外部データに付加的なトレーニングを加えることなく,NeRFの幾何とビュー合成性能を向上する。
論文参考訳（メタデータ） (2022-09-12T14:33:27Z)
CLONeR: Camera-Lidar Fusion for Occupancy Grid-aided Neural Representations [77.90883737693325]
本稿では,スパース入力センサビューから観測される大規模な屋外運転シーンをモデル化することで,NeRFを大幅に改善するCLONeRを提案する。これは、NeRFフレームワーク内の占有率と色学習を、それぞれLiDARとカメラデータを用いてトレーニングされた個別のMulti-Layer Perceptron(MLP)に分離することで実現される。さらに,NeRFモデルと平行に3D Occupancy Grid Maps(OGM)を構築する手法を提案し,この占有グリッドを利用して距離空間のレンダリングのために線に沿った点のサンプリングを改善する。
論文参考訳（メタデータ） (2022-09-02T17:44:50Z)
Pseudo RGB-D for Self-Improving Monocular SLAM and Depth Prediction [72.30870535815258]
モノクロ深度予測のためのCNNは、周囲の環境の3Dマップを構築するための2つの大きく不連続なアプローチを表している。本稿では,CNN予測深度を利用してRGB-D特徴量に基づくSLAMを行う,狭義の広義の自己改善フレームワークを提案する。一方、より原理化された幾何学的SLAMの3次元シーン構造とカメラポーズは、新しい広義のベースライン損失により奥行きネットワークに注入される。
論文参考訳（メタデータ） (2020-04-22T16:31:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。