論文の概要: FBINeRF: Feature-Based Integrated Recurrent Network for Pinhole and Fisheye Neural Radiance Fields

• arxiv url: http://arxiv.org/abs/2408.01878v1
• Date: Sat, 3 Aug 2024 23:11:20 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-06 18:01:12.253348
• Title: FBINeRF: Feature-Based Integrated Recurrent Network for Pinhole and Fisheye Neural Radiance Fields
• Title（参考訳）: FBINeRF:ピンホールと魚眼神経放射場のための特徴ベース統合リカレントネットワーク
• Authors: Yifan Wu, Tianyi Cheng, Peixu Xin, Janusz Konrad,
• Abstract要約: 本稿では,ラジアル歪みに適応した柔軟なバンドル調整法により適応的なGRUを提案する。 ピンホールカメラおよび魚眼カメラ用NeRFの高忠実度化について検討した。
• 参考スコア（独自算出の注目度）: 13.014637091971842
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Previous studies aiming to optimize and bundle-adjust camera poses using Neural Radiance Fields (NeRFs), such as BARF and DBARF, have demonstrated impressive capabilities in 3D scene reconstruction. However, these approaches have been designed for pinhole-camera pose optimization and do not perform well under radial image distortions such as those in fisheye cameras. Furthermore, inaccurate depth initialization in DBARF results in erroneous geometric information affecting the overall convergence and quality of results. In this paper, we propose adaptive GRUs with a flexible bundle-adjustment method adapted to radial distortions and incorporate feature-based recurrent neural networks to generate continuous novel views from fisheye datasets. Other NeRF methods for fisheye images, such as SCNeRF and OMNI-NeRF, use projected ray distance loss for distorted pose refinement, causing severe artifacts, long rendering time, and are difficult to use in downstream tasks, where the dense voxel representation generated by a NeRF method needs to be converted into a mesh representation. We also address depth initialization issues by adding MiDaS-based depth priors for pinhole images. Through extensive experiments, we demonstrate the generalization capacity of FBINeRF and show high-fidelity results for both pinhole-camera and fisheye-camera NeRFs.
• Abstract（参考訳）: BARFやDBARFなどのNeural Radiance Fields(NeRF)を用いたカメラポーズの最適化とバンドル調整を目的としたこれまでの研究は、3Dシーンの再構成において印象的な機能を示した。 しかし、これらの手法はピンホールカメラのポーズ最適化のために設計されており、魚眼カメラのような放射像歪み下ではうまく機能しない。 さらに、DBARFにおける不正確な深さ初期化は、結果の全体的な収束と品質に影響を及ぼす誤った幾何学的情報をもたらす。 本稿では,放射状歪みに適応する柔軟なバンドル調整法を応用した適応型GRUを提案し,魚眼データセットから連続的な新しいビューを生成するために特徴に基づくリカレントニューラルネットワークを組み込んだ。 SCNeRFやOMNI-NeRFのような魚眼画像のための他のNeRF法では、歪んだポーズの精細化のために投影された光線距離損失を使用し、深刻なアーチファクトを引き起こし、長いレンダリング時間を持ち、下流のタスクでは、NeRF法で生成された密度の高いボクセル表現をメッシュ表現に変換する必要がある。 また,ピンホール画像に対するMiDaSに基づく深度初期化問題にも対処する。 広汎な実験により,FBINeRFの一般化能力を実証し,ピンホールカメラと魚眼カメラの双方に対して高忠実度結果を示す。

関連論文リスト

• TD-NeRF: Novel Truncated Depth Prior for Joint Camera Pose and Neural Radiance Field Optimization [19.73020713365866]
  正確なカメラポーズへの依存は、3D再構成とSLAMタスクのためのNeural Radiance Fields(NeRF)モデルを広く展開する上で大きな障壁となる。 既存の手法では、カメラのポーズを協調的に最適化するために単眼深度前処理を導入し、NeRFは奥行き前処理を完全に活用できず、固有のノイズの影響を無視する。 本稿では,未知のカメラポーズからNeRFをトレーニングするための新しいアプローチであるTrncated Depth NeRF(TD-NeRF)を提案する。
  論文  参考訳（メタデータ） (2024-05-11T14:57:42Z)
• CF-NeRF: Camera Parameter Free Neural Radiance Fields with Incremental Learning [23.080474939586654]
  我々は、新しいアンダーラインカメラパラメーターUnderlinefree Neural Radiance Field (CF-NeRF)を提案する。 CF-NeRFは3次元表現を漸進的に再構成し、動きからインクリメンタル構造にインスパイアされたカメラパラメータを復元する。 その結果、CF-NeRFはカメラ回転に頑健であり、事前情報や制約を伴わずに最先端の結果が得られることを示した。
  論文  参考訳（メタデータ） (2023-12-14T09:09:31Z)
• DaRF: Boosting Radiance Fields from Sparse Inputs with Monocular Depth Adaptation [31.655818586634258]
  我々は,少数の実世界の画像を用いて,強靭なNeRF再構成を実現する,D"aRF"と呼ばれる新しいフレームワークを提案する。 我々のフレームワークは、視界と視界の両面において、NeRF表現に先立って、MDEネットワークの強力な幾何学を課している。 さらに、パッチワイドスケールシフトフィッティングと幾何蒸留により、単分子深さのあいまいさを克服する。
  論文  参考訳（メタデータ） (2023-05-30T16:46:41Z)
• Clean-NeRF: Reformulating NeRF to account for View-Dependent Observations [67.54358911994967]
  本稿では,複雑なシーンにおける3次元再構成と新しいビューレンダリングのためのクリーンネRFを提案する。 clean-NeRFはプラグインとして実装することができ、既存のNeRFベースのメソッドを追加入力なしですぐに利用することができる。
  論文  参考訳（メタデータ） (2023-03-26T12:24:31Z)
• DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields [75.35416391705503]
  BARFやGARFといった最近の研究は、座標MLPに基づくニューラルレイディアンスフィールド(NeRF)でカメラのポーズを調整することができる。 印象的な結果にもかかわらず、これらの手法は画像特徴抽出を必要とするGeneralizable NeRF(GeNeRF)には適用できない。 本稿では,GeNeRFとカメラポーズを協調的に最適化することの難しさをまず分析し,さらにこれらの問題に対処するためのDBARFを提案する。
  論文  参考訳（メタデータ） (2023-03-25T14:18:30Z)
• NerfDiff: Single-image View Synthesis with NeRF-guided Distillation from 3D-aware Diffusion [107.67277084886929]
  単一の画像からの新しいビュー合成には、オブジェクトやシーンの隠蔽領域を推論すると同時に、入力とのセマンティックおよび物理的整合性を同時に維持する必要がある。 そこで我々は,NerfDiffを提案する。NerfDiffは3D対応条件拡散モデル(CDM)の知識を,テスト時に仮想ビューの集合を合成・精製することで,NeRFに抽出することでこの問題に対処する。 さらに,CDMサンプルから3次元一貫した仮想ビューを同時に生成し,改良された仮想ビューに基づいてNeRFを微調整する新しいNeRF誘導蒸留アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-02-20T17:12:00Z)
• Aug-NeRF: Training Stronger Neural Radiance Fields with Triple-Level Physically-Grounded Augmentations [111.08941206369508]
  我々は,NeRFトレーニングの正規化にロバストなデータ拡張のパワーを初めてもたらすAugmented NeRF(Aug-NeRF)を提案する。 提案手法では,最悪の場合の摂動を3段階のNeRFパイプラインにシームレスにブレンドする。 Aug-NeRFは、新しいビュー合成と基礎となる幾何再構成の両方において、NeRF性能を効果的に向上させる。
  論文  参考訳（メタデータ） (2022-07-04T02:27:07Z)
• Depth-supervised NeRF: Fewer Views and Faster Training for Free [69.34556647743285]
  DS-NeRF (Depth-supervised Neural Radiance Fields) は、容易に利用できる深度監視を利用する学習分野の損失である。 我々の損失は他のNeRF法と互換性があることを示し、深度は安価で消化し易い監視信号であることを示した。
  論文  参考訳（メタデータ） (2021-07-06T17:58:35Z)
• iNeRF: Inverting Neural Radiance Fields for Pose Estimation [68.91325516370013]
  Neural RadianceField(NeRF)を「反転」してメッシュフリーポーズ推定を行うフレームワークiNeRFを紹介します。 NeRFはビュー合成のタスクに極めて有効であることが示されている。
  論文  参考訳（メタデータ） (2020-12-10T18:36:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。