論文の概要: TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks

• arxiv url: http://arxiv.org/abs/2408.10739v1
• Date: Tue, 20 Aug 2024 11:14:23 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-21 14:04:52.018447
• Title: TrackNeRF: Bundle Adjusting NeRF from Sparse and Noisy Views via Feature Tracks
• Title（参考訳）: TrackNeRF: 特徴トラックによるスパースおよびノイズビューからのNeRF調整
• Authors: Jinjie Mai, Wenxuan Zhu, Sara Rojas, Jesus Zarzar, Abdullah Hamdi, Guocheng Qian, Bing Li, Silvio Giancola, Bernard Ghanem,
• Abstract要約: TrackNeRFは新しいベンチマークをノイズとスパースビューの再構築で設定する。 TrackNeRFは最先端のBARFとSPARFよりも大幅に改善されている。
• 参考スコア（独自算出の注目度）: 57.73997367306271
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural radiance fields (NeRFs) generally require many images with accurate poses for accurate novel view synthesis, which does not reflect realistic setups where views can be sparse and poses can be noisy. Previous solutions for learning NeRFs with sparse views and noisy poses only consider local geometry consistency with pairs of views. Closely following \textit{bundle adjustment} in Structure-from-Motion (SfM), we introduce TrackNeRF for more globally consistent geometry reconstruction and more accurate pose optimization. TrackNeRF introduces \textit{feature tracks}, \ie connected pixel trajectories across \textit{all} visible views that correspond to the \textit{same} 3D points. By enforcing reprojection consistency among feature tracks, TrackNeRF encourages holistic 3D consistency explicitly. Through extensive experiments, TrackNeRF sets a new benchmark in noisy and sparse view reconstruction. In particular, TrackNeRF shows significant improvements over the state-of-the-art BARF and SPARF by $\sim8$ and $\sim1$ in terms of PSNR on DTU under various sparse and noisy view setups. The code is available at \href{https://tracknerf.github.io/}.
• Abstract（参考訳）: ニューラルレイディアンス場(NeRF)は、一般的に、正確な新しいビュー合成のために正確なポーズを持つ多くの画像を必要とする。 スパースビューとノイズポーズでNeRFを学習する以前のソリューションは、一対のビューとの局所的幾何整合性のみを考慮する。 SfM(Structure-from-Motion)における「textit{bundle adjust}」に続いて、より一貫した幾何再構成とより正確なポーズ最適化のためのTrackNeRFを導入する。 TrackNeRFは \textit{feature track}, \ie connected pixel trajectories across \textit{all} visible view that with the \textit{same} 3D points。 TrackNeRFは、機能トラック間の再プロジェクション一貫性を強制することにより、全体的な3D一貫性を明示的に推奨する。 広範な実験を通じて、TrackNeRFは新しいベンチマークをノイズとスパースビューの再構築で設定した。 特に、TrackNeRFは、様々なスパースでノイズの多いビュー設定の下でDTU上のPSNRで$\sim8$と$\sim1$によって、最先端のBARFとSPARFよりも大幅に改善されている。 コードは \href{https://tracknerf.github.io/} で公開されている。

関連論文リスト

• CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory [12.460959809597213]
  ポーズや深度入力を伴わないRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。 実世界の2つのデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。
  論文  参考訳（メタデータ） (2024-04-22T06:07:06Z)
• CombiNeRF: A Combination of Regularization Techniques for Few-Shot Neural Radiance Field View Synthesis [1.374796982212312]
  ニューラル・ラジアンス・フィールド(NeRF)は、十分に多くのビューが利用可能である場合に、新しいビュー合成のための印象的な結果を示す。 本稿では,複数の正規化手法を相乗的に組み合わせたCombiNeRFを提案する。 CombiNeRFは、いくつかの公開データセットにおいて、数ショット設定で最先端の手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-21T13:59:00Z)
• MuRF: Multi-Baseline Radiance Fields [117.55811938988256]
  スパースビュー合成におけるフィードフォワードアプローチであるmulti-Baseline Radiance Fields(MuRF)を提案する。 MuRFは、複数の異なるベースライン設定で最先端のパフォーマンスを達成する。 また、Mip-NeRF 360データセット上でゼロショットの一般化能力を示す。
  論文  参考訳（メタデータ） (2023-12-07T18:59:56Z)
• Re-Nerfing: Improving Novel View Synthesis through Novel View Synthesis [80.3686833921072]
  最近のニューラルレンダリングや、NeRFsやGaussian Splattingのような再構成技術は、目覚ましいビュー合成能力を示している。 画像が少ないほど、これらの手法は、基礎となる3D幾何学を正しく三角測量できないため、失敗し始めます。 本稿では,新規なビュー合成自体を活用するシンプルで汎用的なアドオン手法であるRe-Nerfingを提案する。
  論文  参考訳（メタデータ） (2023-12-04T18:56:08Z)
• Improving Neural Radiance Fields with Depth-aware Optimization for Novel View Synthesis [12.3338393483795]
  SfMNeRFは,新規な視点の合成と3次元シーン形状の再構成を行う手法である。 SfMNeRFは、エピポーラ性、光度整合性、深さの滑らかさ、および3Dシーン構造を明示的に再構成するためにマッチ位置制約を用いる。 2つの公開データセットの実験では、SfMNeRFが最先端のアプローチを上回ることが示されている。
  論文  参考訳（メタデータ） (2023-04-11T13:37:17Z)
• SPARF: Large-Scale Learning of 3D Sparse Radiance Fields from Few Input Images [62.64942825962934]
  本稿では、新しいビュー合成のための大規模ShapeNetベースの合成データセットであるSPARFを提案する。 少数の視点からスパースボクセル放射場を生成することを学習する新しいパイプライン(SuRFNet)を提案する。 SuRFNetは、少数の/1画像からの部分的なSRFと特別なSRF損失を用いて、高品質なボクセル放射場を生成することを学ぶ。
  論文  参考訳（メタデータ） (2022-12-18T14:56:22Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• SinNeRF: Training Neural Radiance Fields on Complex Scenes from a Single Image [85.43496313628943]
  本稿では,一眼レフ(SinNeRF)フレームワークについて述べる。 SinNeRFは半教師付き学習プロセスを構築し,幾何学的擬似ラベルを導入・伝播する。 NeRF合成データセット、Local Light Field Fusionデータセット、DTUデータセットなど、複雑なシーンベンチマークで実験が行われる。
  論文  参考訳（メタデータ） (2022-04-02T19:32:42Z)
• pixelNeRF: Neural Radiance Fields from One or Few Images [20.607712035278315]
  pixelNeRFは、1つまたは少数の入力画像に条件付された連続的なニューラルシーン表現を予測する学習フレームワークである。 本研究では,単一画像の新規ビュー合成タスクのためのShapeNetベンチマーク実験を行った。 いずれの場合も、ピクセルNeRFは、新しいビュー合成とシングルイメージ3D再構成のための最先端のベースラインよりも優れています。
  論文  参考訳（メタデータ） (2020-12-03T18:59:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。