論文の概要: Structure-Aware NeRF without Posed Camera via Epipolar Constraint

• arxiv url: http://arxiv.org/abs/2210.00183v1
• Date: Sat, 1 Oct 2022 03:57:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 15:27:18.803673
• Title: Structure-Aware NeRF without Posed Camera via Epipolar Constraint
• Title（参考訳）: エピポーラ制約によるカメラレス構造認識型NeRF
• Authors: Shu Chen, Yang Zhang, Yaxin Xu, and Beiji Zou
• Abstract要約: リアルなノベルビュー合成のためのニューラル・ラディアンス・フィールド(NeRF)は、カメラのポーズを事前に取得する必要がある。 ポーズ抽出とビュー合成を1つのエンドツーエンドの手順に統合し、それらが相互に利益を得ることができるようにします。
• 参考スコア（独自算出の注目度）: 8.115535686311249
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The neural radiance field (NeRF) for realistic novel view synthesis requires camera poses to be pre-acquired by a structure-from-motion (SfM) approach. This two-stage strategy is not convenient to use and degrades the performance because the error in the pose extraction can propagate to the view synthesis. We integrate the pose extraction and view synthesis into a single end-to-end procedure so they can benefit from each other. For training NeRF models, only RGB images are given, without pre-known camera poses. The camera poses are obtained by the epipolar constraint in which the identical feature in different views has the same world coordinates transformed from the local camera coordinates according to the extracted poses. The epipolar constraint is jointly optimized with pixel color constraint. The poses are represented by a CNN-based deep network, whose input is the related frames. This joint optimization enables NeRF to be aware of the scene's structure that has an improved generalization performance. Extensive experiments on a variety of scenes demonstrate the effectiveness of the proposed approach. Code is available at https://github.com/XTU-PR-LAB/SaNerf.
• Abstract（参考訳）: リアルなノベルビュー合成のためのニューラル・ラディアンス・フィールド(NeRF)は、カメラのポーズをStructure-from-motion (SfM)アプローチで事前に取得する必要がある。 この2段階戦略は、ポーズ抽出における誤差がビュー合成に伝播するため、使用し、性能を低下させる。 ポーズ抽出とビュー合成を単一のエンド・ツー・エンドの手順に統合し,互いの利益を享受できるようにした。 NeRFモデルのトレーニングには、既知のカメラポーズなしでRGB画像のみが提供される。 カメラポーズは、抽出されたポーズに応じて局所カメラ座標から変換された、異なるビューにおける同一の特徴が同一世界座標を有するエピポーラ制約により得られる。 エピポーラ制約はピクセルカラー制約と共同で最適化される。 ポーズはCNNベースのディープネットワークで表現され、入力は関連するフレームである。 このジョイント最適化により、nerfは一般化性能が向上したシーンの構造を認識することができる。 様々な場面で大規模な実験を行い,提案手法の有効性を示した。 コードはhttps://github.com/XTU-PR-LAB/SaNerf.comで入手できる。

関連論文リスト

• CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory [12.460959809597213]
  ポーズや深度入力を伴わないRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。 実世界の2つのデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。
  論文  参考訳（メタデータ） (2024-04-22T06:07:06Z)
• COLMAP-Free 3D Gaussian Splatting [88.420322646756]
  本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。 入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。 提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-12-12T18:39:52Z)
• Pose-Free Generalizable Rendering Transformer [72.47072706742065]
  PF-GRTは、Generalizable Rendering Transformer用のPose-Freeフレームワークである。 PF-GRTは局所相対座標系を用いてパラメータ化される。 データセットのゼロショットレンダリングによる実験では、フォトリアリスティック画像の生成において、優れた品質が得られることが明らかになった。
  論文  参考訳（メタデータ） (2023-10-05T17:24:36Z)
• DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields [75.35416391705503]
  BARFやGARFといった最近の研究は、座標MLPに基づくニューラルレイディアンスフィールド(NeRF)でカメラのポーズを調整することができる。 印象的な結果にもかかわらず、これらの手法は画像特徴抽出を必要とするGeneralizable NeRF(GeNeRF)には適用できない。 本稿では,GeNeRFとカメラポーズを協調的に最適化することの難しさをまず分析し,さらにこれらの問題に対処するためのDBARFを提案する。
  論文  参考訳（メタデータ） (2023-03-25T14:18:30Z)
• SPARF: Neural Radiance Fields from Sparse and Noisy Poses [58.528358231885846]
  SPARF(Sparse Pose Adjusting Radiance Field)を導入し,新規な視点合成の課題に対処する。 提案手法は、NeRFを共同学習し、カメラのポーズを洗練するために、多視点幾何学的制約を利用する。
  論文  参考訳（メタデータ） (2022-11-21T18:57:47Z)
• BARF: Bundle-Adjusting Neural Radiance Fields [104.97810696435766]
  不完全なカメラポーズからNeRFを訓練するためのバンドル調整ニューラルラジアンスフィールド(BARF)を提案します。 BARFは、ニューラルネットワークシーンの表現を効果的に最適化し、大きなカメラのポーズミスを同時に解決する。 これにより、未知のカメラポーズからの映像シーケンスのビュー合成とローカライズが可能になり、視覚ローカライズシステムのための新しい道を開くことができる。
  論文  参考訳（メタデータ） (2021-04-13T17:59:51Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。