論文の概要: ICON: Incremental CONfidence for Joint Pose and Radiance Field Optimization

• arxiv url: http://arxiv.org/abs/2401.08937v1
• Date: Wed, 17 Jan 2024 03:18:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-18 17:13:12.598327
• Title: ICON: Incremental CONfidence for Joint Pose and Radiance Field Optimization
• Title（参考訳）: ICON:ジョイントポーズとラジアンスフィールド最適化のためのインクリメンタルコンフィデンス
• Authors: Weiyao Wang, Pierre Gleize, Hao Tang, Xingyu Chen, Kevin J Liang, Matt Feiszli
• Abstract要約: ニューラル・ラジアンス・フィールド(NeRF)は2次元画像のセットを与えられたノベルビュー合成(NVS)において顕著な性能を示す。 NeRFトレーニングは、通常、Structure-from-Motion (SfM)パイプラインによって得られる、入力ビュー毎に正確なカメラポーズを必要とする。 Incremental Confidence (ICON) は2次元ビデオフレームからNeRFをトレーニングするための最適化手法である。
• 参考スコア（独自算出の注目度）: 38.067373759886046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Radiance Fields (NeRF) exhibit remarkable performance for Novel View Synthesis (NVS) given a set of 2D images. However, NeRF training requires accurate camera pose for each input view, typically obtained by Structure-from-Motion (SfM) pipelines. Recent works have attempted to relax this constraint, but they still often rely on decent initial poses which they can refine. Here we aim at removing the requirement for pose initialization. We present Incremental CONfidence (ICON), an optimization procedure for training NeRFs from 2D video frames. ICON only assumes smooth camera motion to estimate initial guess for poses. Further, ICON introduces ``confidence": an adaptive measure of model quality used to dynamically reweight gradients. ICON relies on high-confidence poses to learn NeRF, and high-confidence 3D structure (as encoded by NeRF) to learn poses. We show that ICON, without prior pose initialization, achieves superior performance in both CO3D and HO3D versus methods which use SfM pose.
• Abstract（参考訳）: ニューラル・ラジアンス・フィールド(NeRF)は2次元画像のセットを与えられたノベルビュー合成(NVS)において顕著な性能を示す。 しかし、NeRFトレーニングは、通常、Structure-from-Motion (SfM)パイプラインによって得られる、入力ビュー毎に正確なカメラポーズを必要とする。 最近の作品は、この制約を緩和しようと試みているが、多くの場合、洗練できる適切な初期ポーズに頼っている。 ここでは,ポーズ初期化の要件を取り除こうとする。 Incremental Confidence (ICON) は2次元ビデオフレームからNeRFをトレーニングするための最適化手法である。 ICONはスムーズなカメラの動きしか想定していない。 さらに、ICONでは、"`confidence"というモデル品質の適応的な尺度を導入しています。 ICONは、NeRFを学ぶために高信頼のポーズ、(NeRFによって符号化された)高信頼の3D構造を使ってポーズを学ぶ。 ICON は,初期化前のポーズを伴わず,CO3D と HO3D の両方において,SfM のポーズを用いた手法よりも優れた性能を示すことを示す。

関連論文リスト

• CT-NeRF: Incremental Optimizing Neural Radiance Field and Poses with Complex Trajectory [12.460959809597213]
  ポーズや深度入力を伴わないRGB画像のみを用いた逐次再構成最適化パイプラインであるCT-NeRFを提案する。 実世界の2つのデータセットであるNeRFBusterとFree-DatasetにおけるCT-NeRFの性能を評価する。
  論文  参考訳（メタデータ） (2024-04-22T06:07:06Z)
• COLMAP-Free 3D Gaussian Splatting [88.420322646756]
  本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。 入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。 提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-12-12T18:39:52Z)
• Pose-Free Neural Radiance Fields via Implicit Pose Regularization [117.648238941948]
  IR-NeRFは、暗黙的なポーズ規則化を導入し、ポーズ推定器を非ポーズの実像で精査する革新的なポーズフリー神経放射場である。 特定のシーンの2D画像の収集により、IR-NeRFはシーンの特徴を記憶するシーンコードブックを構築し、シーン固有のポーズ分布を前もって暗黙的にキャプチャする。
  論文  参考訳（メタデータ） (2023-08-29T06:14:06Z)
• DBARF: Deep Bundle-Adjusting Generalizable Neural Radiance Fields [75.35416391705503]
  BARFやGARFといった最近の研究は、座標MLPに基づくニューラルレイディアンスフィールド(NeRF)でカメラのポーズを調整することができる。 印象的な結果にもかかわらず、これらの手法は画像特徴抽出を必要とするGeneralizable NeRF(GeNeRF)には適用できない。 本稿では,GeNeRFとカメラポーズを協調的に最適化することの難しさをまず分析し,さらにこれらの問題に対処するためのDBARFを提案する。
  論文  参考訳（メタデータ） (2023-03-25T14:18:30Z)
• Structure-Aware NeRF without Posed Camera via Epipolar Constraint [8.115535686311249]
  リアルなノベルビュー合成のためのニューラル・ラディアンス・フィールド(NeRF)は、カメラのポーズを事前に取得する必要がある。 ポーズ抽出とビュー合成を1つのエンドツーエンドの手順に統合し、それらが相互に利益を得ることができるようにします。
  論文  参考訳（メタデータ） (2022-10-01T03:57:39Z)
• VMRF: View Matching Neural Radiance Fields [57.93631771072756]
  VMRFは、カメラポーズやカメラポーズの分布に関する事前知識を必要とせずに、効果的なNeRFトレーニングを可能にする、革新的な視野マッチングNeRFである。 VMRFは、不均衡な最適輸送を利用するビューマッチングスキームを導入し、レンダリングされた画像をランダムにカメラのポーズで対応する実画像にマッピングする特徴輸送計画を生成する。 特徴伝達プランをガイダンスとして、レンダリング画像と実画像の相対的なポーズを予測することにより、初期ランダム化されたカメラポーズを補正する新しいポーズキャリブレーション手法を設計する。
  論文  参考訳（メタデータ） (2022-07-06T12:26:40Z)
• GNeRF: GAN-based Neural Radiance Field without Posed Camera [67.80805274569354]
  gnerf(generative adversarial networks (gan) とニューラルネットワークのラジアンスフィールド再構成を組み合わせるためのフレームワーク)を,未知のカメラポーズでさえも複雑なシナリオで導入する。 提案手法は, 従来は非常に難易度の高い, 繰り返しパターンや低テクスチャの場面において, ベースラインを良好に向上させる。
  論文  参考訳（メタデータ） (2021-03-29T13:36:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。