論文の概要: LEAP: Liberate Sparse-view 3D Modeling from Camera Poses

• arxiv url: http://arxiv.org/abs/2310.01410v1
• Date: Mon, 2 Oct 2023 17:59:37 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-04 20:08:51.850004
• Title: LEAP: Liberate Sparse-view 3D Modeling from Camera Poses
• Title（参考訳）: LEAP: カメラケースからのスパースビュー3Dモデリング
• Authors: Hanwen Jiang, Zhenyu Jiang, Yue Zhao, Qixing Huang
• Abstract要約: スパースビュー3DモデリングのためのポーズレスアプローチであるLEAPを提案する。 LEAPはポーズベースの操作を捨て、データから幾何学的知識を学ぶ。 LEAPは,最先端のポーズ推定器から予測されたポーズを用いた場合,先行手法よりも優れた性能を示す。
• 参考スコア（独自算出の注目度）: 28.571234973474077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Are camera poses necessary for multi-view 3D modeling? Existing approaches predominantly assume access to accurate camera poses. While this assumption might hold for dense views, accurately estimating camera poses for sparse views is often elusive. Our analysis reveals that noisy estimated poses lead to degraded performance for existing sparse-view 3D modeling methods. To address this issue, we present LEAP, a novel pose-free approach, therefore challenging the prevailing notion that camera poses are indispensable. LEAP discards pose-based operations and learns geometric knowledge from data. LEAP is equipped with a neural volume, which is shared across scenes and is parameterized to encode geometry and texture priors. For each incoming scene, we update the neural volume by aggregating 2D image features in a feature-similarity-driven manner. The updated neural volume is decoded into the radiance field, enabling novel view synthesis from any viewpoint. On both object-centric and scene-level datasets, we show that LEAP significantly outperforms prior methods when they employ predicted poses from state-of-the-art pose estimators. Notably, LEAP performs on par with prior approaches that use ground-truth poses while running $400\times$ faster than PixelNeRF. We show LEAP generalizes to novel object categories and scenes, and learns knowledge closely resembles epipolar geometry. Project page: https://hwjiang1510.github.io/LEAP/
• Abstract（参考訳）: マルチビュー3dモデリングにカメラポーズは必要か? 既存のアプローチは、主に正確なカメラポーズへのアクセスを前提としている。 この仮定は、密集したビューに当てはまるかもしれないが、カメラのポーズを正確に推定することは、しばしば明白である。 解析の結果,既存のスパースビュー3次元モデリング手法ではノイズ推定値が劣化することがわかった。 この問題に対処するため,新しいポーズレスアプローチであるLEAPを提案し,カメラのポーズが不可欠であるという考えに挑戦する。 LEAPはポーズベースの操作を捨て、データから幾何学的知識を学ぶ。 LEAPは、シーン間で共有されるニューラルボリュームを備え、幾何学やテクスチャの先行を符号化するためにパラメータ化されている。 入ってくるシーンごとに、2D画像の特徴を特徴相似的に集約することで、ニューラルボリュームを更新する。 更新されたニューラルボリュームは放射場にデコードされ、任意の視点から新しいビュー合成を可能にする。 オブジェクト中心とシーンレベルの両方のデータセットにおいて、LEAPは最先端のポーズ推定器から予測されたポーズを用いる場合、先行手法よりも顕著に優れていることを示す。 特に、LEAPは、PixelNeRFよりも400\times$高速で実行しながら、グランドトルースポーズを使用する以前のアプローチと同等である。 LEAPは,新しい対象カテゴリやシーンに一般化し,エピポーラ幾何学によく似た知識を学習する。 プロジェクトページ: https://hwjiang1510.github.io/LEAP/

関連論文リスト

• SpaRP: Fast 3D Object Reconstruction and Pose Estimation from Sparse Views [36.02533658048349]
  本研究では,3次元テクスチャメッシュを再構成し,スパースビュー画像に対する相対カメラのポーズを推定する新しい手法であるSpaRPを提案する。 SpaRPは2次元拡散モデルから知識を抽出し、それらを微調整し、スパースビュー間の3次元空間関係を暗黙的に推論する。 テクスチャ化されたメッシュを生成するのに、わずか20秒しかかからず、カメラは入力ビューにポーズする。
  論文  参考訳（メタデータ） (2024-08-19T17:53:10Z)
• COLMAP-Free 3D Gaussian Splatting [88.420322646756]
  本稿では,SfM前処理を使わずに新しいビュー合成を実現する手法を提案する。 入力フレームを逐次的に処理し、一度に1つの入力フレームを取ることで3Dガウスを段階的に成長させる。 提案手法は, 映像合成とカメラポーズ推定において, 大きな動き変化下での従来手法よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2023-12-12T18:39:52Z)
• PF-LRM: Pose-Free Large Reconstruction Model for Joint Pose and Shape Prediction [77.89935657608926]
  画像から3Dオブジェクトを再構成するためのPF-LRM(Pose-Free Large Restruction Model)を提案する。 PF-LRMは1つのA100 GPU上で1.3秒で相対カメラのポーズを同時に推定する。
  論文  参考訳（メタデータ） (2023-11-20T18:57:55Z)
• VirtualPose: Learning Generalizable 3D Human Pose Models from Virtual Data [69.64723752430244]
  このタスクに特有の隠れた「フリーランチ」を活用するための2段階学習フレームワークであるVirtualPoseを紹介する。 1段目は画像を抽象幾何学表現(AGR)に変換し、2段目はそれらを3Dポーズにマッピングする。 1)第1段は多様な2次元データセットでトレーニングし、限られた外観への過度な適合のリスクを軽減し、2)多数の仮想カメラとポーズから合成された多様なAGRでトレーニングすることができる。
  論文  参考訳（メタデータ） (2022-07-20T14:47:28Z)
• Object-Based Visual Camera Pose Estimation From Ellipsoidal Model and 3D-Aware Ellipse Prediction [2.016317500787292]
  本稿では,1枚の画像から初期カメラのポーズ推定を行う手法を提案する。 観察条件に関係なく、物体を確実に検出する深層学習技術を活用する。 実験により,提案手法により計算結果の精度が著しく向上することが確認された。
  論文  参考訳（メタデータ） (2022-03-09T10:00:52Z)
• MetaPose: Fast 3D Pose from Multiple Views without 3D Supervision [72.5863451123577]
  正確な3Dポーズとカメラ推定が可能なニューラルモデルをトレーニングする方法を示す。 本手法は,古典的バンドル調整と弱教師付き単分子3Dベースラインの両方に優れる。
  論文  参考訳（メタデータ） (2021-08-10T18:39:56Z)
• CAMPARI: Camera-Aware Decomposed Generative Neural Radiance Fields [67.76151996543588]
  画像だけでなく,カメラデータ分布を忠実に復元する3次元およびカメラ認識生成モデルについて検討した。 テスト時に、私たちのモデルは、カメラを明示的に制御し、シーンの形状と外観で画像を生成します。
  論文  参考訳（メタデータ） (2021-03-31T17:59:24Z)
• Back to the Feature: Learning Robust Camera Localization from Pixels to Pose [114.89389528198738]
  画像と3Dモデルから正確な6-DoFのポーズを推定するシーンに依存しないニューラルネットワークPixLocを導入する。 このシステムは、粗いポーズ前の大きな環境でもローカライズできるが、スパース特徴マッチングの精度も向上する。
  論文  参考訳（メタデータ） (2021-03-16T17:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。