論文の概要: PanoSplatt3R: Leveraging Perspective Pretraining for Generalized Unposed Wide-Baseline Panorama Reconstruction

• arxiv url: http://arxiv.org/abs/2507.21960v1
• Date: Tue, 29 Jul 2025 16:10:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-30 17:08:56.654867
• Title: PanoSplatt3R: Leveraging Perspective Pretraining for Generalized Unposed Wide-Baseline Panorama Reconstruction
• Title（参考訳）: PanoSplatt3R: 広義広義パノラマ再建術の適応
• Authors: Jiahui Ren, Mochu Xiang, Jiajun Zhu, Yuchao Dai,
• Abstract要約: 広義の広義パノラマ再建法であるPanoSplatt3Rを提案する。 本研究は, パノラマ領域からパノラマ領域への基礎的再構築前訓練を拡張し, 適応することにより, 強力な一般化機能を実現する。 総合的な実験により、パノSplatt3Rはポーズ情報がない場合でも、現在の最先端の手法よりも著しく優れていることが示された。
• 参考スコア（独自算出の注目度）: 30.69922841155978
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Wide-baseline panorama reconstruction has emerged as a highly effective and pivotal approach for not only achieving geometric reconstruction of the surrounding 3D environment, but also generating highly realistic and immersive novel views. Although existing methods have shown remarkable performance across various benchmarks, they are predominantly reliant on accurate pose information. In real-world scenarios, the acquisition of precise pose often requires additional computational resources and is highly susceptible to noise. These limitations hinder the broad applicability and practicality of such methods. In this paper, we present PanoSplatt3R, an unposed wide-baseline panorama reconstruction method. We extend and adapt the foundational reconstruction pretrainings from the perspective domain to the panoramic domain, thus enabling powerful generalization capabilities. To ensure a seamless and efficient domain-transfer process, we introduce RoPE rolling that spans rolled coordinates in rotary positional embeddings across different attention heads, maintaining a minimal modification to RoPE's mechanism, while modeling the horizontal periodicity of panorama images. Comprehensive experiments demonstrate that PanoSplatt3R, even in the absence of pose information, significantly outperforms current state-of-the-art methods. This superiority is evident in both the generation of high-quality novel views and the accuracy of depth estimation, thereby showcasing its great potential for practical applications. Project page: https://npucvr.github.io/PanoSplatt3R
• Abstract（参考訳）: 広義のパノラマの復元は周囲の3次元環境を幾何学的に再現するだけでなく、非常に現実的で没入的な新しい視点を生み出すために、非常に効果的で重要なアプローチとして現れてきた。 既存の手法は様々なベンチマークで顕著な性能を示しているが、それらは主に正確なポーズ情報に依存している。 現実のシナリオでは、正確なポーズの取得は、しばしば追加の計算資源を必要とし、ノイズに非常に敏感である。 これらの制限は、そのような手法の幅広い適用性と実用性を妨げている。 本稿では,広義のパノラマ再建法であるPanoSplatt3Rを提案する。 本研究は, パノラマ領域からパノラマ領域への基礎的再構築前訓練を拡張し, 適応することにより, 強力な一般化機能を実現する。 シームレスで効率的なドメイン・トランスファー・プロセスを実現するため、異なる注目ヘッドにまたがる回転位置埋め込みにロール座標を分散し、パノラマ画像の水平周期性をモデル化しながら、RoPEの機構を最小限に変更するRoPEローリングを導入する。 総合的な実験により、パノSplatt3Rはポーズ情報がない場合でも、現在の最先端の手法よりも著しく優れていることが示された。 この優位性は、高品質なノベルビューの生成と深さ推定の精度の両方において明らかであり、実用的な応用の可能性を示している。 プロジェクトページ: https://npucvr.github.io/PanoSplatt3R

関連論文リスト

• Review of Feed-forward 3D Reconstruction: From DUSt3R to VGGT [10.984522161856955]
  3D再構成は、拡張現実やバーチャルリアリティー、自動運転、ロボット工学など、多くの応用の基盤となる技術だ。 ディープラーニングは、3D再構築におけるパラダイムシフトを触媒している。 新しいモデルでは、統合されたディープネットワークを使用して、カメラのポーズと密集した幾何学を、1つの前方通過における非拘束画像から直接推測する。
  論文  参考訳（メタデータ） (2025-07-11T09:41:54Z)
• Feature Alignment with Equivariant Convolutions for Burst Image Super-Resolution [52.55429225242423]
  本稿では,同変畳み込みに基づくアライメントを特徴とするBurst Image Super-Resolution (BISR) のための新しいフレームワークを提案する。 これにより、アライメント変換は画像領域の明示的な監督を通じて学習でき、特徴領域に容易に適用できる。 BISRベンチマークの実験は、定量的メトリクスと視覚的品質の両方において、我々のアプローチの優れた性能を示している。
  論文  参考訳（メタデータ） (2025-03-11T11:13:10Z)
• PVP-Recon: Progressive View Planning via Warping Consistency for Sparse-View Surface Reconstruction [49.7580491592023]
  PVP-Recon, 新規かつ効果的なスパースビュー表面再構成法を提案する。 PVP-Reconは3つのビューで初期表面の再構築を開始し、徐々に新しいビューを追加する。 このプログレッシブビュー計画の進捗は、神経SDFベースの再構築モジュールによってインターリーブされる。
  論文  参考訳（メタデータ） (2024-09-09T10:06:34Z)
• Human as Points: Explicit Point-based 3D Human Reconstruction from Single-view RGB Images [71.91424164693422]
  我々はHaPと呼ばれる明示的なポイントベース人間再構築フレームワークを導入する。 提案手法は,3次元幾何学空間における完全明示的な点雲推定,操作,生成,洗練が特徴である。 我々の結果は、完全に明示的で幾何学中心のアルゴリズム設計へのパラダイムのロールバックを示すかもしれない。
  論文  参考訳（メタデータ） (2023-11-06T05:52:29Z)
• Calibrating Panoramic Depth Estimation for Practical Localization and Mapping [20.621442016969976]
  周囲環境の絶対深度値は, 局所化, ナビゲーション, 3次元構造推定など, 様々な補助技術にとって重要な手がかりとなる。 本研究では,パノラマ画像から推定される精度の高い深度が,3次元情報を必要とする幅広い下流タスクに対して,強力で軽量な入力として機能することを提案する。
  論文  参考訳（メタデータ） (2023-08-27T04:50:05Z)
• Neural 3D Reconstruction in the Wild [86.6264706256377]
  そこで我々は,インターネット写真コレクションから効率よく高精度な表面再構成を実現する新しい手法を提案する。 そこで本研究では,これらのシーンにおける再構成性能を評価するための新しいベンチマークとプロトコルを提案する。
  論文  参考訳（メタデータ） (2022-05-25T17:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。