論文の概要: Unified Panoramic Geometry Estimation via Multi-View Foundation Models
- arxiv url: http://arxiv.org/abs/2605.26368v2
- Date: Wed, 27 May 2026 12:32:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-28 17:38:55.082393
- Title: Unified Panoramic Geometry Estimation via Multi-View Foundation Models
- Title（参考訳）: 多視点基礎モデルによる統一パノラマ幾何推定
- Authors: Vukasin Bozic, Isidora Slavkovic, Dominik Narnhofer, Nando Metzger, Denis Rozumny, Konrad Schindler, Nikolai Kalischek,
- Abstract要約: PaGeR (Panoramic Geometry Reconstruction) は、パノラマ領域に強力な3D基盤モデルを持ち上げるためのフレームワークである。
我々の戦略は、3次元再構成のための事前訓練された変換器から始まり、それを統一された高性能モデルに変換することである。
室内環境と屋外環境の両方で我々の手法を広範囲にテストし、最先端のパフォーマンスを実現することを発見した。
- 参考スコア（独自算出の注目度）: 22.160964470897003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Geometry estimation from perspective images has greatly advanced, maturing to the point where off-the-shelf foundation models are able to reconstruct 3D scene structure not only from multi-view imagery, but even from a single view. A natural extension is 3D reconstruction from panoramas, with the exciting prospect of recovering a full 360-degree scene from a single panoramic image. In this work, we introduce PaGeR (Panoramic Geometry Reconstruction), a framework to lift powerful 3D foundation models designed for perspective imagery to the panorama domain. Our strategy is to start from a pre-trained transformer for 3D reconstruction and turn it into a unified high-performance model that predicts scale-invariant depth, metric depth, surface normals, and sky masks from both perspective and omnidirectional images, in a single forward pass. By keeping architectural changes to a minimum and mixing perspective and panoramic images during training, PaGeR retains the rich 3D prior of the underlying foundation model while learning to also estimate geometrically consistent 360-degree scenes from single panoramas. We extensively test our method in both indoor and outdoor environments and find that it delivers state-of-the-art performance and excellent zero-shot performance across a wide range of scenes. Code, data and models are available $\href{https://github.com/prs-eth/PaGeR}{\text{here}}$.
- Abstract（参考訳）: 視点画像からの幾何学的推定は、既成の基盤モデルが多視点画像からだけでなく、単一の視点からも3Dシーン構造を再構築できるまで、大きく進歩してきた。
自然な拡張はパノラマからの3D再構成であり、単一のパノラマ画像から360度全景を復元するエキサイティングな展望である。
本研究では,パノラマ領域に視線画像用に設計された強力な3次元基礎モデルを持ち上げるためのPaGeR (Panoramic Geometry Reconstruction) を提案する。
我々の戦略は、3次元再構成のための事前訓練されたトランスフォーマーから始まり、1回の前方通過でスケール不変深度、メートル法深度、表面正規度、および全方位画像からスカイマスクを予測する統一された高性能モデルに変換することである。
アーキテクチャ上の変更を最小限に保ち、トレーニング中にパノラマ画像と混合することにより、PaGeRは基礎となる基礎モデルのリッチな3Dを維持しながら、幾何学的に一貫した360度シーンを単一のパノラマから推定する。
室内環境と屋外環境の両方で本手法を広範囲にテストし,最先端性能と優れたゼロショット性能を幅広い場面で実現していることを確認した。
コード、データ、モデルは$\href{https://github.com/prs-eth/PaGeR}{\text{here}}$で利用可能である。
関連論文リスト
- Stepper: Stepwise Immersive Scene Generation with Multiview Panoramas [101.58587238272462]
テキスト駆動型没入型3Dシーン合成のための統合フレームワークであるStepperを提案する。
Stepperは新しい大規模なマルチビューパノラマデータセットでトレーニングされている。
最先端の忠実さと構造的な一貫性を実現し、以前のアプローチよりも優れています。
論文 参考訳（メタデータ） (2026-03-30T20:26:28Z) - PanoVGGT: Feed-Forward 3D Reconstruction from Panoramic Imagery [41.23812453847979]
PanoVGGTは、1つの前方パスで1つまたは複数のパノラマからカメラのポーズ、深度マップ、および3Dポイントの雲を共同で予測する。
さらに,深度と6-DoFのポーズアノテーションを備えた大規模屋外パノラマデータセットであるPanoCityをコントリビュートした。
論文 参考訳（メタデータ） (2026-03-18T10:24:06Z) - OmniX: From Unified Panoramic Generation and Perception to Graphics-Ready 3D Scenes [57.790894531046796]
パノラマをベースとした2Dリフトは、没入型でリアルで多様な3D環境を作り出すための有望な技術として登場した。
本研究では、物理ベースレンダリング(PBR)、リライティング、シミュレーションに適したグラフィックス対応の3Dシーンを生成するために、この手法を推し進める。
我々の重要な洞察は、幾何学、テクスチャ、PBR材料のパノラマ知覚のための2次元生成モデルを再利用することである。
軽量で効率的なクロスモーダルアダプタ構造に基づいて、OmniXは幅広いパノラマ視覚タスクのために2D生成の先行を再利用する。
論文 参考訳（メタデータ） (2025-10-30T17:59:51Z) - WorldMirror: Universal 3D World Reconstruction with Any-Prior Prompting [51.69408870574092]
汎用的な3次元幾何予測タスクのためのオールインワンフィードフォワードモデルであるWorldMirrorを提案する。
我々のフレームワークは、カメラのポーズ、内在性、深度マップなど、様々な幾何学的先入観を柔軟に統合する。
WorldMirrorは、カメラ、ポイントマップ、深さ、表面正規推定から新しいビュー合成に至るまで、さまざまなベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2025-10-12T17:59:09Z) - DreamCube: 3D Panorama Generation via Multi-plane Synchronization [17.690754213112108]
3Dパノラマ合成は、生成した全方位コンテンツの高品質で多様な視覚的外観と幾何学を必要とする、有望だが挑戦的なタスクである。
既存の手法では、事前訓練された2D基礎モデルのリッチ画像の事前利用により、3Dパノラマデータの不足を回避することができる。
本研究では、2次元基礎モデルから演算子に多面同期を適用することにより、その機能を全方位領域にシームレスに拡張できることを実証する。
論文 参考訳（メタデータ） (2025-06-20T17:55:06Z) - Pano2Room: Novel View Synthesis from a Single Indoor Panorama [20.262621556667852]
Pano2Roomは、1枚のパノラマ画像から高品質な3D屋内シーンを自動的に再構築するように設計されている。
鍵となるアイデアは、最初に入力パノラマから予備メッシュを構築し、パノラマRGBDインペイントを使用して反復的にこのメッシュを洗練することである。
精巧なメッシュは3次元ガウス散乱場に変換され、収集された擬似ノベルビューで訓練される。
論文 参考訳（メタデータ） (2024-08-21T08:19:12Z) - Scaled 360 layouts: Revisiting non-central panoramas [5.2178708158547025]
非中央パノラマを用いた室内環境の3次元レイアウト復元手法を提案する。
我々は、新しい幾何学的処理において、非中央プロジェクションシステムの特性を利用して、スケールしたレイアウトを復元する。
論文 参考訳（メタデータ） (2024-02-02T14:55:36Z) - PERF: Panoramic Neural Radiance Field from a Single Panorama [109.31072618058043]
PERFはパノラマ性神経放射場を1つのパノラマから訓練する新しいビュー合成フレームワークである。
本研究では,360度2Dシーンを3Dシーンに持ち上げるために,新しい共同RGBDインペイント法とプログレッシブ・インペイント・アンド・エラスティング法を提案する。
PERFは,パノラマから3D,テキストから3D,3Dシーンのスタイリングなど,現実世界のアプリケーションに広く利用することができる。
論文 参考訳（メタデータ） (2023-10-25T17:59:01Z) - Learning 3D Face Reconstruction with a Pose Guidance Network [49.13404714366933]
ポーズ誘導ネットワーク(PGN)を用いた単眼3次元顔再構成学習のための自己指導型学習手法を提案する。
まず,従来のパラメトリックな3次元顔の学習手法におけるポーズ推定のボトルネックを明らかにし,ポーズパラメータの推定に3次元顔のランドマークを活用することを提案する。
我々のデザインしたPGNでは、完全にラベル付けされた3Dランドマークと無制限にラベル付けされた未使用の顔画像で両方の顔から学習できる。
論文 参考訳（メタデータ） (2020-10-09T06:11:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。