論文の概要: Sky2Ground: A Benchmark for Site Modeling under Varying Altitude
- arxiv url: http://arxiv.org/abs/2603.13740v1
- Date: Sat, 14 Mar 2026 03:59:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.374387
- Title: Sky2Ground: A Benchmark for Site Modeling under Varying Altitude
- Title(参考訳): Sky2Ground:Varying Altitude下でのサイトモデリングのベンチマーク
- Authors: Zengyan Wang, Sirshapan Mitra, Rajat Modi, Grace Lim, Yogesh Rawat,
- Abstract要約: 高度カメラのローカライゼーション、対応学習、再構築のための3ビューデータセットであるSky2Groundを紹介した。
このデータセットは、構造化された合成画像と実際の内蔵画像を組み合わせることで、制御された多視点幾何学と現実的なシーンノイズの両方を提供する。
我々は,MASt3R,DUSt3R,Map Anything,VGGTといったアートポーズ推定モデルの状態をベンチマークし,衛星画像の使用が性能を劣化させることをよく観察する。
本研究では,衛星画像とカリキュラムベースのトレーニング戦略を組み込む際に,視界の整合性を高めるモデルであるSkyNetを提案する。
- 参考スコア(独自算出の注目度): 3.479712135769016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Sky2Ground, a three-view dataset designed for varying altitude camera localization, correspondence learning, and reconstruction. The dataset combines structured synthetic imagery with real, in-the-wild images, providing both controlled multi-view geometry and realistic scene noise. Each of the 51 sites contains thousands of satellite, aerial, and ground images spanning wide altitude ranges and nearly orthogonal viewing angles, enabling rigorous evaluation across global-to-local contexts. We benchmark state of the art pose estimation models, including MASt3R, DUSt3R, Map Anything, and VGGT, and observe that the use of satellite imagery often degrades performance, highlighting the challenges under large altitude variations. We also examine reconstruction methods, highlighting the challenges introduced by sparse geometric overlap, varying perspectives, and the use of real imagery, which often introduces noise and reduces rendering quality. To address some of these challenges, we propose SkyNet, a model which enhances cross-view consistency when incorporating satellite imagery with a curriculum-based training strategy to progressively incorporate more satellite views. SkyNet significantly strengthens multi-view alignment and outperforms existing methods by 9.6% on RRA@5 and 18.1% on RTA@5 in terms of absolute performance. Sky2Ground and SkyNet together establish a comprehensive testbed and baseline for advancing large-scale, multi-altitude 3D perception and generalizable camera localization. Code and models will be released publicly for future research.
- Abstract(参考訳): 高度カメラのローカライゼーション、対応学習、再構築のための3ビューデータセットであるSky2Groundを紹介した。
このデータセットは、構造化された合成画像と実際の内蔵画像を組み合わせることで、制御された多視点幾何学と現実的なシーンノイズの両方を提供する。
51箇所はそれぞれ、広い高度範囲とほぼ直交の視角にまたがる何千もの衛星、空中、地上の画像が含まれており、グローバル・ローカル・コンテクスト間の厳密な評価を可能にしている。
我々は、MASt3R、DUSt3R、Map Anything、VGGTといった最先端のポーズ推定モデルをベンチマークし、衛星画像の使用がしばしば性能を低下させ、大きな高度変動下での課題を浮き彫りにしていることを観察する。
再構成手法についても検討し,疎幾何重なりによる課題,視点の相違,実画像の利用について検討した。
これらの課題のいくつかに対処するために,衛星画像とカリキュラムベースのトレーニング戦略を組み込むことにより,衛星画像の相互整合性を高めるモデルであるSkyNetを提案する。
SkyNetはマルチビューアライメントを大幅に強化し、既存のメソッドをRRA@5で9.6%、RTA@5で18.1%向上させた。
Sky2GroundとSkyNetは、大規模で多高度な3D知覚と一般化可能なカメラローカライゼーションを促進するための総合的なテストベッドとベースラインを確立する。
コードとモデルは、将来の研究のために公開されます。
関連論文リスト
- Satellite to GroundScape -- Large-scale Consistent Ground View Generation from Satellite Views [5.146618378243241]
本研究では,衛星ビューから生成された地上画像間の整合性を確保するために,新しいクロスビュー合成手法を提案する。
本手法は, 固定潜時拡散モデルに基づいて, 衛星誘導復調法と衛星時変復調法という2つの条件付きモジュールを導入する。
大規模な衛星地上データセットを10万対以上の視点で提供し,広範囲な地上環境や映像生成を容易にする。
論文 参考訳(メタデータ) (2025-04-22T10:58:42Z) - AerialMegaDepth: Learning Aerial-Ground Reconstruction and View Synthesis [57.249817395828174]
本研究では,3次元都市規模のメッシュからの擬似合成レンダリングと,実地レベルでのクラウドソース画像を組み合わせたスケーラブルなフレームワークを提案する。
擬似合成データは、幅広い空中視点をシミュレートする一方、実際のクラウドソース画像は、地上レベルの画像の視覚的忠実度を改善するのに役立つ。
このハイブリッドデータセットを使用して、いくつかの最先端のアルゴリズムを微調整し、実世界のゼロショット地上作業において大幅な改善を実現する。
論文 参考訳(メタデータ) (2025-04-17T17:57:05Z) - Horizon-GS: Unified 3D Gaussian Splatting for Large-Scale Aerial-to-Ground Scenes [55.15494682493422]
本稿では,ガウシアン・スプレイティング技術に基づく新しい手法であるHorizon-GSを導入し,航空やストリートビューの統一的な再構築とレンダリングに挑戦する。
提案手法は,これらの視点と新たなトレーニング戦略を組み合わせることによる重要な課題に対処し,視点の相違を克服し,高忠実度シーンを生成する。
論文 参考訳(メタデータ) (2024-12-02T17:42:00Z) - CrossViewDiff: A Cross-View Diffusion Model for Satellite-to-Street View Synthesis [54.852701978617056]
CrossViewDiffは、衛星間ビュー合成のためのクロスビュー拡散モデルである。
ビュー間の大きな相違による課題に対処するため、衛星シーン構造推定とクロスプラットフォームテクスチャマッピングモジュールを設計する。
合成結果のより包括的な評価を実現するため,GPTに基づくスコアリング手法を設計する。
論文 参考訳(メタデータ) (2024-08-27T03:41:44Z) - Reconstructing Satellites in 3D from Amateur Telescope Images [44.20773507571372]
本稿では,ハイブリッド画像前処理パイプラインを統合することで,障害を克服する新しい計算イメージングフレームワークを提案する。
我々は,中国の江東宇宙ステーションと国際宇宙ステーションの合成衛星データセットとオンスキー観測の両方にアプローチを検証した。
我々のフレームワークは地球からの高忠実度3D衛星監視を可能にし、宇宙状況認識のためのコスト効率の良い代替手段を提供する。
論文 参考訳(メタデータ) (2024-04-29T03:13:09Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳(メタデータ) (2024-01-19T16:15:37Z) - SkyScenes: A Synthetic Dataset for Aerial Scene Understanding [13.55299647715449]
無人航空機の視点から高密度に注釈付けされた空中画像のデータセットSkyScenesを提示する。
SkyScenesで訓練されたモデルは、様々な現実世界のシナリオによく当てはまることを示す。
論文 参考訳(メタデータ) (2023-12-11T02:25:30Z) - Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery [80.6282101835164]
オーバヘッド衛星画像から新しいストリートビューパノラマを合成するための新しいアプローチを提案する。
本手法は,googleの全方位ストリートビュー型パノラマを,衛星パッチの中央と同じ地理的位置から取得したかのように生成する。
論文 参考訳(メタデータ) (2021-03-02T10:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。