論文の概要: SatDreamer360: Multiview-Consistent Generation of Ground-Level Scenes from Satellite Imagery
- arxiv url: http://arxiv.org/abs/2506.00600v2
- Date: Sat, 11 Oct 2025 03:45:03 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-14 15:48:08.731983
- Title: SatDreamer360: Multiview-Consistent Generation of Ground-Level Scenes from Satellite Imagery
- Title(参考訳): SatDreamer360: 衛星画像からの地上シーンの多視点連続生成
- Authors: Xianghui Ze, Beiyi Zhu, Zhenbo Song, Jianfeng Lu, Yujiao Shi,
- Abstract要約: 衛星画像から幾何的に一貫した地上レベルのパノラマを生成するフレームワークであるSatDreamer360を提案する。
実験により、SatDreamer360は衛星と地上のアライメントとマルチビューの整合性の両方において既存の手法よりも優れていることが示された。
- 参考スコア(独自算出の注目度): 18.071734088436077
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Generating multiview-consistent $360^\circ$ ground-level scenes from satellite imagery is a challenging task with broad applications in simulation, autonomous navigation, and digital twin cities. Existing approaches primarily focus on synthesizing individual ground-view panoramas, often relying on auxiliary inputs like height maps or handcrafted projections, and struggle to produce multiview consistent sequences. In this paper, we propose SatDreamer360, a framework that generates geometrically consistent multi-view ground-level panoramas from a single satellite image, given a predefined pose trajectory. To address the large viewpoint discrepancy between ground and satellite images, we adopt a triplane representation to encode scene features and design a ray-based pixel attention mechanism that retrieves view-specific features from the triplane. To maintain multi-frame consistency, we introduce a panoramic epipolar-constrained attention module that aligns features across frames based on known relative poses. To support the evaluation, we introduce {VIGOR++}, a large-scale dataset for generating multi-view ground panoramas from a satellite image, by augmenting the original VIGOR dataset with more ground-view images and their pose annotations. Experiments show that SatDreamer360 outperforms existing methods in both satellite-to-ground alignment and multiview consistency.
- Abstract(参考訳): 衛星画像から360^\circ$の地上レベルのシーンを生成することは、シミュレーション、自律ナビゲーション、デジタルツインシティーにおける幅広い応用において難しい課題である。
既存のアプローチは主に個々の地上ビューパノラマを合成することに焦点を当てており、しばしば高さマップや手作りプロジェクションのような補助的な入力に依存し、多視点一貫性のあるシーケンスを生成するのに苦労している。
本稿では,SatDreamer360を提案する。SatDreamer360は1つの衛星画像から幾何学的に一貫した多視点地上パノラマを生成するフレームワークで,予め定義されたポーズ軌跡が与えられる。
地上画像と衛星画像の大きな相違に対処するため,三面体表現を用いてシーン特徴を符号化し,三面体からビュー特有の特徴を検索するレイベースの画素アテンション機構を設計する。
複数フレームの一貫性を維持するため,パノラマエピポーラ制約付アテンションモジュールを導入する。
この評価を支援するために,衛星画像から多視点地上パノラマを生成する大規模データセットである {VIGOR++} を導入する。
実験により、SatDreamer360は衛星と地上のアライメントとマルチビューの整合性の両方において既存の手法よりも優れていることが示された。
関連論文リスト
- Satellite to GroundScape -- Large-scale Consistent Ground View Generation from Satellite Views [5.146618378243241]
本研究では,衛星ビューから生成された地上画像間の整合性を確保するために,新しいクロスビュー合成手法を提案する。
本手法は, 固定潜時拡散モデルに基づいて, 衛星誘導復調法と衛星時変復調法という2つの条件付きモジュールを導入する。
大規模な衛星地上データセットを10万対以上の視点で提供し,広範囲な地上環境や映像生成を容易にする。
論文 参考訳(メタデータ) (2025-04-22T10:58:42Z) - Geometry-guided Cross-view Diffusion for One-to-many Cross-view Image Synthesis [48.945931374180795]
本稿では,対応する衛星画像から可視な地上画像を生成することを目的とした,クロスビュー合成のための新しいアプローチを提案する。
これらの課題を衛星間(Sat2Grd)と地上間(Grd2Sat)合成と呼ぶ。
論文 参考訳(メタデータ) (2024-12-04T13:47:51Z) - Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。
具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。
2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
論文 参考訳(メタデータ) (2024-01-19T16:15:37Z) - Satellite Image Based Cross-view Localization for Autonomous Vehicle [59.72040418584396]
本稿では,市販の高精細衛星画像を使用可能な地図として利用することにより,良好な精度でクロスビュー車両のローカライゼーションを実現することができることを示す。
本手法はKITTIとFord Multi-AVの季節データセットを地上ビューとして,Google Mapsを衛星ビューとして検証した。
論文 参考訳(メタデータ) (2022-07-27T13:16:39Z) - 3D Reconstruction through Fusion of Cross-View Images [4.644618399001]
マルチステレオおよびステレオ画像からの3Dリカバリは、コンピュータビジョン、リモートセンシング、ジオマティクスにおける多くの応用に役立つ。
地上画像と衛星画像をフル3Dリカバリするための枠組みを紹介する。
提案手法は,車両に搭載されたGo-proカメラで取得した12の衛星画像と150kのビデオフレームからなるデータセット上で実証する。
論文 参考訳(メタデータ) (2021-06-27T18:31:08Z) - DeepMultiCap: Performance Capture of Multiple Characters Using Sparse
Multiview Cameras [63.186486240525554]
deep multicapは、スパースマルチビューカメラを用いたマルチパーソンパフォーマンスキャプチャのための新しい手法である。
本手法では,事前走査型テンプレートモデルを用いることなく,時間変化した表面の詳細をキャプチャできる。
論文 参考訳(メタデータ) (2021-05-01T14:32:13Z) - Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery [80.6282101835164]
オーバヘッド衛星画像から新しいストリートビューパノラマを合成するための新しいアプローチを提案する。
本手法は,googleの全方位ストリートビュー型パノラマを,衛星パッチの中央と同じ地理的位置から取得したかのように生成する。
論文 参考訳(メタデータ) (2021-03-02T10:27:05Z) - Street-view Panoramic Video Synthesis from a Single Satellite Image [92.26826861266784]
時間的および幾何学的に一貫したストリートビューパノラマビデオの両方を合成する新しい方法を提示する。
既存のクロスビュー合成アプローチは画像に重点を置いているが、そのような場合のビデオ合成はまだ十分な注目を集めていない。
論文 参考訳(メタデータ) (2020-12-11T20:22:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。