論文の概要: SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion
- arxiv url: http://arxiv.org/abs/2503.16825v2
- Date: Thu, 10 Apr 2025 08:47:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-11 15:12:49.396669
- Title: SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion
- Title（参考訳）: SGFormer:3Dセマンティックシーンコンプリートのための衛星グラウンドフュージョン
- Authors: Xiyue Guo, Jiarui Hu, Junjie Hu, Hujun Bao, Guofeng Zhang,
- Abstract要約: 本稿では,SGFormer という衛星地上協調型 SSC フレームワークについて述べる。
衛星と地上のビューを並列に符号化し、それらを共通領域に統一するデュアルブランチアーキテクチャを提案する。
衛星と地上からのコントリビューションのバランスをとるための適応重み付け戦略を開発する。
- 参考スコア（独自算出の注目度）: 38.85690940616852
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recently, camera-based solutions have been extensively explored for scene semantic completion (SSC). Despite their success in visible areas, existing methods struggle to capture complete scene semantics due to frequent visual occlusions. To address this limitation, this paper presents the first satellite-ground cooperative SSC framework, i.e., SGFormer, exploring the potential of satellite-ground image pairs in the SSC task. Specifically, we propose a dual-branch architecture that encodes orthogonal satellite and ground views in parallel, unifying them into a common domain. Additionally, we design a ground-view guidance strategy that corrects satellite image biases during feature encoding, addressing misalignment between satellite and ground views. Moreover, we develop an adaptive weighting strategy that balances contributions from satellite and ground views. Experiments demonstrate that SGFormer outperforms the state of the art on SemanticKITTI and SSCBench-KITTI-360 datasets. Our code is available on https://github.com/gxytcrc/SGFormer.
- Abstract（参考訳）: 近年,シーンセマンティック・コンプリート (SSC) のためのカメラベースのソリューションが広く研究されている。
目に見える領域での成功にもかかわらず、既存の手法は視覚的閉塞が頻発しているため、シーンのセマンティクスを完全に捉えるのに苦労している。
この制限に対処するため、SSCタスクにおける衛星地上画像ペアの可能性を探る最初の衛星地上協調SSCフレームワーク、すなわちSGFormerを提案する。
具体的には、直交衛星と地上ビューを並列に符号化し、それらを共通領域に統一するデュアルブランチアーキテクチャを提案する。
さらに,特徴符号化中の衛星画像の偏りを補正し,衛星視と地上視のずれに対処する地上視誘導戦略を設計する。
さらに,衛星と地上からのコントリビューションのバランスをとる適応重み付け戦略を開発した。
実験により、SGFormerはSemanticKITTIとSSCBench-KITTI-360データセットの最先端よりも優れていることが示された。
私たちのコードはhttps://github.com/gxytcrc/SGFormer.comで利用可能です。
関連論文リスト
- EarthMapper: Visual Autoregressive Models for Controllable Bidirectional Satellite-Map Translation [50.433911327489554]
制御可能な衛星マップ翻訳のための新しいフレームワークであるEarthMapperを紹介する。
また,中国38都市を対象とした302,132組の衛星マップからなる大規模データセットであるCNSatMapをコントリビュートした。
CNSatMapとNew Yorkデータセットの実験は、EarthMapperの優れたパフォーマンスを実証している。
論文 参考訳（メタデータ） (2025-04-28T02:41:12Z) - Satellite to GroundScape -- Large-scale Consistent Ground View Generation from Satellite Views [5.146618378243241]
本研究では,衛星ビューから生成された地上画像間の整合性を確保するために,新しいクロスビュー合成手法を提案する。
本手法は, 固定潜時拡散モデルに基づいて, 衛星誘導復調法と衛星時変復調法という2つの条件付きモジュールを導入する。
大規模な衛星地上データセットを10万対以上の視点で提供し,広範囲な地上環境や映像生成を容易にする。
論文 参考訳（メタデータ） (2025-04-22T10:58:42Z) - SA-Occ: Satellite-Assisted 3D Occupancy Prediction in Real World [19.190830406660826]
衛星支援型3次元占有予測モデルSA-Occを提案する。
歴史的だが容易に利用できる衛星画像とリアルタイムの応用を統合している。
最先端のパフォーマンス、特に単一フレームのメソッドで実現します。
論文 参考訳（メタデータ） (2025-03-20T17:54:29Z) - Weakly-supervised Camera Localization by Ground-to-satellite Image Registration [52.54992898069471]
本稿では,地対衛星画像登録のための弱教師付き学習戦略を提案する。
地上画像ごとに正の衛星画像と負の衛星画像を導き出す。
また,クロスビュー画像の相対回転推定のための自己超越戦略を提案する。
論文 参考訳（メタデータ） (2024-09-10T12:57:16Z) - Reconstructing Satellites in 3D from Amateur Telescope Images [44.20773507571372]
本稿では,ハイブリッド画像前処理パイプラインを統合することで,障害を克服する新しい計算イメージングフレームワークを提案する。
我々は,中国の江東宇宙ステーションと国際宇宙ステーションの合成衛星データセットとオンスキー観測の両方にアプローチを検証した。
我々のフレームワークは地球からの高忠実度3D衛星監視を可能にし、宇宙状況認識のためのコスト効率の良い代替手段を提供する。
論文 参考訳（メタデータ） (2024-04-29T03:13:09Z) - A Semantic Segmentation-guided Approach for Ground-to-Aerial Image Matching [30.324252605889356]
本研究は,GPSデータを使わずに,問合せ地上画像と対応する衛星画像とをマッチングする問題に対処する。
これは地上画像と衛星画像の特徴を比較することで行われ、3ストリームのシームズ様のネットワークを通じて、対応する衛星のセグメンテーションマスクを革新的に活用する。
この新しさは、衛星画像とセマンティックセグメンテーションマスクの融合にあり、モデルが有用な特徴を抽出し、画像の重要な部分に集中できるようにすることを目的としている。
論文 参考訳（メタデータ） (2024-04-17T12:13:18Z) - SSCBench: A Large-Scale 3D Semantic Scene Completion Benchmark for Autonomous Driving [87.8761593366609]
SSCBenchは、広く使用されている自動車データセットのシーンを統合するベンチマークである。
我々は、単眼、三眼、クラウド入力を用いて、性能ギャップを評価するモデルをベンチマークする。
クロスドメインの一般化テストを簡単にするために、さまざまなデータセットにまたがったセマンティックラベルを統一しています。
論文 参考訳（メタデータ） (2023-06-15T09:56:33Z) - Sat2Density: Faithful Density Learning from Satellite-Ground Image Pairs [32.4349978810128]
本稿では,衛星と地上画像のペアを用いた衛星画像の正確な3次元形状表現を開発することを目的とする。
そこで我々は,量的ニューラルレンダリングに使用される密度場表現からインスピレーションを得て,Sat2Densityと呼ばれる新しいアプローチを提案する。
本手法は,3次元シーンの忠実な密度場を幾何学的視点で学習するために,空と非スキー領域の地上パノラマの性質を利用する。
論文 参考訳（メタデータ） (2023-03-26T10:15:33Z) - CVLNet: Cross-View Semantic Correspondence Learning for Video-based
Camera Localization [89.69214577915959]
本稿では,クロスビューカメラのローカライゼーション問題に対処する。
本稿では、類似性マッチングの前に、問合せカメラの衛星画像に対する相対変位を推定する。
実験は、単一の画像に基づく位置決めよりもビデオベースの位置決めの有効性を実証した。
論文 参考訳（メタデータ） (2022-08-07T07:35:17Z) - Satellite Image Based Cross-view Localization for Autonomous Vehicle [59.72040418584396]
本稿では,市販の高精細衛星画像を使用可能な地図として利用することにより,良好な精度でクロスビュー車両のローカライゼーションを実現することができることを示す。
本手法はKITTIとFord Multi-AVの季節データセットを地上ビューとして,Google Mapsを衛星ビューとして検証した。
論文 参考訳（メタデータ） (2022-07-27T13:16:39Z) - Coming Down to Earth: Satellite-to-Street View Synthesis for
Geo-Localization [9.333087475006003]
クロスビュー画像に基づくジオローカライズは,この2つの領域間の視野と外観の違いから,非常に困難である。
衛星入力からリアルなストリートビューを合成することで,この不一致を明示的に解決できることを示す。
本稿では,画像合成と検索を共同で行うマルチタスクアーキテクチャを提案する。
論文 参考訳（メタデータ） (2021-03-11T17:40:59Z) - Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery [80.6282101835164]
オーバヘッド衛星画像から新しいストリートビューパノラマを合成するための新しいアプローチを提案する。
本手法は,googleの全方位ストリートビュー型パノラマを,衛星パッチの中央と同じ地理的位置から取得したかのように生成する。
論文 参考訳（メタデータ） (2021-03-02T10:27:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。