論文の概要: SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion

• arxiv url: http://arxiv.org/abs/2503.16825v1
• Date: Fri, 21 Mar 2025 03:37:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:55:42.952964
• Title: SGFormer: Satellite-Ground Fusion for 3D Semantic Scene Completion
• Title（参考訳）: SGFormer:3Dセマンティックシーンコンプリートのための衛星グラウンドフュージョン
• Authors: Xiyue Guo, Jiarui Hu, Junjie Hu, Hujun Bao, Guofeng Zhang,
• Abstract要約: 本稿では,SGFormer という衛星地上協調型 SSC フレームワークについて述べる。 衛星と地上のビューを並列に符号化し、それらを共通領域に統一するデュアルブランチアーキテクチャを提案する。 衛星と地上からのコントリビューションのバランスをとるための適応重み付け戦略を開発する。
• 参考スコア（独自算出の注目度）: 38.85690940616852
• License:
• Abstract: Recently, camera-based solutions have been extensively explored for scene semantic completion (SSC). Despite their success in visible areas, existing methods struggle to capture complete scene semantics due to frequent visual occlusions. To address this limitation, this paper presents the first satellite-ground cooperative SSC framework, i.e., SGFormer, exploring the potential of satellite-ground image pairs in the SSC task. Specifically, we propose a dual-branch architecture that encodes orthogonal satellite and ground views in parallel, unifying them into a common domain. Additionally, we design a ground-view guidance strategy that corrects satellite image biases during feature encoding, addressing misalignment between satellite and ground views. Moreover, we develop an adaptive weighting strategy that balances contributions from satellite and ground views. Experiments demonstrate that SGFormer outperforms the state of the art on SemanticKITTI and SSCBench-KITTI-360 datasets. Our code is available on https://github.com/gxytcrc/SGFormer.
• Abstract（参考訳）: 近年,シーンセマンティック・コンプリート (SSC) のためのカメラベースのソリューションが広く研究されている。 目に見える領域での成功にもかかわらず、既存の手法は視覚的閉塞が頻発しているため、シーンのセマンティクスを完全に捉えるのに苦労している。 この制限に対処するため、SSCタスクにおける衛星地上画像ペアの可能性を探る最初の衛星地上協調SSCフレームワーク、すなわちSGFormerを提案する。 具体的には、直交衛星と地上ビューを並列に符号化し、それらを共通領域に統一するデュアルブランチアーキテクチャを提案する。 さらに,特徴符号化中の衛星画像の偏りを補正し,衛星視と地上視のずれに対処する地上視誘導戦略を設計する。 さらに,衛星と地上からのコントリビューションのバランスをとる適応重み付け戦略を開発した。 実験により、SGFormerはSemanticKITTIとSSCBench-KITTI-360データセットの最先端よりも優れていることが示された。 私たちのコードはhttps://github.com/gxytcrc/SGFormer.comで利用可能です。

関連論文リスト

• Weakly-supervised Camera Localization by Ground-to-satellite Image Registration [52.54992898069471]
  本稿では,地対衛星画像登録のための弱教師付き学習戦略を提案する。 地上画像ごとに正の衛星画像と負の衛星画像を導き出す。 また,クロスビュー画像の相対回転推定のための自己超越戦略を提案する。
  論文  参考訳（メタデータ） (2024-09-10T12:57:16Z)
• A Semantic Segmentation-guided Approach for Ground-to-Aerial Image Matching [30.324252605889356]
  本研究は,GPSデータを使わずに,問合せ地上画像と対応する衛星画像とをマッチングする問題に対処する。 これは地上画像と衛星画像の特徴を比較することで行われ、3ストリームのシームズ様のネットワークを通じて、対応する衛星のセグメンテーションマスクを革新的に活用する。 この新しさは、衛星画像とセマンティックセグメンテーションマスクの融合にあり、モデルが有用な特徴を抽出し、画像の重要な部分に集中できるようにすることを目的としている。
  論文  参考訳（メタデータ） (2024-04-17T12:13:18Z)
• Sat2Scene: 3D Urban Scene Generation from Satellite Images with Diffusion [77.34078223594686]
  本稿では,3次元スパース表現に拡散モデルを導入し,それらをニューラルレンダリング技術と組み合わせることで,直接3次元シーン生成のための新しいアーキテクチャを提案する。 具体的には、まず3次元拡散モデルを用いて、所定の幾何学の点レベルのテクスチャ色を生成し、次にフィードフォワード方式でシーン表現に変換する。 2つの都市規模データセットを用いた実験により,衛星画像から写真リアルなストリートビュー画像シーケンスとクロスビュー都市シーンを生成する能力を示した。
  論文  参考訳（メタデータ） (2024-01-19T16:15:37Z)
• SSCBench: A Large-Scale 3D Semantic Scene Completion Benchmark for Autonomous Driving [87.8761593366609]
  SSCBenchは、広く使用されている自動車データセットのシーンを統合するベンチマークである。 我々は、単眼、三眼、クラウド入力を用いて、性能ギャップを評価するモデルをベンチマークする。 クロスドメインの一般化テストを簡単にするために、さまざまなデータセットにまたがったセマンティックラベルを統一しています。
  論文  参考訳（メタデータ） (2023-06-15T09:56:33Z)
• Sat2Density: Faithful Density Learning from Satellite-Ground Image Pairs [32.4349978810128]
  本稿では,衛星と地上画像のペアを用いた衛星画像の正確な3次元形状表現を開発することを目的とする。 そこで我々は,量的ニューラルレンダリングに使用される密度場表現からインスピレーションを得て,Sat2Densityと呼ばれる新しいアプローチを提案する。 本手法は,3次元シーンの忠実な密度場を幾何学的視点で学習するために,空と非スキー領域の地上パノラマの性質を利用する。
  論文  参考訳（メタデータ） (2023-03-26T10:15:33Z)
• CVLNet: Cross-View Semantic Correspondence Learning for Video-based Camera Localization [89.69214577915959]
  本稿では,クロスビューカメラのローカライゼーション問題に対処する。 本稿では、類似性マッチングの前に、問合せカメラの衛星画像に対する相対変位を推定する。 実験は、単一の画像に基づく位置決めよりもビデオベースの位置決めの有効性を実証した。
  論文  参考訳（メタデータ） (2022-08-07T07:35:17Z)
• Geo-Localization via Ground-to-Satellite Cross-View Image Retrieval [25.93015219830576]
  ランドマークの地平面画像から,衛星視画像の検索により地理空間のクロスビュー化を図っている。 我々は、地上視と衛星視の橋渡しとして、ドローン視情報を利用する。
  論文  参考訳（メタデータ） (2022-05-22T17:35:13Z)
• Coming Down to Earth: Satellite-to-Street View Synthesis for Geo-Localization [9.333087475006003]
  クロスビュー画像に基づくジオローカライズは,この2つの領域間の視野と外観の違いから,非常に困難である。 衛星入力からリアルなストリートビューを合成することで,この不一致を明示的に解決できることを示す。 本稿では,画像合成と検索を共同で行うマルチタスクアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-03-11T17:40:59Z)
• Geometry-Guided Street-View Panorama Synthesis from Satellite Imagery [80.6282101835164]
  オーバヘッド衛星画像から新しいストリートビューパノラマを合成するための新しいアプローチを提案する。 本手法は,googleの全方位ストリートビュー型パノラマを,衛星パッチの中央と同じ地理的位置から取得したかのように生成する。
  論文  参考訳（メタデータ） (2021-03-02T10:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。