論文の概要: Balanced Diffusion-Guided Fusion for Multimodal Remote Sensing Classification

• arxiv url: http://arxiv.org/abs/2509.23310v1
• Date: Sat, 27 Sep 2025 13:55:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:19.14916
• Title: Balanced Diffusion-Guided Fusion for Multimodal Remote Sensing Classification
• Title（参考訳）: マルチモーダルリモートセンシング分類のための平衡拡散誘導核融合
• Authors: Hao Liu, Yongjie Zheng, Yuhan Kang, Mingyang Zhang, Maoguo Gong, Lorenzo Bruzzone,
• Abstract要約: 本稿では,土地被覆分類のためのマルチブランチネットワークを誘導する拡散誘導型融合フレームワークを提案する。 4つのマルチモーダルリモートセンシングデータセットの実験により,提案手法が優れた分類性能を実現することを示す。
• 参考スコア（独自算出の注目度）: 43.05726181699589
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep learning-based techniques for the analysis of multimodal remote sensing data have become popular due to their ability to effectively integrate complementary spatial, spectral, and structural information from different sensors. Recently, denoising diffusion probabilistic models (DDPMs) have attracted attention in the remote sensing community due to their powerful ability to capture robust and complex spatial-spectral distributions. However, pre-training multimodal DDPMs may result in modality imbalance, and effectively leveraging diffusion features to guide complementary diversity feature extraction remains an open question. To address these issues, this paper proposes a balanced diffusion-guided fusion (BDGF) framework that leverages multimodal diffusion features to guide a multi-branch network for land-cover classification. Specifically, we propose an adaptive modality masking strategy to encourage the DDPMs to obtain a modality-balanced rather than spectral image-dominated data distribution. Subsequently, these diffusion features hierarchically guide feature extraction among CNN, Mamba, and transformer networks by integrating feature fusion, group channel attention, and cross-attention mechanisms. Finally, a mutual learning strategy is developed to enhance inter-branch collaboration by aligning the probability entropy and feature similarity of individual subnetworks. Extensive experiments on four multimodal remote sensing datasets demonstrate that the proposed method achieves superior classification performance. The code is available at https://github.com/HaoLiu-XDU/BDGF.
• Abstract（参考訳）: 深層学習に基づくマルチモーダルリモートセンシングデータの解析技術は、異なるセンサからの補間空間、スペクトル、構造情報を効果的に統合できることから人気を集めている。 近年, 拡散確率モデル (DDPM) は, 頑健で複雑な空間スペクトル分布を捕捉する強力な能力により, リモートセンシングコミュニティにおいて注目を集めている。 しかし、事前学習された多モードDDPMは、モダリティの不均衡をもたらす可能性があり、相補的な多様性の特徴抽出を導くために拡散特性を効果的に活用することは、未解決の問題である。 これらの課題に対処するために,マルチモーダル拡散機能を利用して土地被覆分類のためのマルチブランチネットワークを誘導する平衡拡散誘導核融合(BDGF)フレームワークを提案する。 具体的には、DDPMがスペクトル画像に支配されるデータ分布ではなく、モダリティバランスの取れたデータを得るよう促す適応的なモダリティマスキング戦略を提案する。 その後、これらの拡散はCNN、Mamba、Transformerネットワーク間の階層的に特徴抽出を誘導し、特徴融合、グループチャネルアテンション、クロスアテンション機構を統合する。 最後に、個々のサブネットの確率エントロピーと特徴類似性を整合させて、ブランチ間協調を強化するための相互学習戦略を開発する。 4つのマルチモーダルリモートセンシングデータセットの大規模な実験により,提案手法が優れた分類性能を実現することを示す。 コードはhttps://github.com/HaoLiu-XDU/BDGFで入手できる。

関連論文リスト

• Multisource Collaborative Domain Generalization for Cross-Scene Remote Sensing Image Classification [57.945437355714155]
  クロスシーン画像分類は, 異なる分布領域のアノテート領域に, 地中物質の事前の知識を伝達することを目的としている。 既存のアプローチでは、未確認のターゲットドメインへの単一ソースドメインの一般化に重点を置いている。 マルチソースリモートセンシングデータの均一性と不均一性特性に基づく,新しいマルチソース協調型ドメイン一般化フレームワーク(MS-CDG)を提案する。
  論文  参考訳（メタデータ） (2024-12-05T06:15:08Z)
• Diffusion Features to Bridge Domain Gap for Semantic Segmentation [2.8616666231199424]
  本稿では, 拡散モデルの特徴を効率的に活用するために, サンプリングおよび融合技術を活用するアプローチについて検討する。 テキスト・画像生成能力の強みを生かして、暗黙的に後部知識を学習する新しいトレーニングフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-06-02T15:33:46Z)
• AMFD: Distillation via Adaptive Multimodal Fusion for Multispectral Pedestrian Detection [23.91870504363899]
  マルチスペクトル検出におけるダブルストリームネットワークは、マルチモーダルデータに2つの異なる特徴抽出枝を用いる。 これにより、組み込みデバイスにおける多スペクトル歩行者検出が自律システムに広く採用されるのを妨げている。 本稿では,教師ネットワークの本来のモーダル特徴を完全に活用できる適応型モーダル核融合蒸留(AMFD)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2024-05-21T17:17:17Z)
• Federated Multi-Agent Mapping for Planetary Exploration [0.4143603294943439]
  本稿では,エージェント間のグローバルマップモデルを生データを送信することなく,協調的にトレーニングするフェデレーション型マルチエージェントマッピング手法を提案する。 提案手法は暗黙的ニューラルマッピングを利用してパシモニアスで適応可能な表現を生成し,生のマップと比較して最大93.8%のデータを伝送する。 我々は,火星の地形や氷河のデータセットに対するアプローチの有効性を実証し,F1スコアを0.95ポイントまで下方経路計画を達成するとともに,地図の復元損失に勝る結果を得た。
  論文  参考訳（メタデータ） (2024-04-02T20:32:32Z)
• Rethinking Clustered Federated Learning in NOMA Enhanced Wireless Networks [60.09912912343705]
  本研究では,新しいクラスタ化フェデレーション学習(CFL)アプローチと,非独立かつ同一に分散した(非IID)データセットを統合することのメリットについて検討する。 データ分布における非IIDの度合いを測定する一般化ギャップの詳細な理論的解析について述べる。 非IID条件によって引き起こされる課題に対処する解決策は、特性の分析によって提案される。
  論文  参考訳（メタデータ） (2024-03-05T17:49:09Z)
• Decentralized Learning over Wireless Networks: The Effect of Broadcast with Random Access [56.91063444859008]
  本稿では,D-SGDのコンバージェンス性能に及ぼす放送送信と確率的ランダムアクセスポリシーの影響について検討する。 この結果から,アクセス確率を最適化し,期待されるリンク数の最大化が,システム収束を加速するための極めて効果的な戦略であることが示唆された。
  論文  参考訳（メタデータ） (2023-05-12T10:32:26Z)
• Diffusion Mechanism in Residual Neural Network: Theory and Applications [12.573746641284849]
  限られたトレーニングサンプルを持つ多くの学習タスクでは、拡散はラベル付きおよびラベルなしのデータポイントを接続する。 本稿では,ニューラルネットワークのアーキテクチャへの拡散を内部的に導入する新しい拡散残差ネットワーク(Diff-ResNet)を提案する。 構造的データ仮定により,提案した拡散ブロックは,クラス間点の分離性を向上させる距離-距離比を増大させることができることが証明された。
  論文  参考訳（メタデータ） (2021-05-07T10:42:59Z)
• Deep Multimodal Fusion by Channel Exchanging [87.40768169300898]
  本稿では,異なるモードのサブネットワーク間で動的にチャネルを交換するパラメータフリーマルチモーダル融合フレームワークを提案する。 このような交換プロセスの有効性は、畳み込みフィルタを共有してもBN層をモダリティで分離しておくことで保証される。
  論文  参考訳（メタデータ） (2020-11-10T09:53:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。