論文の概要: A Multi-Modal Federated Learning Framework for Remote Sensing Image Classification

• arxiv url: http://arxiv.org/abs/2503.10262v1
• Date: Thu, 13 Mar 2025 11:20:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-14 15:52:49.202319
• Title: A Multi-Modal Federated Learning Framework for Remote Sensing Image Classification
• Title（参考訳）: リモートセンシング画像分類のための多モードフェデレーション学習フレームワーク
• Authors: Barış Büyüktaş, Gencer Sumbul, Begüm Demir,
• Abstract要約: 本稿では,RS画像分類問題に対する新しいマルチモーダルFLフレームワークを提案する。 提案フレームワークは,マルチモーダル融合(MF),特徴白化(FW),相互情報モジュール(MIM)の3つのモジュールから構成される。
• 参考スコア（独自算出の注目度）: 2.725507329935916
• License:
• Abstract: Federated learning (FL) enables the collaborative training of deep neural networks across decentralized data archives (i.e., clients) without sharing the local data of the clients. Most of the existing FL methods assume that the data distributed across all clients is associated with the same data modality. However, remote sensing (RS) images present in different clients can be associated with diverse data modalities. The joint use of the multi-modal RS data can significantly enhance classification performance. To effectively exploit decentralized and unshared multi-modal RS data, our paper introduces a novel multi-modal FL framework for RS image classification problems. The proposed framework comprises three modules: 1) multi-modal fusion (MF); 2) feature whitening (FW); and 3) mutual information maximization (MIM). The MF module employs iterative model averaging to facilitate learning without accessing multi-modal training data on clients. The FW module aims to address the limitations of training data heterogeneity by aligning data distributions across clients. The MIM module aims to model mutual information by maximizing the similarity between images from different modalities. For the experimental analyses, we focus our attention on multi-label classification and pixel-based classification tasks in RS. The results obtained using two benchmark archives show the effectiveness of the proposed framework when compared to state-of-the-art algorithms in the literature. The code of the proposed framework will be available at https://git.tu-berlin.de/rsim/multi-modal-FL.
• Abstract（参考訳）: フェデレートラーニング(FL)は、クライアントのローカルデータを共有せずに、分散化されたデータアーカイブ(すなわちクライアント)をまたいだディープニューラルネットワークの協調トレーニングを可能にする。 既存のFLメソッドのほとんどは、すべてのクライアントに分散したデータが同じデータモダリティと関連していると仮定します。 しかし、異なるクライアントに存在するリモートセンシング(RS)画像は、多様なデータモダリティに関連付けられる。 マルチモーダルRSデータの連用により、分類性能が著しく向上する。 本稿では,分散化および非共有化のマルチモーダルRSデータを効果的に活用するために,RS画像分類問題に対する新しいマルチモーダルFLフレームワークを提案する。 提案するフレームワークは3つのモジュールから構成される。 1) マルチモーダル核融合(MF) 2) 特徴白化(FW),及び 3)相互情報の最大化(MIM)。 MFモジュールは、クライアント上のマルチモーダルトレーニングデータにアクセスすることなく学習を容易にするために、反復モデル平均化を採用している。 FWモジュールは、クライアント間でデータの分散を調整することで、トレーニングデータの不均一性に対処することを目的としている。 MIMモジュールは、異なるモダリティの画像間の類似性を最大化し、相互情報をモデル化することを目的としている。 実験分析では,RSのマルチラベル分類と画素ベース分類に焦点をあてる。 2つのベンチマークアーカイブを用いて得られた結果は、文献の最先端アルゴリズムと比較して提案手法の有効性を示した。 提案されたフレームワークのコードはhttps://git.tu-berlin.de/rsim/multi-modal-FL.orgで公開される。

関連論文リスト

• MIFNet: Learning Modality-Invariant Features for Generalizable Multimodal Image Matching [54.740256498985026]
  キーポイントの検出と記述方法は、しばしばマルチモーダルデータと競合する。 マルチモーダル画像マッチングにおけるキーポイント記述に対するモダリティ不変特徴量を計算するためのモダリティ不変特徴量学習ネットワーク(MIFNet)を提案する。
  論文  参考訳（メタデータ） (2025-01-20T06:56:30Z)
• FedRSClip: Federated Learning for Remote Sensing Scene Classification Using Vision-Language Models [23.830133838392964]
  本稿では,VLM,特にCLIPに基づくリモートセンシング画像分類のための最初のフェデレーション学習フレームワークであるFedRSCLIPを提案する。 FedRSCLIPは、Prompt Learningを導入することで、フェデレーション環境におけるデータ不均一性と大規模モデル伝送の課題に対処する。 提案モデルの有効性を検証するため,既存の3つのリモートセンシング画像分類データセットに基づいてFed-RSICデータセットを構築した。
  論文  参考訳（メタデータ） (2025-01-05T07:10:27Z)
• MINIMA: Modality Invariant Image Matching [52.505282811925454]
  複数のクロスモーダルケースを対象とした統合画像マッチングフレームワークであるMINIMAを提案する。 生成モデルを用いて、安価だがリッチなRGBのみのマッチングデータからモダリティをスケールアップする。 MD-synでは、任意の高度なマッチングパイプラインをランダムに選択したモダリティペアで直接訓練して、クロスモーダル能力を得ることができる。
  論文  参考訳（メタデータ） (2024-12-27T02:39:50Z)
• Multimodality Helps Few-shot 3D Point Cloud Semantic Segmentation [61.91492500828508]
  FS-PCS (Few-shot 3D point cloud segmentation) は、最小のサポートサンプルで新しいカテゴリを分割するモデルを一般化することを目的としている。 テキストラベルと潜在的に利用可能な2次元画像モダリティを利用したマルチモーダルFS-PCS構成を提案する。 トレーニングバイアスを軽減するため,テスト時間適応型クロスモーダル(TACC)技術を提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:28:41Z)
• Leveraging Foundation Models for Multi-modal Federated Learning with Incomplete Modality [41.79433449873368]
  我々は、事前学習完了(FedMVP)を用いた新しいマルチモーダル・コントラスト学習法、フェデレーション・マルチモーダル・コントラストVeトレーニングを提案する。 FedMVPは、大規模な事前トレーニングモデルを統合して、フェデレーショントレーニングを強化する。 実世界の2つの画像テキスト分類データセットよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-06-16T19:18:06Z)
• NativE: Multi-modal Knowledge Graph Completion in the Wild [51.80447197290866]
  本研究では,MMKGCを実現するための包括的フレームワークNativEを提案する。 NativEは、任意のモダリティに対して適応的な融合を可能にするリレーショナル誘導デュアルアダプティブフュージョンモジュールを提案する。 提案手法を評価するために,5つのデータセットを用いたWildKGCという新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2024-03-28T03:04:00Z)
• Reformulating Vision-Language Foundation Models and Datasets Towards Universal Multimodal Assistants [65.47222691674074]
  Muffinフレームワークは、事前訓練された視覚言語モデルを使用して視覚信号のプロバイダとして機能する。 UniMM-Chatデータセットはデータセットの相補性を探求し、高品質で多様なマルチモーダル命令を生成する。
  論文  参考訳（メタデータ） (2023-10-01T12:35:18Z)
• Learning Across Decentralized Multi-Modal Remote Sensing Archives with Federated Learning [0.0]
  本稿では,分散化されたマルチモーダル RS 画像アーカイブから RS 画像問題への学習を目的とした,新しいマルチモーダル FL フレームワークを提案する。 提案するフレームワークは,1)マルチモーダル融合(MF),2)ホワイトニング(FW),3)相互情報(MIM)の3つのモジュールから構成される。
  論文  参考訳（メタデータ） (2023-06-01T15:22:53Z)
• Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
  フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。 既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。 マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-02-17T14:17:44Z)
• Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
  フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。 本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-20T10:49:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。