論文の概要: FedEPA: Enhancing Personalization and Modality Alignment in Multimodal Federated Learning

• arxiv url: http://arxiv.org/abs/2504.12025v1
• Date: Wed, 16 Apr 2025 12:32:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 14:38:58.332419
• Title: FedEPA: Enhancing Personalization and Modality Alignment in Multimodal Federated Learning
• Title（参考訳）: FedEPA:マルチモーダル・フェデレーション・ラーニングにおけるパーソナライゼーションとモダリティアライメントの強化
• Authors: Yu Zhang, Qingfeng Du, Jiaqi Lv,
• Abstract要約: フェデレートラーニング(FL)は、プライバシを保持しながら、複数のパーティで分散モデルトレーニングを可能にする。 ほとんどのFLシステムは、クライアントが非リアルタイムデータのみを保持し、実際の適用性を制限していると仮定している。 マルチモーダル学習のための新しいFLフレームワークであるFedEPAを提案する。
• 参考スコア（独自算出の注目度）: 9.531634844824596
• License:
• Abstract: Federated Learning (FL) enables decentralized model training across multiple parties while preserving privacy. However, most FL systems assume clients hold only unimodal data, limiting their real-world applicability, as institutions often possess multimodal data. Moreover, the lack of labeled data further constrains the performance of most FL methods. In this work, we propose FedEPA, a novel FL framework for multimodal learning. FedEPA employs a personalized local model aggregation strategy that leverages labeled data on clients to learn personalized aggregation weights, thereby alleviating the impact of data heterogeneity. We also propose an unsupervised modality alignment strategy that works effectively with limited labeled data. Specifically, we decompose multimodal features into aligned features and context features. We then employ contrastive learning to align the aligned features across modalities, ensure the independence between aligned features and context features within each modality, and promote the diversity of context features. A multimodal feature fusion strategy is introduced to obtain a joint embedding. The experimental results show that FedEPA significantly outperforms existing FL methods in multimodal classification tasks under limited labeled data conditions.
• Abstract（参考訳）: フェデレートラーニング(FL)は、プライバシを保持しながら、複数のパーティで分散モデルトレーニングを可能にする。 しかし、多くのFLシステムは、クライアントが単調なデータしか持たないことを前提としており、組織がしばしばマルチモーダルデータを持っているため、実際の適用性を制限する。 さらにラベル付きデータの欠如により、ほとんどのFLメソッドのパフォーマンスがさらに制限される。 本研究では,マルチモーダル学習のための新しいFLフレームワークであるFedEPAを提案する。 FedEPAは、クライアント上のラベル付きデータを活用して、パーソナライズされたアグリゲーションの重み付けを学習するパーソナライズされたローカルモデルアグリゲーション戦略を採用している。 また、限定ラベル付きデータで効果的に機能する教師なしモダリティアライメント戦略を提案する。 具体的には、マルチモーダル機能をアライメント機能とコンテキスト機能に分解する。 次に、コントラスト学習を用いて、モダリティ間で整列した特徴を整列させ、各モダリティ内で整列した特徴とコンテキスト特徴の独立性を確保し、コンテキスト特徴の多様性を促進する。 ジョイント埋め込みを得るためにマルチモーダル特徴融合戦略を導入する。 実験の結果,FedEPAはラベル付きデータ条件下でのマルチモーダル分類タスクにおいて,既存のFL法よりも有意に優れていた。

関連論文リスト

• FedMLLM: Federated Fine-tuning MLLM on Multimodal Heterogeneity Data [56.08867996209236]
  フェデレートラーニング(FL)による微調整型マルチモーダル大言語モデル(MLLM)は、プライベートデータソースを含めることで、トレーニングデータの範囲を拡大することができる。 マルチモーダルな異種シナリオにおけるMLLMのファインチューニング性能を評価するためのベンチマークを提案する。 従来のFL手法を2つのモダリティに依存しない戦略と組み合わせた一般的なFedMLLMフレームワークを開発した。
  論文  参考訳（メタデータ） (2024-11-22T04:09:23Z)
• FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
  フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。 クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。 本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-29T11:28:06Z)
• Balancing Similarity and Complementarity for Federated Learning [91.65503655796603]
  フェデレートラーニング(FL)は、モバイルとIoTシステムにおいてますます重要になっている。 FLの重要な課題の1つは、非i.d.データのような統計的不均一性を管理することである。 FL協調における類似性と相補性のバランスをとる新しいフレームワークである texttFedSaC を導入する。
  論文  参考訳（メタデータ） (2024-05-16T08:16:19Z)
• FLASH: Federated Learning Across Simultaneous Heterogeneities [54.80435317208111]
  FLASH (Federated Learning Across Simultaneous Heterogeneities) は軽量かつ柔軟なクライアント選択アルゴリズムである。 ヘテロジニティの幅広い情報源の下で、最先端のFLフレームワークよりも優れています。 最先端のベースラインよりも大幅に、一貫性のある改善を実現している。
  論文  参考訳（メタデータ） (2024-02-13T20:04:39Z)
• FedMEKT: Distillation-based Embedding Knowledge Transfer for Multimodal Federated Learning [42.84295556492631]
  フェデレートラーニング(FL)は、複数のクライアントがプライベートデータを共有せずに、汎用グローバルモデルを共同でトレーニングするための分散機械学習パラダイムを可能にする。 既存のほとんどの研究は、単一モーダルデータのための典型的なFLシステムを提案しており、将来のパーソナライズされたアプリケーションのために価値あるマルチモーダルデータを利用する可能性を制限する。 本稿では,様々なモダリティから表現を活用すべく,半教師付き学習アプローチを用いた新しいマルチモーダルFLフレームワークを提案する。 この概念をシステムに組み込むことで,小型マルチモーダルから抽出した学習モデルの連関知識をサーバとクライアントが交換できる蒸留型多モーダル埋め込み知識伝達機構であるFedMEKTを開発した。
  論文  参考訳（メタデータ） (2023-07-25T02:55:33Z)
• FedMultimodal: A Benchmark For Multimodal Federated Learning [45.0258566979478]
  フェデレートラーニング(FL)は、データプライバシの課題に取り組むための、新たな機械学習技術になりつつある。 コンピュータビジョン、オーディオ、自然言語処理などの分野でFLに多大な努力を払っているにもかかわらず、マルチモーダルデータストリームを利用したFLアプリケーションは、ほとんど探索されていない。 FedMultimodalは10個の一般的なデータセットから5つの代表的マルチモーダルアプリケーションをカバーするマルチモーダル学習のための最初のFLベンチマークである。
  論文  参考訳（メタデータ） (2023-06-15T20:31:26Z)
• Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning with Hierarchical Aggregation [16.308470947384134]
  HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。 我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。 一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
  論文  参考訳（メタデータ） (2023-03-27T07:07:33Z)
• Multimodal Federated Learning via Contrastive Representation Ensemble [17.08211358391482]
  フェデレーテッド・ラーニング(FL)は、集中型機械学習に代わるプライバシ意識の代替手段として機能する。 既存のFLメソッドはすべて、モデルアグリゲーションを単一のモダリティレベルに依存している。 マルチモーダルFL(CreamFL)のためのコントラスト表現アンサンブルとアグリゲーションを提案する。
  論文  参考訳（メタデータ） (2023-02-17T14:17:44Z)
• FedDM: Iterative Distribution Matching for Communication-Efficient Federated Learning [87.08902493524556]
  フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。 我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。 そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
  論文  参考訳（メタデータ） (2022-07-20T04:55:18Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Local Learning Matters: Rethinking Data Heterogeneity in Federated Learning [61.488646649045215]
  フェデレートラーニング(FL)は、クライアントのネットワーク(エッジデバイス)でプライバシ保護、分散ラーニングを行うための有望な戦略である。
  論文  参考訳（メタデータ） (2021-11-28T19:03:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。