論文の概要: FedMAC: Tackling Partial-Modality Missing in Federated Learning with Cross-Modal Aggregation and Contrastive Regularization
- arxiv url: http://arxiv.org/abs/2410.03070v1
- Date: Fri, 4 Oct 2024 01:24:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-03 04:06:08.326255
- Title: FedMAC: Tackling Partial-Modality Missing in Federated Learning with Cross-Modal Aggregation and Contrastive Regularization
- Title（参考訳）: FedMAC: クロスモーダル・アグリゲーションとコントラスト規則化によるフェデレーション学習における部分モダリティの欠如に対処する
- Authors: Manh Duong Nguyen, Trung Thanh Nguyen, Huy Hieu Pham, Trong Nghia Hoang, Phi Le Nguyen, Thanh Trung Huynh,
- Abstract要約: Federated Learning(FL)は、分散データソースを使用して機械学習モデルをトレーニングする手法である。
本研究ではFedMACという新しいフレームワークを提案し,FLに欠落した部分モダリティ条件下でのマルチモダリティの解消を図った。
- 参考スコア（独自算出の注目度）: 11.954904313477176
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Federated Learning (FL) is a method for training machine learning models using distributed data sources. It ensures privacy by allowing clients to collaboratively learn a shared global model while storing their data locally. However, a significant challenge arises when dealing with missing modalities in clients' datasets, where certain features or modalities are unavailable or incomplete, leading to heterogeneous data distribution. While previous studies have addressed the issue of complete-modality missing, they fail to tackle partial-modality missing on account of severe heterogeneity among clients at an instance level, where the pattern of missing data can vary significantly from one sample to another. To tackle this challenge, this study proposes a novel framework named FedMAC, designed to address multi-modality missing under conditions of partial-modality missing in FL. Additionally, to avoid trivial aggregation of multi-modal features, we introduce contrastive-based regularization to impose additional constraints on the latent representation space. The experimental results demonstrate the effectiveness of FedMAC across various client configurations with statistical heterogeneity, outperforming baseline methods by up to 26% in severe missing scenarios, highlighting its potential as a solution for the challenge of partially missing modalities in federated systems.
- Abstract（参考訳）: Federated Learning(FL)は、分散データソースを使用して機械学習モデルをトレーニングする手法である。
データをローカルに保存しながら、クライアントが共同で共有グローバルモデルを学ぶことによって、プライバシを保証する。
しかしながら、ある機能やモダリティが利用できない、あるいは不完全なクライアントのデータセットで欠落したモダリティを扱う場合には、大きな課題が生じる。
これまでの研究では、完全なモダリティの欠如の問題に対処してきたが、インスタンスレベルでのクライアント間の重大不均一性を考慮して、部分モダリティの欠如に対処できなかった。
この課題に対処するために,FL に欠落した部分モダリティ条件下で欠落する多重モダリティに対処するために,FedMAC という新しいフレームワークを提案する。
さらに,マルチモーダルな特徴の自明な集約を避けるために,潜在表現空間に制約を加えるために,コントラッシブベース正規化を導入する。
実験の結果, 統計的不均一性を有する各種クライアント構成におけるFedMACの有効性が示され, 深刻な欠落シナリオにおいて, 最大26%のベースライン法を上回り, フェデレートシステムにおける部分的に欠落するモダリティの解決法としての可能性を強調した。
関連論文リスト
- Task Groupings Regularization: Data-Free Meta-Learning with Heterogeneous Pre-trained Models [83.02797560769285]
Data-Free Meta-Learning (DFML)は、トレーニング済みモデルのコレクションから、元のデータにアクセスせずに知識を抽出することを目的としている。
現在の手法は、事前訓練されたモデル間の不均一性を見落とし、タスクの衝突による性能低下につながることが多い。
課題群規則化(Task Groupings Regularization)は、矛盾するタスクをグループ化し整合させることにより、モデルの不均一性から恩恵を受ける新しいアプローチである。
論文 参考訳（メタデータ） (2024-05-26T13:11:55Z) - Cross-Modal Prototype based Multimodal Federated Learning under Severely
Missing Modality [31.727012729846333]
MFCPL (Multimodal Federated Cross Prototype Learning) は、MFLにおいて、高度に欠落したモダリティの下での新たなアプローチである。
MFCPLは、モダリティ共有レベルにおいて、クロスモーダル正規化とクロスモーダルコントラスト機構を備えたモダリティ固有レベルと共に多様なモダリティ知識を提供する。
提案手法では,モーダリティに特有な特徴の正規化を実現するために,クロスモーダルアライメントを導入し,全体的な性能を向上させる。
論文 参考訳（メタデータ） (2024-01-25T02:25:23Z) - A review on different techniques used to combat the non-IID and
heterogeneous nature of data in FL [0.0]
Federated Learning(FL)は、複数のエッジデバイス間で協調的なモデルトレーニングを可能にする機械学習アプローチである。
FLの重要性は、医療や金融などの業界で特に顕著であり、データのプライバシが最重要視されている。
この報告は、非IIDおよび異種データから生じる問題を掘り下げ、これらの課題に対処するために設計された現在のアルゴリズムを探求する。
論文 参考訳（メタデータ） (2024-01-01T16:34:00Z) - Balanced Multi-modal Federated Learning via Cross-Modal Infiltration [19.513099949266156]
フェデレートラーニング(FL)は、プライバシを保存する分散コンピューティングの進歩を支えている。
本稿では,新しいクロスモーダル・インフィルティング・フェデレート・ラーニング(FedCMI)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-31T05:50:15Z) - Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。
マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。
提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
論文 参考訳（メタデータ） (2023-08-28T18:48:34Z) - Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。
我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
論文 参考訳（メタデータ） (2023-08-10T08:43:20Z) - FedGen: Generalizable Federated Learning for Sequential Data [8.784435748969806]
多くの実世界の分散環境では、バイアスとデータサンプリングの問題により、急激な相関が存在する。
我々はFedGenという汎用的なフェデレーション学習フレームワークを提案し、クライアントが素早い特徴と不変な特徴を識別および識別できるようにする。
FedGenは、より優れた一般化を実現し、現在のフェデレーション学習手法の精度を24%以上上回るモデルが得られることを示す。
論文 参考訳（メタデータ） (2022-11-03T15:48:14Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。
堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。
異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文 参考訳（メタデータ） (2020-07-21T08:18:06Z) - When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である
本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。
ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-02-24T11:35:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。