論文の概要: Client-wise Modality Selection for Balanced Multi-modal Federated
Learning
- arxiv url: http://arxiv.org/abs/2401.00403v1
- Date: Sun, 31 Dec 2023 05:37:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-03 17:44:40.044978
- Title: Client-wise Modality Selection for Balanced Multi-modal Federated
Learning
- Title（参考訳）: balanced multi-modal federated learningにおけるクライアントサイドモダリティ選択
- Authors: Yunfeng Fan, Wenchao Xu, Haozhao Wang, Penghui Ruan and Song Guo
- Abstract要約: 既存のクライアント選択方法は、ユニモーダルデータを持つFLクライアント間のばらつきを単純に考慮する。
MFLにおける従来のクライアント選択方式は、重度のモダリティレベルのバイアスに悩まされ、マルチモーダルデータの協調的利用を妨げる可能性がある。
本稿では,MFL (CMSFed) のクライアント・ワイド・モダリティ選択方式を提案する。
- 参考スコア（独自算出の注目度）: 18.390448116936753
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Selecting proper clients to participate in the iterative federated learning
(FL) rounds is critical to effectively harness a broad range of distributed
datasets. Existing client selection methods simply consider the variability
among FL clients with uni-modal data, however, have yet to consider clients
with multi-modalities. We reveal that traditional client selection scheme in
MFL may suffer from a severe modality-level bias, which impedes the
collaborative exploitation of multi-modal data, leading to insufficient local
data exploration and global aggregation. To tackle this challenge, we propose a
Client-wise Modality Selection scheme for MFL (CMSFed) that can comprehensively
utilize information from each modality via avoiding such client selection bias
caused by modality imbalance. Specifically, in each MFL round, the local data
from different modalities are selectively employed to participate in local
training and aggregation to mitigate potential modality imbalance of the global
model. To approximate the fully aggregated model update in a balanced way, we
introduce a novel local training loss function to enhance the weak modality and
align the divergent feature spaces caused by inconsistent modality adoption
strategies for different clients simultaneously. Then, a modality-level
gradient decoupling method is designed to derive respective submodular
functions to maintain the gradient diversity during the selection progress and
balance MFL according to local modality imbalance in each iteration. Our
extensive experiments showcase the superiority of CMSFed over baselines and its
effectiveness in multi-modal data exploitation.
- Abstract（参考訳）: 反復フェデレーション学習(fl)ラウンドに参加する適切なクライアントを選択することは、幅広い分散データセットを効果的に活用するには不可欠である。
既存のクライアント選択手法は、単モーダルデータを持つFLクライアント間のばらつきを単純に考慮するが、マルチモーダルデータを持つクライアントについてはまだ検討していない。
我々は,MFLにおける従来のクライアント選択方式が,マルチモーダルデータの協調的利用を妨げる重大なモダリティレベルのバイアスに悩まされ,ローカルデータ探索やグローバルアグリゲーションが不十分なことを明らかにする。
そこで本研究では,モダリティの不均衡に起因するクライアント選択バイアスを回避し,各モダリティからの情報を総合的に活用できるmfl(cmsfed)のクライアント側モダリティ選択方式を提案する。
具体的には、各mflラウンドにおいて、異なるモダリティからのローカルデータを選択的に採用して、局所トレーニングおよび集約に参加し、グローバルモデルの潜在的なモダリティ不均衡を緩和する。
完全集約モデル更新をバランスよく近似するために,異なるクライアントに対して不整合なモダリティ導入戦略によって生じる分散特徴空間を同時に整合させる,新たな局所学習損失関数を導入する。
そして、各繰り返しにおける局所的モダリティ不均衡に応じて、選択進行中の勾配の多様性を保ち、MFLのバランスをとるために、各部分モジュラー関数を導出するモードレベル勾配疎結合法を設計する。
本研究は, CMSFがベースラインよりも優れていること, マルチモーダルデータエクスプロイトにおける有効性を示すものである。
関連論文リスト
- On-the-fly Modulation for Balanced Multimodal Learning [53.616094855778954]
マルチモーダル学習は、異なるモーダルからの情報を統合することでモデル性能を向上させることが期待されている。
広く使われている共同トレーニング戦略は、不均衡で最適化されていないユニモーダル表現につながる。
そこで本研究では,OGM(On-the-fly Prediction Modulation)とOGM(On-the-fly Gradient Modulation)の戦略を提案する。
論文 参考訳（メタデータ） (2024-10-15T13:15:50Z) - Cross-Modal Prototype based Multimodal Federated Learning under Severely
Missing Modality [31.727012729846333]
MFCPL (Multimodal Federated Cross Prototype Learning) は、MFLにおいて、高度に欠落したモダリティの下での新たなアプローチである。
MFCPLは、モダリティ共有レベルにおいて、クロスモーダル正規化とクロスモーダルコントラスト機構を備えたモダリティ固有レベルと共に多様なモダリティ知識を提供する。
提案手法では,モーダリティに特有な特徴の正規化を実現するために,クロスモーダルアライメントを導入し,全体的な性能を向上させる。
論文 参考訳（メタデータ） (2024-01-25T02:25:23Z) - Balanced Multi-modal Federated Learning via Cross-Modal Infiltration [19.513099949266156]
フェデレートラーニング(FL)は、プライバシを保存する分散コンピューティングの進歩を支えている。
本稿では,新しいクロスモーダル・インフィルティング・フェデレート・ラーニング(FedCMI)フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-31T05:50:15Z) - Tunable Soft Prompts are Messengers in Federated Learning [55.924749085481544]
フェデレートラーニング(FL)は、複数の参加者が分散データソースを使用して機械学習モデルを協調的にトレーニングすることを可能にする。
FLにおけるモデルプライバシ保護の欠如は無視できない課題となっている。
そこで本研究では,ソフトプロンプトによって参加者間の情報交換を実現する新しいFLトレーニング手法を提案する。
論文 参考訳（メタデータ） (2023-11-12T11:01:10Z) - VFedMH: Vertical Federated Learning for Training Multiple Heterogeneous
Models [53.30484242706966]
本稿では,複数の異種モデル(VFedMH)を学習するための垂直フェデレーション学習という新しい手法を提案する。
被験者の局所的な埋め込み値を保護するために,軽量なブラインド・ファクターに基づく埋め込み保護手法を提案する。
実験により、VFedMHは、不均一な最適化で複数の異種モデルを同時に訓練し、モデル性能の最近の手法より優れていることを示す。
論文 参考訳（メタデータ） (2023-10-20T09:22:51Z) - Unimodal Training-Multimodal Prediction: Cross-modal Federated Learning
with Hierarchical Aggregation [16.308470947384134]
HA-Fedformerは新しいトランスフォーマーベースのモデルで、クライアントでのアンモダルデータセットのみを使用して、単一モダルトレーニングを可能にする。
我々は,マルコフ連鎖モンテカルロサンプリングを用いた局所エンコーダの不確実性を考慮したアグリゲーション法を開発した。
一般的な感情分析ベンチマークであるCMU-MOSIとCMU-MOSEIの実験は、HA-Fedformerが最先端のマルチモーダルモデルを大幅に上回ることを示した。
論文 参考訳（メタデータ） (2023-03-27T07:07:33Z) - Integrating Local Real Data with Global Gradient Prototypes for
Classifier Re-Balancing in Federated Long-Tailed Learning [60.41501515192088]
フェデレートラーニング(FL)は、グローバルモデルを協調的にトレーニングする複数のクライアントを含む、人気のある分散ラーニングパラダイムになっています。
データサンプルは通常、現実世界の長い尾の分布に従っており、分散化された長い尾のデータのFLは、貧弱なグローバルモデルをもたらす。
本研究では、局所的な実データとグローバルな勾配のプロトタイプを統合し、局所的なバランスの取れたデータセットを形成する。
論文 参考訳（メタデータ） (2023-01-25T03:18:10Z) - FedDM: Iterative Distribution Matching for Communication-Efficient
Federated Learning [87.08902493524556]
フェデレートラーニング(FL)は近年、学術や産業から注目を集めている。
我々は,複数の局所的代理関数からグローバルなトレーニング目標を構築するためのFedDMを提案する。
そこで本研究では,各クライアントにデータ集合を構築し,元のデータから得られた損失景観を局所的にマッチングする。
論文 参考訳（メタデータ） (2022-07-20T04:55:18Z) - Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。
FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。
我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文 参考訳（メタデータ） (2021-08-23T15:47:53Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳（メタデータ） (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。