論文の概要: FedMFS: Federated Multimodal Fusion Learning with Selective Modality
Communication
- arxiv url: http://arxiv.org/abs/2310.07048v1
- Date: Tue, 10 Oct 2023 22:23:27 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-14 02:45:16.752027
- Title: FedMFS: Federated Multimodal Fusion Learning with Selective Modality
Communication
- Title（参考訳）: FedMFS:選択的モーダル通信を用いた多モード融合学習
- Authors: Liangqi Yuan and Dong-Jun Han and Vishnu Pandi Chellapandi and
Stanislaw H. \.Zak and Christopher G. Brinton
- Abstract要約: FedMFS(Federated Multimodal Fusion Learning)
鍵となるアイデアは、Shapley値を使用して、各モダリティの寄与度とモダリティモデルのサイズを定量化し、通信オーバーヘッドを測定することである。
実世界のマルチモーダルデータセットの実験は、FedMFSの有効性を示す。
- 参考スコア（独自算出の注目度）: 11.818981134887757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated learning (FL) is a distributed machine learning (ML) paradigm that
enables clients to collaborate without accessing, infringing upon, or leaking
original user data by sharing only model parameters. In the Internet of Things
(IoT), edge devices are increasingly leveraging multimodal data compositions
and fusion paradigms to enhance model performance. However, in FL applications,
two main challenges remain open: (i) addressing the issues caused by
heterogeneous clients lacking specific modalities and (ii) devising an optimal
modality upload strategy to minimize communication overhead while maximizing
learning performance. In this paper, we propose Federated Multimodal Fusion
learning with Selective modality communication (FedMFS), a new multimodal
fusion FL methodology that can tackle the above mentioned challenges. The key
idea is to utilize Shapley values to quantify each modality's contribution and
modality model size to gauge communication overhead, so that each client can
selectively upload the modality models to the server for aggregation. This
enables FedMFS to flexibly balance performance against communication costs,
depending on resource constraints and applications. Experiments on real-world
multimodal datasets demonstrate the effectiveness of FedMFS, achieving
comparable accuracy while reducing communication overhead by one twentieth
compared to baselines.
- Abstract（参考訳）: Federated Learning (FL) は分散機械学習(ML)パラダイムであり、モデルパラメータのみを共有することで、クライアントがオリジナルのユーザデータをアクセス、侵害、あるいはリークすることなく、協力できる。
iot(internet of things)では、エッジデバイスがマルチモーダルデータ構成と融合パラダイムを活用して、モデルパフォーマンスを高めている。
しかし、FLアプリケーションでは、2つの大きな課題が残っている。
(i)特定のモダリティを欠いた異種顧客によって引き起こされる問題に対処すること
(ii)学習性能を最大化しつつコミュニケーションオーバーヘッドを最小化するために最適なモダリティアップロード戦略を考案すること。
本稿では,上記の課題に対処可能な新しいマルチモーダル融合fl手法であるfedmfs(federated multimodal fusion learning with selective modality communication)を提案する。
鍵となるアイデアは、Shapley値を使用して、各モダリティのコントリビューションとモダリティモデルサイズを定量化し、通信オーバーヘッドを測定することで、各クライアントがアグリゲーションのためにモダリティモデルをサーバに選択的にアップロードできるようにすることである。
これにより、リソースの制約やアプリケーションによって、FedMFSは通信コストに対して柔軟にパフォーマンスのバランスをとることができます。
実世界のマルチモーダルデータセットに関する実験は、fedmfsの有効性を示し、ベースラインと比較して通信オーバーヘッドを20パーセント削減しながら、同等の精度を達成している。
関連論文リスト
- Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。
FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。
提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
論文 参考訳（メタデータ） (2024-10-16T23:50:39Z) - Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。
FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。
我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文 参考訳（メタデータ） (2024-08-13T01:14:27Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Communication-Efficient Multimodal Federated Learning: Joint Modality
and Client Selection [14.261582708240407]
FL(Multimodal Federated Learning)は、FL設定におけるモデルトレーニングを強化することを目的としている。
マルチモーダルFLの鍵となる課題は、特に異種ネットワーク設定において、未適応のままである。
マルチモーダル設定における上記の課題に対処できる新しいFL手法であるmmFedMCを提案する。
論文 参考訳（メタデータ） (2024-01-30T02:16:19Z) - Cross-Modal Prototype based Multimodal Federated Learning under Severely
Missing Modality [31.727012729846333]
MFCPL (Multimodal Federated Cross Prototype Learning) は、MFLにおいて、高度に欠落したモダリティの下での新たなアプローチである。
MFCPLは、モダリティ共有レベルにおいて、クロスモーダル正規化とクロスモーダルコントラスト機構を備えたモダリティ固有レベルと共に多様なモダリティ知識を提供する。
提案手法では,モーダリティに特有な特徴の正規化を実現するために,クロスモーダルアライメントを導入し,全体的な性能を向上させる。
論文 参考訳（メタデータ） (2024-01-25T02:25:23Z) - FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing [88.6654909354382]
本稿では,顔のアンチ・スプーフィングのためのフレキシブル・モーダル・ビジョン・トランス (FM-ViT) と呼ばれる,純粋なトランスフォーマーベースのフレームワークを提案する。
FM-ViTは、利用可能なマルチモーダルデータの助けを借りて、任意の単一モーダル(すなわちRGB)攻撃シナリオを柔軟にターゲットすることができる。
実験により、FM-ViTに基づいてトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2023-05-05T04:28:48Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2021-12-05T11:17:17Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳（メタデータ） (2021-07-28T23:33:42Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。