論文の概要: FedMFS: Federated Multimodal Fusion Learning with Selective Modality
Communication
- arxiv url: http://arxiv.org/abs/2310.07048v2
- Date: Sun, 19 Nov 2023 05:47:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 17:29:47.958838
- Title: FedMFS: Federated Multimodal Fusion Learning with Selective Modality
Communication
- Title（参考訳）: FedMFS:選択的モーダル通信を用いた多モード融合学習
- Authors: Liangqi Yuan and Dong-Jun Han and Vishnu Pandi Chellapandi and
Stanislaw H. \.Zak and Christopher G. Brinton
- Abstract要約: 選択的モーダル通信を用いたFedMFS(Federated Multimodal Fusion Learning)を提案する。
鍵となる考え方は、各デバイスに対するモダリティ選択基準の導入であり、(i)Shapley値解析によって測定されたモダリティの影響を重み付けし、(ii)モダリティモデルサイズを通信オーバーヘッドの指標とする。
実世界のActionSenseデータセットの実験では、FedMFSが複数のベースラインに匹敵する精度を達成し、通信オーバーヘッドを4倍に削減できることを示した。
- 参考スコア（独自算出の注目度）: 11.818981134887757
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Multimodal federated learning (FL) aims to enrich model training in FL
settings where devices are collecting measurements across multiple modalities
(e.g., sensors measuring pressure, motion, and other types of data). However,
key challenges to multimodal FL remain unaddressed, particularly in
heterogeneous network settings: (i) the set of modalities collected by each
device will be diverse, and (ii) communication limitations prevent devices from
uploading all their locally trained modality models to the server. In this
paper, we propose Federated Multimodal Fusion learning with Selective modality
communication (FedMFS), a new multimodal fusion FL methodology that can tackle
the above mentioned challenges. The key idea is the introduction of a modality
selection criterion for each device, which weighs (i) the impact of the
modality, gauged by Shapley value analysis, against (ii) the modality model
size as a gauge for communication overhead. This enables FedMFS to flexibly
balance performance against communication costs, depending on resource
constraints and application requirements. Experiments on the real-world
ActionSense dataset demonstrate the ability of FedMFS to achieve comparable
accuracy to several baselines while reducing the communication overhead by over
4x.
- Abstract（参考訳）: multimodal federated learning (fl) は、デバイスが複数のモダリティ(圧力、動き、その他の種類のデータを測定するセンサーなど)で計測値を集めているfl設定でのモデルトレーニングを強化することを目的としている。
しかし、特に異種ネットワーク設定において、マルチモーダルFLに対する重要な課題は未解決のままである。
(i)各装置が収集するモダリティの集合は多様であり、
(ii) 通信制限は、デバイスがローカルに訓練されたモダリティモデルをサーバにアップロードすることを妨げている。
本稿では,上記の課題に対処可能な新しいマルチモーダル融合fl手法であるfedmfs(federated multimodal fusion learning with selective modality communication)を提案する。
鍵となるアイデアは、各デバイスに対するモダリティ選択基準の導入である。
(i)Shapley値分析によって測定されたモダリティの影響
(ii)通信オーバーヘッドの指標としてのモダリティモデルサイズ。
これにより、fedmfはリソースの制約やアプリケーション要件に応じて、通信コストに対して柔軟にパフォーマンスのバランスをとることができる。
実世界のActionSenseデータセットの実験では、FedMFSが複数のベースラインに匹敵する精度を達成し、通信オーバーヘッドを4倍に削減できることを示した。
関連論文リスト
- Communication-Efficient and Tensorized Federated Fine-Tuning of Large Language Models [24.07770417615704]
大規模言語モデルの適応手法であるFedTTとFedTT+を紹介する。
FedTTは汎用的で、クロスサイロFLと大規模クロスデバイスFLの両方に適用できる。
提案手法は,データ不均一性の問題に対処し,既存のPEFT手法よりも同等あるいはそれ以上の精度で処理する。
論文 参考訳（メタデータ） (2024-10-16T23:50:39Z) - Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。
FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。
我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
論文 参考訳（メタデータ） (2024-08-13T01:14:27Z) - Modality Prompts for Arbitrary Modality Salient Object Detection [57.610000247519196]
本論文は、任意のモーダリティ・サリエント物体検出(AM SOD)の課題について述べる。
任意のモダリティ、例えばRGBイメージ、RGB-Dイメージ、RGB-D-Tイメージから有能なオブジェクトを検出することを目的としている。
AM SODの2つの基本的な課題を解明するために,新しいモード適応トランス (MAT) を提案する。
論文 参考訳（メタデータ） (2024-05-06T11:02:02Z) - Communication-Efficient Multimodal Federated Learning: Joint Modality
and Client Selection [14.261582708240407]
FL(Multimodal Federated Learning)は、FL設定におけるモデルトレーニングを強化することを目的としている。
マルチモーダルFLの鍵となる課題は、特に異種ネットワーク設定において、未適応のままである。
マルチモーダル設定における上記の課題に対処できる新しいFL手法であるmmFedMCを提案する。
論文 参考訳（メタデータ） (2024-01-30T02:16:19Z) - Cross-Modal Prototype based Multimodal Federated Learning under Severely
Missing Modality [31.727012729846333]
MFCPL (Multimodal Federated Cross Prototype Learning) は、MFLにおいて、高度に欠落したモダリティの下での新たなアプローチである。
MFCPLは、モダリティ共有レベルにおいて、クロスモーダル正規化とクロスモーダルコントラスト機構を備えたモダリティ固有レベルと共に多様なモダリティ知識を提供する。
提案手法では,モーダリティに特有な特徴の正規化を実現するために,クロスモーダルアライメントを導入し,全体的な性能を向上させる。
論文 参考訳（メタデータ） (2024-01-25T02:25:23Z) - FM-ViT: Flexible Modal Vision Transformers for Face Anti-Spoofing [88.6654909354382]
本稿では,顔のアンチ・スプーフィングのためのフレキシブル・モーダル・ビジョン・トランス (FM-ViT) と呼ばれる,純粋なトランスフォーマーベースのフレームワークを提案する。
FM-ViTは、利用可能なマルチモーダルデータの助けを借りて、任意の単一モーダル(すなわちRGB)攻撃シナリオを柔軟にターゲットすることができる。
実験により、FM-ViTに基づいてトレーニングされた単一モデルは、異なるモーダルサンプルを柔軟に評価できるだけでなく、既存のシングルモーダルフレームワークよりも大きなマージンで優れていることが示された。
論文 参考訳（メタデータ） (2023-05-05T04:28:48Z) - Efficient Split-Mix Federated Learning for On-Demand and In-Situ
Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。
本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文 参考訳（メタデータ） (2022-03-18T04:58:34Z) - Joint Superposition Coding and Training for Federated Learning over
Multi-Width Neural Networks [52.93232352968347]
本稿では,2つの相乗的技術,フェデレートラーニング(FL)と幅調整可能なスリムブルニューラルネットワーク(SNN)を統合することを目的とする。
FLは、ローカルに訓練されたモバイルデバイスのモデルを交換することによって、データのプライバシを保護している。しかしながら、SNNは、特に時間変化のあるチャネル条件との無線接続下では、非自明である。
局所モデル更新のためのグローバルモデル集約と重ね合わせ訓練(ST)に重ね合わせ符号化(SC)を併用した通信およびエネルギー効率の高いSNNベースFL(SlimFL)を提案する。
論文 参考訳（メタデータ） (2021-12-05T11:17:17Z) - Bi-Bimodal Modality Fusion for Correlation-Controlled Multimodal
Sentiment Analysis [96.46952672172021]
Bi-Bimodal Fusion Network (BBFN) は、2対のモダリティ表現で融合を行う新しいエンドツーエンドネットワークである。
モデルは、モダリティ間の既知の情報不均衡により、2つのバイモーダルペアを入力として取る。
論文 参考訳（メタデータ） (2021-07-28T23:33:42Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z) - Ternary Compression for Communication-Efficient Federated Learning [17.97683428517896]
フェデレートされた学習は、プライバシ保護とセキュアな機械学習に対する潜在的なソリューションを提供する。
本稿では,第3次フェデレーション平均化プロトコル(T-FedAvg)を提案する。
その結果,提案したT-FedAvgは通信コストの低減に有効であり,非IIDデータの性能も若干向上できることがわかった。
論文 参考訳（メタデータ） (2020-03-07T11:55:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。