Fugu-MT 論文翻訳(概要): Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning

論文の概要: Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning

arxiv url: http://arxiv.org/abs/2408.06549v1
Date: Tue, 13 Aug 2024 01:14:27 GMT
ステータス: 処理完了
システム内更新日: 2024-08-14 18:56:02.675340
Title: Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning
Title（参考訳）: モダリティの優先順位付け:フェデレーション型マルチモーダル学習におけるフレキシブル・コンパタンス・スケジューリング
Authors: Jieming Bian, Lei Wang, Jie Xu,
Abstract要約: Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。 FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
参考スコア（独自算出の注目度）: 5.421492821020181
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated Learning (FL) is a distributed machine learning approach that enables devices to collaboratively train models without sharing their local data, ensuring user privacy and scalability. However, applying FL to real-world data presents challenges, particularly as most existing FL research focuses on unimodal data. Multimodal Federated Learning (MFL) has emerged to address these challenges, leveraging modality-specific encoder models to process diverse datasets. Current MFL methods often uniformly allocate computational frequencies across all modalities, which is inefficient for IoT devices with limited resources. In this paper, we propose FlexMod, a novel approach to enhance computational efficiency in MFL by adaptively allocating training resources for each modality encoder based on their importance and training requirements. We employ prototype learning to assess the quality of modality encoders, use Shapley values to quantify the importance of each modality, and adopt the Deep Deterministic Policy Gradient (DDPG) method from deep reinforcement learning to optimize the allocation of training resources. Our method prioritizes critical modalities, optimizing model performance and resource utilization. Experimental results on three real-world datasets demonstrate that our proposed method significantly improves the performance of MFL models.
Abstract（参考訳）: Federated Learning(FL)は、デバイスがローカルデータを共有せずに協調的にモデルをトレーニングし、ユーザのプライバシとスケーラビリティを確保する、分散機械学習アプローチである。しかしながら、FLを現実世界のデータに適用することは、特に既存のFL研究が一助データに焦点を当てているため、課題を呈している。 MFL(Multimodal Federated Learning)は、様々なデータセットを処理するためにモダリティ固有のエンコーダモデルを活用することで、これらの課題に対処するために登場した。現在のMFL法は、リソースが限られているIoTデバイスでは非効率な全てのモードで計算周波数を均一に割り当てることが多い。本稿では,各モダリティエンコーダのトレーニングリソースを,その重要性とトレーニング要件に基づいて適応的に割り当てることにより,MFLにおける計算効率を向上させる新しいアプローチであるFlexModを提案する。我々は,モダリティエンコーダの品質を評価するためにプロトタイプ学習を採用し,各モダリティの重要性を定量化するためにShapley値を使用し,深層強化学習からDeep Deterministic Policy Gradient(DDPG)手法を採用し,トレーニングリソースの割り当てを最適化する。本手法は,モデル性能と資源利用を最適化し,重要なモダリティを優先する。実世界の3つのデータセットに対する実験結果から,提案手法はMFLモデルの性能を大幅に向上させることが示された。

関連論文リスト

Client Contribution Normalization for Enhanced Federated Learning [4.726250115737579]
スマートフォンやラップトップを含むモバイルデバイスは、分散化された異種データを生成する。フェデレートラーニング(FL)は、データ共有のない分散デバイス間でグローバルモデルの協調トレーニングを可能にすることで、有望な代替手段を提供する。本稿では、FLにおけるデータ依存的不均一性に着目し、局所的に訓練されたモデルから抽出された平均潜在表現を活用する新しいアプローチを提案する。
論文参考訳（メタデータ） (2024-11-10T04:03:09Z)
Personalized Federated Learning Techniques: Empirical Analysis [2.9521571597754885]
我々は、様々なデータセットとデータ分割にまたがる10の卓越したpFL手法を実証的に評価し、その性能に有意な違いが判明した。本研究は,pFLのスケーリングにおける通信効率の重要な役割を強調し,実際の展開における資源利用にどのように影響するかを示す。
論文参考訳（メタデータ） (2024-09-10T18:16:28Z)
FedMAP: Unlocking Potential in Personalized Federated Learning through Bi-Level MAP Optimization [11.040916982022978]
フェデレートラーニング(FL)は、分散データに基づく機械学習モデルの協調トレーニングを可能にする。クライアント間でのデータはしばしば、クラス不均衡、特徴分散スキュー、サンプルサイズ不均衡、その他の現象によって大きく異なる。本稿では,バイレベル最適化を用いた新しいベイズPFLフレームワークを提案する。
論文参考訳（メタデータ） (2024-05-29T11:28:06Z)
A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
論文参考訳（メタデータ） (2024-01-09T10:22:23Z)
Analysis and Optimization of Wireless Federated Learning with Data Heterogeneity [72.85248553787538]
本稿では、データの不均一性を考慮した無線FLの性能解析と最適化と、無線リソース割り当てについて述べる。ロス関数の最小化問題を、長期エネルギー消費と遅延の制約の下で定式化し、クライアントスケジューリング、リソース割り当て、ローカルトレーニングエポック数(CRE)を共同で最適化する。実世界のデータセットの実験により、提案アルゴリズムは学習精度とエネルギー消費の点で他のベンチマークよりも優れていることが示された。
論文参考訳（メタデータ） (2023-08-04T04:18:01Z)
Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
論文参考訳（メタデータ） (2023-05-22T21:39:38Z)
Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
論文参考訳（メタデータ） (2023-03-23T02:42:10Z)
Federated Learning and Meta Learning: Approaches, Applications, and Directions [94.68423258028285]
本稿では,FL,メタラーニング,フェデレーションメタラーニング(FedMeta)について概観する。他のチュートリアルと異なり、私たちの目標はFL、メタラーニング、FedMetaの方法論をどのように設計、最適化、進化させ、無線ネットワーク上で応用するかを探ることです。
論文参考訳（メタデータ） (2022-10-24T10:59:29Z)
Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
論文参考訳（メタデータ） (2022-03-18T04:58:34Z)
Federated Multi-Task Learning under a Mixture of Distributions [10.00087964926414]
Federated Learning(FL)は、機械学習モデルのデバイス上での協調トレーニングのためのフレームワークである。 FLにおける最初の取り組みは、クライアント間で平均的なパフォーマンスを持つ単一のグローバルモデルを学ぶことに焦点を当てたが、グローバルモデルは、与えられたクライアントに対して任意に悪いかもしれない。我々は,各局所データ分布が未知の基底分布の混合であるというフレキシブルな仮定の下で,フェデレーションMTLについて検討した。
論文参考訳（メタデータ） (2021-08-23T15:47:53Z)
Edge-assisted Democratized Learning Towards Federated Analytics [67.44078999945722]
本稿では,エッジ支援型民主化学習機構であるEdge-DemLearnの階層的学習構造を示す。また、Edge-DemLearnを柔軟なモデルトレーニングメカニズムとして検証し、リージョンに分散制御と集約の方法論を構築する。
論文参考訳（メタデータ） (2020-12-01T11:46:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。