論文の概要: Resource-Efficient Federated Multimodal Learning via Layer-wise and Progressive Training

• arxiv url: http://arxiv.org/abs/2407.15426v2
• Date: Mon, 21 Oct 2024 01:58:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 15:56:37.628750
• Title: Resource-Efficient Federated Multimodal Learning via Layer-wise and Progressive Training
• Title（参考訳）: 階層的・プログレッシブトレーニングによる資源効率の良いフェデレーション・マルチモーダル学習
• Authors: Ye Lin Tun, Chu Myaet Thwal, Minh N. H. Nguyen, Choong Seon Hong,
• Abstract要約: LW-FedMMLは,学習プロセスを複数の段階に分解する階層型多モーダル学習手法である。 提案手法の有効性を検証するため,様々なFLおよびマルチモーダル学習環境にまたがる広範囲な実験を行った。 具体的には、LW-FedMMLはメモリ使用量を最大2.7Times$、計算処理(FLOP)を2.4times$、通信総コストを2.3times$に削減する。
• 参考スコア（独自算出の注目度）: 15.462969044840868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining different data modalities enables deep neural networks to tackle complex tasks more effectively, making multimodal learning increasingly popular. To harness multimodal data closer to end users, it is essential to integrate multimodal learning with privacy-preserving approaches like federated learning (FL). However, compared to conventional unimodal learning, multimodal setting requires dedicated encoders for each modality, resulting in larger and more complex models. Training these models requires significant resources, presenting a substantial challenge for FL clients operating with limited computation and communication resources. To address these challenges, we introduce LW-FedMML, a layer-wise federated multimodal learning approach which decomposes the training process into multiple stages. Each stage focuses on training only a portion of the model, thereby significantly reducing the memory and computational requirements. Moreover, FL clients only need to exchange the trained model portion with the central server, lowering the resulting communication cost. We conduct extensive experiments across various FL and multimodal learning settings to validate the effectiveness of our proposed method. The results demonstrate that LW-FedMML can compete with conventional end-to-end federated multimodal learning (FedMML) while significantly reducing the resource burden on FL clients. Specifically, LW-FedMML reduces memory usage by up to $2.7\times$, computational operations (FLOPs) by $2.4\times$, and total communication cost by $2.3\times$. We also explore a progressive training approach called Prog-FedMML. While it offers lesser resource efficiency than LW-FedMML, Prog-FedMML has the potential to surpass the performance of end-to-end FedMML, making it a viable option for scenarios with fewer resource constraints.
• Abstract（参考訳）: 異なるデータモダリティを組み合わせることで、ディープニューラルネットワークは複雑なタスクにより効果的に取り組むことができ、マルチモーダル学習がますます人気になる。 エンドユーザに近いマルチモーダルデータを活用するためには,多モーダル学習と,フェデレートラーニング(FL)のようなプライバシ保護アプローチを統合することが不可欠である。 しかし、従来の単モーダル学習と比較して、多モーダル設定では各モーダルに対して専用エンコーダが必要であり、その結果、より大きくより複雑なモデルが得られる。 これらのモデルのトレーニングにはかなりのリソースが必要であり、限られた計算と通信資源で動くFLクライアントにとって大きな課題となる。 これらの課題に対処するため,レイヤワイドなマルチモーダル学習アプローチであるLW-FedMMLを導入し,学習プロセスを複数の段階に分割する。 各ステージはモデルの一部のみをトレーニングすることに集中し、それによってメモリと計算要求を大幅に削減する。 さらに、FLクライアントはトレーニング済みのモデル部分と中央サーバを交換するだけで、結果として発生する通信コストを削減できる。 提案手法の有効性を検証するため,様々なFLおよびマルチモーダル学習環境にまたがる広範囲な実験を行った。 その結果、LW-FedMMLは、FLクライアントのリソース負担を大幅に軽減しつつ、従来のエンドツーエンドのマルチモーダル学習(FedMML)と競合することを示した。 具体的には、LW-FedMMLはメモリ使用量を最大2.7\times$、計算演算(FLOP)を2.4\times$、通信総コストを2.3\times$に下げる。 プログレッシブトレーニングアプローチであるProg-FedMMLについても検討する。 リソース効率はLW-FedMMLより低いが、Prog-FedMMLはエンドツーエンドのFedMMLのパフォーマンスを上回る可能性があり、リソース制約が少ないシナリオでは実行可能な選択肢である。

関連論文リスト

• eFedLLM: Efficient LLM Inference Based on Federated Learning [1.6179784294541053]
  大言語モデル(LLMs)は人工知能(AI)の転換期を告げる 本稿では, LLM推論の運用効率と費用対効果を高める効果的な手法を提案する。
  論文  参考訳（メタデータ） (2024-11-24T22:50:02Z)
• LLMs Can Evolve Continually on Modality for X-Modal Reasoning [62.2874638875554]
  既存の手法は、モーダル固有の事前訓練とジョイント・モーダルチューニングに大きく依存しており、新しいモーダルへと拡張する際の計算上の負担が大きくなった。 PathWeaveは、Modal-Path sWitchingとExpAnsion機能を備えた柔軟でスケーラブルなフレームワークである。 PathWeaveは最先端のMLLMと互換性があり、パラメータトレーニングの負担を98.73%削減する。
  論文  参考訳（メタデータ） (2024-10-26T13:19:57Z)
• FactorLLM: Factorizing Knowledge via Mixture of Experts for Large Language Models [50.331708897857574]
  本稿では,高度に訓練された高密度FFNを余分なサブネットワークに分解する新しいアプローチであるFacterLLMを紹介する。 FactorLLMは、最大85%のモデル性能を確保しながら、推論速度を30%以上増加させながら、ソースモデルに匹敵するパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-08-15T16:45:16Z)
• Prioritizing Modalities: Flexible Importance Scheduling in Federated Multimodal Learning [5.421492821020181]
  Federated Learning(FL)は、デバイスがローカルデータを共有せずにモデルを協調的にトレーニングできる分散機械学習アプローチである。 FLを実世界のデータに適用することは、特に既存のFL研究が不正なデータに焦点を当てているため、課題を提示している。 我々は,各モードエンコーダのトレーニングリソースを適応的に割り当てることで,MFLにおける計算効率を向上させる新しい手法FlexModを提案する。
  論文  参考訳（メタデータ） (2024-08-13T01:14:27Z)
• MoExtend: Tuning New Experts for Modality and Task Extension [61.29100693866109]
  MoExtendは、Mixture-of-Experts (MoE)モデルのモダリティ適応と拡張を効率化する効果的なフレームワークである。 MoExtendは、新しいエキスパートをトレーニング済みのMoEモデルにシームレスに統合し、トレーニング済みのモデルをチューニングすることなく、新しい知識を提供する。
  論文  参考訳（メタデータ） (2024-08-07T02:28:37Z)
• CELLM: An Efficient Communication in Large Language Models Training for Federated Learning [0.0]
  本論文は,フェデレートラーニング(FL)における大規模言語モデル(LLM)の効率的な学習手法の開発を目的とする。 まず,ローランク適応(LoRA)を用いて局所モデルトレーニングの計算負荷を削減する。 第2に、コミュニケーションコストを大幅に削減するために、トレーニング全体を通してスパース更新を通信します。
  論文  参考訳（メタデータ） (2024-07-30T05:24:08Z)
• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• Fair Concurrent Training of Multiple Models in Federated Learning [32.74516106486226]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする。 近年のFLアプリケーションは、複数のFLタスクを同時にトレーニングする必要がある。 現在のMMFLアルゴリズムは、単純平均ベースのクライアントタスク割り当てスキームを使用している。 本稿では,各トレーニングラウンドにおけるタスクに動的にクライアントを割り当てる難易度認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-22T02:41:10Z)
• Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
  大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。 本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T07:31:51Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。