論文の概要: Resource-Efficient Federated Multimodal Learning via Layer-wise and Progressive Training

• arxiv url: http://arxiv.org/abs/2407.15426v1
• Date: Mon, 22 Jul 2024 07:06:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-23 15:50:49.972242
• Title: Resource-Efficient Federated Multimodal Learning via Layer-wise and Progressive Training
• Title（参考訳）: 階層的・プログレッシブトレーニングによる資源効率の良いフェデレーション・マルチモーダル学習
• Authors: Ye Lin Tun, Chu Myaet Thwal, Minh N. H. Nguyen, Choong Seon Hong,
• Abstract要約: マルチモーダル学習と、フェデレートラーニング(FL)のようなプライバシー保護トレーニングアプローチを統合することが不可欠である。 LW-FedMMLはレイヤワイドなマルチモーダル学習手法であり,学習プロセスを複数のステップに分割する。 提案手法の有効性を検証するため,様々なFLシナリオとマルチモーダル学習環境の広範な実験を行った。
• 参考スコア（独自算出の注目度）: 15.462969044840868
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Combining different data modalities enables deep neural networks to tackle complex tasks more effectively, making multimodal learning increasingly popular. To harness multimodal data closer to end users, it is essential to integrate multimodal learning with privacy-preserving training approaches such as federated learning (FL). However, compared to conventional unimodal learning, multimodal setting requires dedicated encoders for each modality, resulting in larger and more complex models that demand significant resources. This presents a substantial challenge for FL clients operating with limited computational resources and communication bandwidth. To address these challenges, we introduce LW-FedMML, a layer-wise federated multimodal learning approach, which decomposes the training process into multiple steps. Each step focuses on training only a portion of the model, thereby significantly reducing the memory and computational requirements. Moreover, FL clients only need to exchange the trained model portion with the central server, lowering the resulting communication cost. We conduct extensive experiments across various FL scenarios and multimodal learning setups to validate the effectiveness of our proposed method. The results demonstrate that LW-FedMML can compete with conventional end-to-end federated multimodal learning (FedMML) while significantly reducing the resource burden on FL clients. Specifically, LW-FedMML reduces memory usage by up to $2.7\times$, computational operations (FLOPs) by $2.4\times$, and total communication cost by $2.3\times$. We also introduce a progressive training approach called Prog-FedMML. While it offers lesser resource efficiency than LW-FedMML, Prog-FedMML has the potential to surpass the performance of end-to-end FedMML, making it a viable option for scenarios with fewer resource constraints.
• Abstract（参考訳）: 異なるデータモダリティを組み合わせることで、ディープニューラルネットワークは複雑なタスクにより効果的に取り組むことができ、マルチモーダル学習がますます人気になる。 エンドユーザに近いマルチモーダルデータを活用するためには,多モーダル学習と,フェデレートラーニング(FL)などのプライバシ保護トレーニングアプローチを統合することが不可欠である。 しかし、従来の単モーダル学習と比較して、マルチモーダル設定では各モダリティに専用のエンコーダを必要とするため、より大規模で複雑なモデルが大きなリソースを必要としている。 これは、限られた計算資源と通信帯域で動くFLクライアントにとって大きな課題となる。 これらの課題に対処するため,レイヤワイドなマルチモーダル学習アプローチであるLW-FedMMLを導入し,学習プロセスを複数のステップに分割する。 各ステップはモデルの一部のみをトレーニングすることに集中し、それによってメモリと計算要求を大幅に削減する。 さらに、FLクライアントはトレーニング済みのモデル部分と中央サーバを交換するだけで、結果として発生する通信コストを削減できる。 提案手法の有効性を検証するため,様々なFLシナリオとマルチモーダル学習設定の広範な実験を行った。 その結果、LW-FedMMLは、FLクライアントのリソース負担を大幅に軽減しつつ、従来のエンドツーエンドのマルチモーダル学習(FedMML)と競合することを示した。 具体的には、LW-FedMMLはメモリ使用量を最大2.7\times$、計算演算(FLOP)を2.4\times$、通信総コストを2.3\times$に下げる。 また,プログレッシブトレーニング手法であるProg-FedMMLを導入する。 リソース効率はLW-FedMMLより低いが、Prog-FedMMLはエンドツーエンドのFedMMLのパフォーマンスを上回る可能性があり、リソース制約が少ないシナリオでは実行可能な選択肢である。

関連論文リスト

• SoupLM: Model Integration in Large Language and Multi-Modal Models [51.12227693121004]
  大規模言語モデル(LLM)の訓練には、かなりの計算資源が必要である。 既存の公開LLMは通常、さまざまなタスクにまたがる、多種多様なプライベートにキュレートされたデータセットで事前トレーニングされる。
  論文  参考訳（メタデータ） (2024-07-11T05:38:15Z)
• Save It All: Enabling Full Parameter Tuning for Federated Large Language Models via Cycle Block Gradient Descent [15.463595798992621]
  大規模言語モデル(LLM)はディープラーニングパラダイムに革命をもたらし、幅広いタスクで印象的な結果をもたらしている。 既存のソリューションは、モデル全体がトレーニングのために交換されるという非現実的な仮定を定めている。 本稿では,資源消費を最小限に抑えつつ,FLにおけるLLMの効率的なトレーニングと微調整を行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-06-17T03:49:44Z)
• Fair Concurrent Training of Multiple Models in Federated Learning [32.74516106486226]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする。 近年のFLアプリケーションは、複数のFLタスクを同時にトレーニングする必要がある。 現在のMMFLアルゴリズムは、単純平均ベースのクライアントタスク割り当てスキームを使用している。 本稿では,各トレーニングラウンドにおけるタスクに動的にクライアントを割り当てる難易度認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-22T02:41:10Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• An Incentive Mechanism for Federated Learning Based on Multiple Resource Exchange [5.385462087305977]
  Federated Learning(FL)は、機械学習におけるプライバシー問題に対処する分散機械学習パラダイムである。 ユーザをモデルオーナ(MO)とデータオーナ(DO)の2つの役割に分類する。 提案した協調計算フレームワークは、FLタスクの完了までの全体の時間を最小化しつつ、95%以上の精度を達成可能であることを示す。
  論文  参考訳（メタデータ） (2023-12-13T12:28:37Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)
• RHFedMTL: Resource-Aware Hierarchical Federated Multi-Task Learning [11.329273673732217]
  フェデレーション学習は、セキュリティを備えた大規模な分散ノード上でAIを可能にする効果的な方法である。 複数の基地局(BS)と端末をまたいだマルチタスク学習を維持しながら、プライバシを確保することは困難である。 本稿では, セルラーワークの自然雲-BS-末端階層に着想を得て, 資源を考慮した階層型MTL (RHFedMTL) ソリューションを提案する。
  論文  参考訳（メタデータ） (2023-06-01T13:49:55Z)
• Efficient Multimodal Fusion via Interactive Prompting [62.08292938484994]
  大規模事前学習は、コンピュータビジョンや自然言語処理のような一助的な分野を新しい時代にもたらした。 本稿では,一様事前学習型変圧器の融合に適した効率的かつ柔軟な多モード融合法PMFを提案する。
  論文  参考訳（メタデータ） (2023-04-13T07:31:51Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Federated Learning over Wireless IoT Networks with Optimized Communication and Resources [98.18365881575805]
  協調学習技術のパラダイムとしてのフェデレートラーニング(FL)は研究の注目を集めている。 無線システム上での高速応答および高精度FLスキームの検証が重要である。 提案する通信効率のよいフェデレーション学習フレームワークは,強い線形速度で収束することを示す。
  論文  参考訳（メタデータ） (2021-10-22T13:25:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。