論文の概要: MAS: Towards Resource-Efficient Federated Multiple-Task Learning

• arxiv url: http://arxiv.org/abs/2307.11285v1
• Date: Fri, 21 Jul 2023 01:04:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-24 14:00:56.797657
• Title: MAS: Towards Resource-Efficient Federated Multiple-Task Learning
• Title（参考訳）: MAS:資源効率の良いマルチタスク学習を目指して
• Authors: Weiming Zhuang, Yonggang Wen, Lingjuan Lyu, Shuai Zhang
• Abstract要約: Federated Learning(FL)は、分散型エッジデバイス上でのその場でモデルトレーニングを可能にする、新興の分散機械学習手法である。 本稿では,複数の同時FLタスクを効果的にコーディネートし,訓練するための最初のFLシステムを提案する。 我々は、複数のFLタスクを同時に学習する際の性能を最適化するために、新しいアプローチであるMAS(Merge and Split)を提案する。
• 参考スコア（独自算出の注目度）: 29.60567693814403
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) is an emerging distributed machine learning method that empowers in-situ model training on decentralized edge devices. However, multiple simultaneous FL tasks could overload resource-constrained devices. In this work, we propose the first FL system to effectively coordinate and train multiple simultaneous FL tasks. We first formalize the problem of training simultaneous FL tasks. Then, we present our new approach, MAS (Merge and Split), to optimize the performance of training multiple simultaneous FL tasks. MAS starts by merging FL tasks into an all-in-one FL task with a multi-task architecture. After training for a few rounds, MAS splits the all-in-one FL task into two or more FL tasks by using the affinities among tasks measured during the all-in-one training. It then continues training each split of FL tasks based on model parameters from the all-in-one training. Extensive experiments demonstrate that MAS outperforms other methods while reducing training time by 2x and reducing energy consumption by 40%. We hope this work will inspire the community to further study and optimize training simultaneous FL tasks.
• Abstract（参考訳）: Federated Learning(FL)は、分散型エッジデバイス上でのその場でモデルトレーニングを可能にする、新興の分散機械学習手法である。 しかし、複数のFLタスクがリソース制約されたデバイスをオーバーロードする可能性がある。 本研究では,複数の同時flタスクを効率的に調整・訓練する初のflシステムを提案する。 まず,同時flタスクの学習問題を定式化する。 次に,複数の同時flタスクの学習性能を最適化するために,mas(merge and split)という新しい手法を提案する。 MASは、FLタスクをマルチタスクアーキテクチャでオールインワンのFLタスクにマージすることから始まる。 数ラウンドのトレーニングの後、MASはオールインワンのFLタスクを2つ以上のFLタスクに分割し、オールインワンのトレーニング中に測定されたタスク間の親和性を利用する。 その後、オールインワンのトレーニングからモデルパラメータに基づいてFLタスクの分割をトレーニングする。 大規模な実験により、MASは訓練時間を2倍に減らし、エネルギー消費を40%減らしながら、他の方法よりも優れていることが示された。 この取り組みがコミュニティにさらなる研究を促し、同時FLタスクのトレーニングを最適化することを期待しています。

関連論文リスト

• Fair Concurrent Training of Multiple Models in Federated Learning [32.74516106486226]
  フェデレートラーニング(FL)は、複数のクライアント間で協調学習を可能にする。 近年のFLアプリケーションは、複数のFLタスクを同時にトレーニングする必要がある。 現在のMMFLアルゴリズムは、単純平均ベースのクライアントタスク割り当てスキームを使用している。 本稿では,各トレーニングラウンドにおけるタスクに動的にクライアントを割り当てる難易度認識アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-22T02:41:10Z)
• A Survey on Efficient Federated Learning Methods for Foundation Model Training [62.473245910234304]
  フェデレーテッド・ラーニング(FL)は、多数のクライアントにわたるプライバシー保護協調トレーニングを促進するための確立した技術となっている。 Foundation Models (FM)の後、多くのディープラーニングアプリケーションでは現実が異なる。 FLアプリケーションに対するパラメータ効率細調整(PEFT)の利点と欠点について論じる。
  論文  参考訳（メタデータ） (2024-01-09T10:22:23Z)
• MetisFL: An Embarrassingly Parallelized Controller for Scalable & Efficient Federated Learning Workflows [1.9874264019909988]
  フェデレーション・ラーニング(FL)システムは通常、フェデレーション・コントローラと学習者という2つのコア・プロセス・エンティティから構成される。 このニーズに応えるために,フェデレーションコントローラが第一級市民であるMetisFLと呼ばれる新しいFLシステムを設計・開発した。 メティスFLは、大規模なFLの訓練を加速するために、フェデレーションコントローラによって行われた全ての操作を再設計する。
  論文  参考訳（メタデータ） (2023-11-01T07:01:19Z)
• Automated Federated Learning in Mobile Edge Networks -- Fast Adaptation and Convergence [83.58839320635956]
  フェデレートラーニング(FL)は、モバイルエッジネットワークで機械学習モデルを分散的にトレーニングするために使用することができる。 最近のFLは、モデルに依存しないメタラーニング(MAML)フレームワークで解釈されている。 本稿は,MAMLがFLにもたらすメリットと,モバイルエッジネットワーク上でのメリットの最大化について論じる。
  論文  参考訳（メタデータ） (2023-03-23T02:42:10Z)
• Multi-Job Intelligent Scheduling with Cross-Device Federated Learning [65.69079337653994]
  フェデレートラーニング(FL)は、センシティブな生データを共有せずに、協調的なグローバル機械学習モデルのトレーニングを可能にする。 本稿では,複数のジョブを並列にトレーニングできる新しいマルチジョブFLフレームワークを提案する。 本稿では,元来の強化学習に基づくスケジューリング手法と元来のベイズ最適化に基づくスケジューリング手法を含む,複数のスケジューリング手法に基づく新しいインテリジェントスケジューリング手法を提案する。
  論文  参考訳（メタデータ） (2022-11-24T06:17:40Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Smart Multi-tenant Federated Learning [16.025681567222477]
  本研究では,マルチテナントFLシステムである MuFL を提案する。 まず、マルチテナントFLの問題を定式化し、マルチテナントFLシナリオを定義し、バニラ多テナントFLシステムを導入し、アクティビティを逐次トレーニングしてベースラインを形成する。 実験により、MuFLは40%のエネルギーを消費しながら他の方法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2022-07-09T06:22:39Z)
• Efficient Split-Mix Federated Learning for On-Demand and In-Situ Customization [107.72786199113183]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに学習をコラボレーションするための分散ラーニングフレームワークを提供する。 本稿では, モデルサイズとロバスト性をその場でカスタマイズできる, 不均一な参加者のための新しいスプリット・ミクス・FL戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-18T04:58:34Z)
• Efficient Device Scheduling with Multi-Job Federated Learning [64.21733164243781]
  本稿では,複数のジョブの並列学習プロセスを実現するための,新しいマルチジョブフェデレーション学習フレームワークを提案する。 コストを最小化しつつ、複数のジョブに対してデバイスをスケジュールする強化学習法とベイズ最適化法を提案する。 提案手法は,トレーニング時間(最大8.67倍高速)と精度(最大44.6%高)において,ベースラインアプローチよりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-12-11T08:05:11Z)
• Papaya: Practical, Private, and Scalable Federated Learning [6.833772874570774]
  クロスデバイス・フェデレーション・ラーニング(FL)は分散学習パラダイムであり、いくつかの課題がある。 文献で説明されているほとんどのFLシステムは同期であり、個々のクライアントからモデル更新を同期で集約します。 本稿では,実運用における非同期FLシステムの設計について概説する。
  論文  参考訳（メタデータ） (2021-11-08T23:46:42Z)
• How Does Cell-Free Massive MIMO Support Multiple Federated Learning Groups? [42.63398054091038]
  本研究では,複数のFLプロセスの安定動作を保証するために,セルフリーなマルチインプット多重出力(MIMO)ネットワークを提案する。 次に、マルチキャストダウンリンクおよび従来のアップリンク送信プロトコルの下でFLプロセスの繰り返しを非同期に実行する新しいスキームを開発する。
  論文  参考訳（メタデータ） (2021-07-20T15:46:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。