論文の概要: On the Energy and Communication Efficiency Tradeoffs in Federated and Multi-Task Learning

• arxiv url: http://arxiv.org/abs/2212.01049v1
• Date: Fri, 2 Dec 2022 09:40:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 17:52:43.793586
• Title: On the Energy and Communication Efficiency Tradeoffs in Federated and Multi-Task Learning
• Title（参考訳）: フェデレーション・マルチタスク学習におけるエネルギー・通信効率トレードオフについて
• Authors: Stefano Savazzi, Vittorio Rampa, Sanaz Kianoush and Mehdi Bennis
• Abstract要約: マルチタスク学習(MTL)は、従来の伝達学習手法と比較して、タスク間の共通性を利用して効率を向上させる。 本稿では,MAML(Model-Agnostic Meta-Learning)パラダイムによって駆動され,分散無線ネットワークに実装されるMTLプロセスのエネルギーコストについて,初めて考察する。
• 参考スコア（独自算出の注目度）: 42.37180749113699
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in Federated Learning (FL) have paved the way towards the design of novel strategies for solving multiple learning tasks simultaneously, by leveraging cooperation among networked devices. Multi-Task Learning (MTL) exploits relevant commonalities across tasks to improve efficiency compared with traditional transfer learning approaches. By learning multiple tasks jointly, significant reduction in terms of energy footprints can be obtained. This article provides a first look into the energy costs of MTL processes driven by the Model-Agnostic Meta-Learning (MAML) paradigm and implemented in distributed wireless networks. The paper targets a clustered multi-task network setup where autonomous agents learn different but related tasks. The MTL process is carried out in two stages: the optimization of a meta-model that can be quickly adapted to learn new tasks, and a task-specific model adaptation stage where the learned meta-model is transferred to agents and tailored for a specific task. This work analyzes the main factors that influence the MTL energy balance by considering a multi-task Reinforcement Learning (RL) setup in a robotized environment. Results show that the MAML method can reduce the energy bill by at least 2 times compared with traditional approaches without inductive transfer. Moreover, it is shown that the optimal energy balance in wireless networks depends on uplink/downlink and sidelink communication efficiencies.
• Abstract（参考訳）: フェデレートラーニング(FL)の最近の進歩は、ネットワークデバイス間の協調を利用して、複数の学習タスクを同時に解決するための新しい戦略設計への道を開いた。 マルチタスク学習(MTL)は、従来の伝達学習手法と比較して、タスク間の共通性を利用して効率を向上させる。 複数のタスクを共同で学習することで、エネルギーフットプリントの大幅な削減が可能になる。 本稿では,MAML(Model-Agnostic Meta-Learning)パラダイムによって駆動され,分散無線ネットワークに実装されるMTLプロセスのエネルギーコストについて,初めて考察する。 論文は、自律エージェントが異なるが関連するタスクを学習する、クラスタ化されたマルチタスクネットワークの設定をターゲットにしている。 MTLプロセスは、新しいタスクの学習に迅速に適応できるメタモデルの最適化と、学習したメタモデルをエージェントに転送し、特定のタスクに合わせて調整するタスク固有のモデル適応ステージの2段階で行われる。 本研究は, ロボット環境におけるマルチタスク強化学習(RL)の設定を考慮し, MTLエネルギーバランスに影響を与える主な要因を分析する。 その結果,MAML法は誘導伝達を伴わない従来の手法に比べて,少なくとも2倍のエネルギー請求を削減できることがわかった。 さらに, 無線ネットワークにおける最適エネルギーバランスは, アップリンク/ダウンリンクおよびサイドリンク通信効率に依存することを示した。

関連論文リスト

• PEMT: Multi-Task Correlation Guided Mixture-of-Experts Enables Parameter-Efficient Transfer Learning [28.353530290015794]
  マルチタスク変換学習に基づくパラメータ効率の高いファインチューニングフレームワークPEMTを提案する。 我々は17のデータセットにまたがる幅広いタスクについて実験を行う。
  論文  参考訳（メタデータ） (2024-02-23T03:59:18Z)
• Dynamic Transformer Architecture for Continual Learning of Multimodal Tasks [27.59758964060561]
  トランスフォーマーニューラルネットワークは、さまざまなデータモダリティの幅広いアプリケーションにおいて、以前のアーキテクチャを置き換える傾向にある。 連続学習(CL)は、自律学習エージェントに順次到着するタスク間で知識の伝達を容易にすることで、ソリューションとして現れる。 本稿では,視覚と言語の両方に関わる学習タスクに着目したトランスフォーマーベースのCLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-27T03:03:30Z)
• Equitable Multi-task Learning [18.65048321820911]
  マルチタスク学習(MTL)は、CV、NLP、IRといった様々な研究領域で大きな成功を収めている。 本稿では,EMTLという新しいマルチタスク最適化手法を提案する。 本手法は,2つの研究領域の公開ベンチマークデータセットにおいて,最先端の手法よりも安定して性能を向上する。
  論文  参考訳（メタデータ） (2023-06-15T03:37:23Z)
• M$^3$ViT: Mixture-of-Experts Vision Transformer for Efficient Multi-task Learning with Model-Accelerator Co-design [95.41238363769892]
  マルチタスク学習(MTL)は、複数の学習タスクを単一のモデルにカプセル化し、それらのタスクを共同でよりよく学習できるようにする。 現在のMTLレギュレータは、1つのタスクだけを実行するためにさえ、ほぼすべてのモデルを起動する必要がある。 効率的なオンデバイスMTLを実現するためのモデル-アクセラレータ共設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-26T15:40:24Z)
• Sparsely Activated Mixture-of-Experts are Robust Multi-Task Learners [67.5865966762559]
  本研究では,Mixture-of-Experts (MoE) がマルチタスク学習を改善するかを検討した。 タスク認識ゲーティング関数を考案し、異なるタスクから専門の専門家にサンプルをルーティングする。 これにより、多数のパラメータを持つ疎活性化マルチタスクモデルが得られるが、高密度モデルの計算コストは同じである。
  論文  参考訳（メタデータ） (2022-04-16T00:56:12Z)
• Attentive Task Interaction Network for Multi-Task Learning [4.1372815372396525]
  ATI-Netは、各タスクに潜伏する特徴の知識蒸留を採用し、次に特徴マップを組み合わせて、デコーダに改善されたコンテキスト情報を提供する。 注目に基づくマルチタスクネットワークに知識蒸留を導入する新しいアプローチは,技術MTLベースラインの状態を上回ります。
  論文  参考訳（メタデータ） (2022-01-25T22:03:20Z)
• Energy-Efficient Multi-Orchestrator Mobile Edge Learning [54.28419430315478]
  Mobile Edge Learning(MEL)は、エッジデバイス上で機械学習(ML)モデルの分散トレーニングを特徴とする、協調学習パラダイムである。 MELでは、異なるデータセットで複数の学習タスクが共存する可能性がある。 本稿では, エネルギー消費, 精度, 解複雑性のトレードオフを容易にする軽量なアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-09-02T07:37:10Z)
• Energy-Efficient and Federated Meta-Learning via Projected Stochastic Gradient Ascent [79.58680275615752]
  エネルギー効率のよいメタラーニングフレームワークを提案する。 各タスクは別々のエージェントによって所有されていると仮定するため、メタモデルをトレーニングするために限られたタスクが使用される。
  論文  参考訳（メタデータ） (2021-05-31T08:15:44Z)
• Reparameterizing Convolutions for Incremental Multi-Task Learning without Task Interference [75.95287293847697]
  マルチタスクモデルを開発する際の2つの一般的な課題は、しばしば文献で見過ごされる。 まず、モデルを本質的に漸進的に可能にし、以前に学んだことを忘れずに新しいタスクから情報を継続的に取り入れる(インクリメンタルラーニング)。 第二に、タスク間の有害な相互作用を排除し、マルチタスク設定(タスク干渉)においてシングルタスクのパフォーマンスを著しく低下させることが示されている。
  論文  参考訳（メタデータ） (2020-07-24T14:44:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。