論文の概要: FedYolo: Augmenting Federated Learning with Pretrained Transformers

• arxiv url: http://arxiv.org/abs/2307.04905v1
• Date: Mon, 10 Jul 2023 21:08:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-12 17:03:01.140366
• Title: FedYolo: Augmenting Federated Learning with Pretrained Transformers
• Title（参考訳）: fedyolo: トレーニング済みトランスフォーマーによるフェデレーション学習の強化
• Authors: Xuechen Zhang, Mingchen Li, Xiangyu Chang, Jiasi Chen, Amit K. Roy-Chowdhury, Ananda Theertha Suresh, Samet Oymak
• Abstract要約: 本研究では,デバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討する。 大規模化により,代替手法間の精度ギャップが小さくなり,ロバスト性も向上することを示す。 最後に、クライアントは単一のPTFを使用して複数の無関係なタスクを同時に解決できる。
• 参考スコア（独自算出の注目度）: 61.56476056444933
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The growth and diversity of machine learning applications motivate a rethinking of learning with mobile and edge devices. How can we address diverse client goals and learn with scarce heterogeneous data? While federated learning aims to address these issues, it has challenges hindering a unified solution. Large transformer models have been shown to work across a variety of tasks achieving remarkable few-shot adaptation. This raises the question: Can clients use a single general-purpose model, rather than custom models for each task, while obeying device and network constraints? In this work, we investigate pretrained transformers (PTF) to achieve these on-device learning goals and thoroughly explore the roles of model size and modularity, where the latter refers to adaptation through modules such as prompts or adapters. Focusing on federated learning, we demonstrate that: (1) Larger scale shrinks the accuracy gaps between alternative approaches and improves heterogeneity robustness. Scale allows clients to run more local SGD epochs which can significantly reduce the number of communication rounds. At the extreme, clients can achieve respectable accuracy locally highlighting the potential of fully-local learning. (2) Modularity, by design, enables $>$100$\times$ less communication in bits. Surprisingly, it also boosts the generalization capability of local adaptation methods and the robustness of smaller PTFs. Finally, it enables clients to solve multiple unrelated tasks simultaneously using a single PTF, whereas full updates are prone to catastrophic forgetting. These insights on scale and modularity motivate a new federated learning approach we call "You Only Load Once" (FedYolo): The clients load a full PTF model once and all future updates are accomplished through communication-efficient modules with limited catastrophic-forgetting, where each task is assigned to its own module.
• Abstract（参考訳）: 機械学習アプリケーションの成長と多様性は、モバイルとエッジデバイスで学習を再考する動機となっている。 多様な顧客目標に対処し、少ない異種データで学ぶには、どうすればよいのか? 連合学習はこれらの問題に対処することを目的としているが、統一ソリューションを妨げる課題がある。 大規模なトランスモデルは様々なタスクにまたがって機能し、目覚ましい数発の適応を実現している。 クライアントは、デバイスとネットワークの制約に従って、各タスクのカスタムモデルではなく、単一の汎用モデルを使用することができますか? 本研究では,これらのデバイス上での学習目標を達成するための事前学習型トランスフォーマー(PTF)について検討し,モデルサイズとモジュール性の役割を徹底的に探求する。 1) 大規模化は, 代替手法間の精度ギャップを縮小し, 異質性頑健性を改善する。 スケールにより、クライアントはよりローカルなSGDエポックを実行でき、通信ラウンドの数を著しく削減できる。 極端に、クライアントは、完全にローカルな学習の可能性を強調して、局所的に、信頼できる精度を達成できます。 2) Modularityは設計上、$>100$\times$ ビットでの通信を減らすことができる。 驚くべきことに、局所適応法の一般化能力とより小さなPTFの堅牢性も向上する。 最後に、クライアントは単一のPTFを使用して複数の非関連タスクを同時に解決できるが、完全な更新は破滅的な忘れがちである。 クライアントは完全なPTFモデルを一度にロードし、将来のすべての更新は、各タスクが独自のモジュールに割り当てられる、破滅的なフォゲッティングの限られた通信効率の良いモジュールによって達成されます。

関連論文リスト

• Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
  マルチタスク学習問題に対処するパラメータ効率の枠組みを提案する。 FLoRAL(Federated Low-Rank Adaptive Learning)と呼ぶフレームワークがあります。 人工データセットと実世界のフェデレートされたマルチタスク問題に関する有望な実験結果を示す。
  論文  参考訳（メタデータ） (2024-10-04T15:11:15Z)
• SAPT: A Shared Attention Framework for Parameter-Efficient Continual Learning of Large Language Models [71.78800549517298]
  大規模言語モデル(LLM)を動的世界に展開するには,継続的な学習(CL)能力が不可欠である。 既存の方法は、パラメータ効率チューニング(PET)ブロックを用いてタスク固有の知識を取得するための学習モジュールと、テスト入力に対して対応するものを選択するための選択モジュールを考案する。 本稿では,共有注意学習と選択モジュールを通じてPET学習と選択を調整するための新しい共有注意フレームワーク(SAPT)を提案する。
  論文  参考訳（メタデータ） (2024-01-16T11:45:03Z)
• FedBone: Towards Large-Scale Federated Multi-Task Learning [13.835972363413884]
  現実世界のアプリケーションでは、視覚と自然言語のタスクは、高レベルの抽象的特徴を抽出するために大規模なモデルを必要とする。 既存のHFML手法は、マルチタスク最適化における勾配競合の影響を無視している。 我々はFedBoneと呼ばれる革新的なフレームワークを提案し、より優れた一般化を伴う大規模モデルの構築を可能にする。
  論文  参考訳（メタデータ） (2023-06-30T08:19:38Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Meta Knowledge Condensation for Federated Learning [65.20774786251683]
  既存のフェデレートされた学習パラダイムは通常、より強力なモデルを達成するために、中央の解決器で分散モデルを広範囲に交換する。 これにより、特にデータ分散が不均一である場合、サーバと複数のクライアントの間で深刻な通信負荷が発生します。 既存のパラダイムとは違って,フェデレート学習におけるコミュニケーションコストを大幅に削減する新たな視点を導入する。
  論文  参考訳（メタデータ） (2022-09-29T15:07:37Z)
• No One Left Behind: Inclusive Federated Learning over Heterogeneous Devices [79.16481453598266]
  この問題に対処するクライアント包摂的フェデレーション学習手法であるInclusiveFLを提案する。 InclusiveFLの中核となる考え方は、異なるサイズのモデルを異なる計算能力を持つクライアントに割り当てることである。 また,異なる大きさの複数の局所モデル間で知識を共有する効果的な手法を提案する。
  論文  参考訳（メタデータ） (2022-02-16T13:03:27Z)
• Comfetch: Federated Learning of Large Networks on Constrained Clients via Sketching [28.990067638230254]
  フェデレートラーニング(FL)は、エッジ上でのプライベートおよびコラボレーティブモデルトレーニングの一般的なパラダイムである。 我々は,グローバルニューラルネットワークの表現を用いて,クライアントが大規模ネットワークをトレーニングできる新しいアルゴリズムであるComdirectionalを提案する。
  論文  参考訳（メタデータ） (2021-09-17T04:48:42Z)
• Federated Few-Shot Learning with Adversarial Learning [30.905239262227]
  少数のラベル付きサンプルだけで、見えないデータクラスを分類できる、数ショットの分類モデルを学ぶための、数ショット学習フレームワークを提案する。 学習視覚タスクは10%以上,言語タスクは5%以上,私たちのアプローチはベースラインよりも優れています。
  論文  参考訳（メタデータ） (2021-04-01T09:44:57Z)
• UPDeT: Universal Multi-agent Reinforcement Learning via Policy Decoupling with Transformers [108.92194081987967]
  タスクに適合する1つのアーキテクチャを設計し、汎用的なマルチエージェント強化学習パイプラインを最初に試行する。 従来のRNNモデルとは異なり、トランスフォーマーモデルを用いてフレキシブルなポリシーを生成する。 提案方式はUPDeT(Universal Policy Decoupling Transformer)と名付けられ,動作制限を緩和し,マルチエージェントタスクの決定プロセスをより説明しやすいものにする。
  論文  参考訳（メタデータ） (2021-01-20T07:24:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。