論文の概要: Recurrent Early Exits for Federated Learning with Heterogeneous Clients
- arxiv url: http://arxiv.org/abs/2405.14791v2
- Date: Mon, 27 May 2024 16:11:22 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-29 02:59:12.362675
- Title: Recurrent Early Exits for Federated Learning with Heterogeneous Clients
- Title（参考訳）: 不均質なクライアントによるフェデレーション学習のための繰り返し早期学習
- Authors: Royson Lee, Javier Fernandez-Marques, Shell Xu Hu, Da Li, Stefanos Laskaridis, Łukasz Dudziak, Timothy Hospedales, Ferenc Huszár, Nicholas D. Lane,
- Abstract要約: フェデレーテッド・ラーニング(FL)は、プライバシを保存する方法で、複数のクライアントにまたがるモデルの分散学習を可能にした。
FLの主な課題の1つは、クライアントに様々なハードウェア能力を持たせることである。
本稿では,異なるサブモデルの特徴を1つの共有分類器に融合するReeFLという早期終了手法を提案する。
- 参考スコア（独自算出の注目度）: 22.429334632124817
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning (FL) has enabled distributed learning of a model across multiple clients in a privacy-preserving manner. One of the main challenges of FL is to accommodate clients with varying hardware capacities; clients have differing compute and memory requirements. To tackle this challenge, recent state-of-the-art approaches leverage the use of early exits. Nonetheless, these approaches fall short of mitigating the challenges of joint learning multiple exit classifiers, often relying on hand-picked heuristic solutions for knowledge distillation among classifiers and/or utilizing additional layers for weaker classifiers. In this work, instead of utilizing multiple classifiers, we propose a recurrent early exit approach named ReeFL that fuses features from different sub-models into a single shared classifier. Specifically, we use a transformer-based early-exit module shared among sub-models to i) better exploit multi-layer feature representations for task-specific prediction and ii) modulate the feature representation of the backbone model for subsequent predictions. We additionally present a per-client self-distillation approach where the best sub-model is automatically selected as the teacher of the other sub-models at each client. Our experiments on standard image and speech classification benchmarks across various emerging federated fine-tuning baselines demonstrate ReeFL's effectiveness over previous works.
- Abstract（参考訳）: フェデレーテッド・ラーニング(FL)は、プライバシを保存する方法で、複数のクライアントにまたがるモデルの分散学習を可能にした。
FLの主な課題の1つは、クライアントに様々なハードウェア能力を持たせることである。
この課題に対処するため、最近の最先端のアプローチは早期出口の利用を活用している。
にもかかわらず、これらのアプローチは、複数の出口分類器を共同学習する際の課題を緩和するに足りず、しばしば、分類器間の知識蒸留や、より弱い分類器のための追加層の利用のために、手書きのヒューリスティックな解に頼っている。
本研究では,複数の分類器を使わずに,異なるサブモデルの特徴を1つの共有分類器に融合するReeFLという手法を提案する。
具体的には、サブモデル間で共有されるトランスフォーマーベースの早期退避モジュールを使用する。
一 タスク特化予測のための多層特徴表現の活用
二 後続の予測のために、バックボーンモデルの特徴表現を変調すること。
また,各クライアントにおける他のサブモデルの教師として,最高のサブモデルを自動的に選択する,クライアントごとの自己蒸留手法を提案する。
様々なファインチューニングベースラインにまたがる標準画像分類と音声分類のベンチマーク実験により、ReeFLが過去の研究よりも有効であることを実証した。
関連論文リスト
- Multi-Level Additive Modeling for Structured Non-IID Federated Learning [54.53672323071204]
我々は、異種クライアント間のより良い知識共有のために、マルチレベル付加モデル(MAM)と呼ばれるマルチレベル構造で編成されたモデルを訓練する。
フェデレートMAM(FeMAM)では、各クライアントは各レベル毎に少なくとも1つのモデルに割り当てられ、そのパーソナライズされた予測は、各レベルに割り当てられたモデルの出力を合計する。
実験により、FeMAMは既存のクラスタリングFLおよびパーソナライズされたFLメソッドを様々な非IID設定で超越していることが示された。
論文 参考訳（メタデータ） (2024-05-26T07:54:53Z) - Read Between the Layers: Leveraging Multi-Layer Representations for Rehearsal-Free Continual Learning with Pre-Trained Models [15.847302755988506]
本研究では,非定常分布から連続的なタスク列を学習しなければならない連続学習問題に対処する。
プレトレーニングネットワークの複数の中間層からの2次特徴統計量を利用する,CL に対する新しいプロトタイプベースのアプローチである LayUP を提案する。
その結果、CLにおける事前学習モデルの表現能力を完全に消耗させることは、最終的な埋め込みをはるかに超えることを示した。
論文 参考訳（メタデータ） (2023-12-13T13:11:44Z) - FeCAM: Exploiting the Heterogeneity of Class Distributions in
Exemplar-Free Continual Learning [21.088762527081883]
Exemplar-free class-incremental learning (CIL)は、以前のタスクからのデータのリハーサルを禁止しているため、いくつかの課題がある。
第1タスクの後に特徴抽出器を凍結して分類器を漸進的に学習する手法が注目されている。
凍結した特徴抽出器を用いて新しいクラスプロトタイプを生成するCILのプロトタイプネットワークを探索し,プロトタイプとのユークリッド距離に基づいて特徴を分類する。
論文 参考訳（メタデータ） (2023-09-25T11:54:33Z) - RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。
本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2023-07-05T12:49:02Z) - Complementary Learning Subnetworks for Parameter-Efficient
Class-Incremental Learning [40.13416912075668]
本稿では,2つの補完学習サブネットワークス間のシナジーを通じて連続的に学習するリハーサルフリーなCILアプローチを提案する。
提案手法は, 精度向上, メモリコスト, トレーニング効率, タスク順序など, 最先端手法と競合する結果が得られる。
論文 参考訳（メタデータ） (2023-06-21T01:43:25Z) - Multi-View Class Incremental Learning [57.14644913531313]
マルチビュー学習(MVL)は、下流タスクのパフォーマンスを改善するためにデータセットの複数の視点から情報を統合することで大きな成功を収めている。
本稿では,複数視点クラスインクリメンタルラーニング(MVCIL)と呼ばれる新しいパラダイムについて考察する。
論文 参考訳（メタデータ） (2023-06-16T08:13:41Z) - Mitigating Catastrophic Forgetting in Task-Incremental Continual
Learning with Adaptive Classification Criterion [50.03041373044267]
本稿では,継続的学習のための適応型分類基準を用いた教師付きコントラスト学習フレームワークを提案する。
実験により, CFLは最先端の性能を達成し, 分類基準に比べて克服する能力が強いことが示された。
論文 参考訳（メタデータ） (2023-05-20T19:22:40Z) - Enhancing Continual Relation Extraction via Classifier Decomposition [30.88081408988638]
連続的関係抽出モデルは、ストリーミングデータの古い関係を忘れずに新しい関係を扱うことを目的としている。
ほとんどのモデルは、モデルが最初に新しい関係の表現を学ぶときのみ、バニラ戦略を採用する。
我々は,最後のFFN層を分割した前と現在の分類器に分割する,シンプルで効果的な分類器分解フレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-08T11:29:33Z) - Federated Learning from Pre-Trained Models: A Contrastive Learning
Approach [43.893267526525904]
Federated Learning(FL)は、分散型クライアントがプライベートデータを共有せずに協調的に学習できる機械学習パラダイムである。
過剰な計算と通信要求は、現在のFLフレームワークに課題をもたらす。
本稿では、クライアントが複数の固定された事前学習モデルによって生成された表現を融合させることを共同で学習する軽量フレームワークを提案する。
論文 参考訳（メタデータ） (2022-09-21T03:16:57Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - UVeQFed: Universal Vector Quantization for Federated Learning [179.06583469293386]
フェデレートラーニング(FL)は、ユーザがプライベートラベル付きデータを共有することなく、そのような学習モデルをトレーニングする、新たなアプローチである。
FLでは、各ユーザが学習モデルのコピーをローカルにトレーニングする。その後、サーバは個々の更新を収集し、それらをグローバルモデルに集約する。
普遍ベクトル量子化法をFLと組み合わせることで、訓練されたモデルの圧縮が最小歪みのみを誘導する分散トレーニングシステムが得られることを示す。
論文 参考訳（メタデータ） (2020-06-05T07:10:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。