論文の概要: Coordinated Replay Sample Selection for Continual Federated Learning
- arxiv url: http://arxiv.org/abs/2310.15054v1
- Date: Mon, 23 Oct 2023 15:56:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 18:57:49.348800
- Title: Coordinated Replay Sample Selection for Continual Federated Learning
- Title（参考訳）: 連立学習のための協調的リプレイサンプル選択
- Authors: Jack Good, Jimit Majmudar, Christophe Dupuy, Jixuan Wang, Charith
Peris, Clement Chung, Richard Zemel, Rahul Gupta
- Abstract要約: 連立学習(FL)と連立学習(CL)を組み合わせた連続的連立学習(CFL)
CLの主な課題は、過去のデータから学んだことをテキストフォッジすることである。
プライベートデータを通信することなく、クライアント間の勾配に基づくリプレイサンプル選択をコーディネートする実用的なアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 22.048182463397968
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Continual Federated Learning (CFL) combines Federated Learning (FL), the
decentralized learning of a central model on a number of client devices that
may not communicate their data, and Continual Learning (CL), the learning of a
model from a continual stream of data without keeping the entire history. In
CL, the main challenge is \textit{forgetting} what was learned from past data.
While replay-based algorithms that keep a small pool of past training data are
effective to reduce forgetting, only simple replay sample selection strategies
have been applied to CFL in prior work, and no previous work has explored
coordination among clients for better sample selection. To bridge this gap, we
adapt a replay sample selection objective based on loss gradient diversity to
CFL and propose a new relaxation-based selection of samples to optimize the
objective. Next, we propose a practical algorithm to coordinate gradient-based
replay sample selection across clients without communicating private data. We
benchmark our coordinated and uncoordinated replay sample selection algorithms
against random sampling-based baselines with language models trained on a large
scale de-identified real-world text dataset. We show that gradient-based sample
selection methods both boost performance and reduce forgetting compared to
random sampling methods, with our coordination method showing gains early in
the low replay size regime (when the budget for storing past data is small).
- Abstract（参考訳）: continual federated learning(cfl)は、データ通信を行わない多数のクライアントデバイス上で中央モデルの分散学習であるフェデレーション学習(fl)と、履歴全体を保持せずに連続したデータストリームからモデルの学習を行うcontinual learning(cl)を組み合わせたものだ。
CLでは、主要な課題は、過去のデータから学んだことをtextit{forgetting}です。
過去のトレーニングデータのプールを小さく保ったリプレイベースのアルゴリズムは、忘れを抑えるのに有効であるが、以前の作業では単純なリプレイサンプル選択戦略のみがCFLに適用されており、以前の作業では、より優れたサンプル選択のためのクライアント間のコーディネーションが検討されていない。
このギャップを埋めるために,損失勾配の多様性に基づくリプレイサンプル選択目標をcflに適用し,目標を最適化するために新たな緩和に基づくサンプル選択を提案する。
次に,個人データを通信することなく,クライアント間での勾配に基づくサンプル選択を調整できる実用的なアルゴリズムを提案する。
大規模非特定実世界テキストデータセット上で学習した言語モデルを用いたランダムサンプリングベースラインに対する,調整済みおよび非調整リプレイサンプル選択アルゴリズムのベンチマークを行った。
本手法は,低再生サイズ方式(過去のデータ保存予算が小さい場合)の早期に利得を示すとともに,ランダムサンプリング方式と比較して,勾配に基づくサンプル選択手法が性能の向上と誤りの低減を両立していることを示す。
関連論文リスト
- Cohort Squeeze: Beyond a Single Communication Round per Cohort in Cross-Device Federated Learning [51.560590617691005]
各コホートから「より多くのジュースを抽出できるかどうか」を単一の通信ラウンドでできることよりも検討する。
本手法は,デバイス間通信におけるFLモデルのトレーニングに必要な通信コストを最大74%削減する。
論文 参考訳（メタデータ） (2024-06-03T08:48:49Z) - Take the Bull by the Horns: Hard Sample-Reweighted Continual Training
Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。
本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。
次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文 参考訳（メタデータ） (2024-02-22T04:10:57Z) - Adaptive Federated Learning in Heterogeneous Wireless Networks with Independent Sampling [15.027267764009052]
Federated Learning (FL)アルゴリズムは、ストラグラー問題に対処し、通信効率を向上させるために、クライアントのランダムなサブセットをサンプリングする。
近年、様々なクライアントサンプリング手法が提案されているが、結合系やデータの不均一性には制限がある。
本稿では,FLのウォールクロック時間を最小限に抑えるため,新たなクライアントサンプリング手法を提案する。
論文 参考訳（メタデータ） (2024-02-15T16:51:38Z) - Enhancing Consistency and Mitigating Bias: A Data Replay Approach for
Incremental Learning [100.7407460674153]
ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。
問題を緩和するため、新しいタスクを学ぶ際に経験豊富なタスクのデータを再生する手法が提案されている。
しかし、メモリ制約やデータプライバシーの問題を考慮すると、実際には期待できない。
代替として、分類モデルからサンプルを反転させることにより、データフリーなデータ再生法を提案する。
論文 参考訳（メタデータ） (2024-01-12T12:51:12Z) - LEFL: Low Entropy Client Sampling in Federated Learning [6.436397118145477]
Federated Learning(FL)は、複数のクライアントが協力して、プライベートデータを使用して単一のグローバルモデルを最適化する、機械学習パラダイムである。
本稿では,モデルが学習した高レベルの特徴に基づいて,クライアントのクラスタリングを1回行うことで,新たなサンプリング手法LEFLを提案する。
提案手法で選択したサンプルクライアントは,グローバルなデータ分布に対して,相対エントロピーが低いことを示す。
論文 参考訳（メタデータ） (2023-12-29T01:44:20Z) - Combating Label Noise With A General Surrogate Model For Sample
Selection [84.61367781175984]
本稿では,視覚言語サロゲートモデルCLIPを用いて,雑音の多いサンプルを自動的にフィルタリングする手法を提案する。
提案手法の有効性を実世界および合成ノイズデータセットで検証した。
論文 参考訳（メタデータ） (2023-10-16T14:43:27Z) - FedSampling: A Better Sampling Strategy for Federated Learning [81.85411484302952]
フェデレートラーニング(FL)は、プライバシを保存する方法で分散化されたデータからモデルを学習するための重要なテクニックである。
既存のFLメソッドは通常、各ラウンドでローカルモデル学習のために一様にクライアントをサンプリングする。
フェデレート学習のための新しいデータ一様サンプリング戦略(FedSampling)を提案する。
論文 参考訳（メタデータ） (2023-06-25T13:38:51Z) - A Gradient-based Approach for Online Robust Deep Neural Network Training
with Noisy Labels [27.7867122240632]
本稿では,雑音ラベルのオンライン選択を可能にする新しい手法を提案する。
オンライングラディエントベースの選択選択(OGRS)は、パラメータ設定を変更することなく、さまざまなクリーン比を持つデータセットから更新するステップによって、クリーンサンプルを自動的に選択することができる。
論文 参考訳（メタデータ） (2023-06-08T08:57:06Z) - DPP-based Client Selection for Federated Learning with Non-IID Data [97.1195165400568]
本稿では,統合学習(FL)のコミュニケーションボトルネックに対処するクライアント選択(CS)手法を提案する。
まず、FLにおけるCSの効果を分析し、各学習ラウンドにおけるトレーニングデータセットの多様化に参加者を適切に選択することで、FLトレーニングを加速させることができることを示す。
我々は、データプロファイリングと決定点プロセス(DPP)サンプリング技術を活用し、DPPに基づく参加者選択(FL-DP$3$S)によるフェデレートラーニング(Federated Learning)と呼ばれるアルゴリズムを開発する。
論文 参考訳（メタデータ） (2023-03-30T13:14:54Z) - A Data Cartography based MixUp for Pre-trained Language Models [47.90235939359225]
MixUpは、トレーニング中にランダムなトレーニングサンプルとラベルを組み合わせて追加のサンプルを生成するデータ拡張戦略である。
トレーニングダイナミクスを活用した新しいMixUp戦略であるTDMixUpを提案する。
提案手法は, トレーニングデータの少ないサブセットと強いベースラインとを比較した場合, また, NLPタスクの領域内および領域外の両方で, トレーニング済み言語モデルであるBERTのキャリブレーション誤差が低いことを実証的に検証した。
論文 参考訳（メタデータ） (2022-05-06T17:59:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。