Fugu-MT 論文翻訳(概要): Better Generative Replay for Continual Federated Learning

論文の概要: Better Generative Replay for Continual Federated Learning

arxiv url: http://arxiv.org/abs/2302.13001v1
Date: Sat, 25 Feb 2023 06:26:56 GMT
ステータス: 処理完了
システム内更新日: 2023-02-28 19:35:50.236574
Title: Better Generative Replay for Continual Federated Learning
Title（参考訳）: 継続的なフェデレーション学習のためのジェネレーティブリプレイの改善
Authors: Daiqing Qi, Handong Zhao, Sheng Li
Abstract要約: フェデレートラーニング(Federated Learning)とは、分散クライアントからコミュニケーションを通じて学習する集中型サーバを実現する技術である。本稿では,クライアントが新たなタスクを段階的に学習し,履歴データを格納できない連続的フェデレーション学習の問題を紹介する。我々は,モデル統合と整合性強化という,シンプルだが効果的な2つの解を用いたFedCILモデルを提案する。
参考スコア（独自算出の注目度）: 20.57194599280318
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Federated learning is a technique that enables a centralized server to learn from distributed clients via communications without accessing the client local data. However, existing federated learning works mainly focus on a single task scenario with static data. In this paper, we introduce the problem of continual federated learning, where clients incrementally learn new tasks and history data cannot be stored due to certain reasons, such as limited storage and data retention policy. Generative replay based methods are effective for continual learning without storing history data, but adapting them for this setting is challenging. By analyzing the behaviors of clients during training, we find that the unstable training process caused by distributed training on non-IID data leads to a notable performance degradation. To address this problem, we propose our FedCIL model with two simple but effective solutions: model consolidation and consistency enforcement. Our experimental results on multiple benchmark datasets demonstrate that our method significantly outperforms baselines.
Abstract（参考訳）: フェデレートラーニング(Federated Learning)とは、分散サーバがクライアントのローカルデータにアクセスすることなく、コミュニケーションを通じて分散クライアントから学習できる技術である。しかし、既存の連合学習は主に静的データを持つ単一のタスクシナリオに焦点を当てている。本稿では, クライアントが新たなタスクを段階的に学習し, 履歴データを保存できないという, 限定ストレージやデータ保持ポリシなどの特定の理由から, 連立学習の問題を紹介する。生成的再生に基づく手法は履歴データを保存せずに連続的な学習に有効であるが,この設定に適応することは困難である。トレーニング中のクライアントの挙動を解析することにより,非IIDデータに対する分散トレーニングによる不安定なトレーニングプロセスが,顕著なパフォーマンス劣化をもたらすことがわかった。この問題に対処するため,我々は,モデル統合と一貫性の強制という2つの単純かつ効果的なソリューションを備えたフェデシルモデルを提案する。複数のベンチマークデータセットに対する実験結果から,本手法がベースラインを著しく上回ることを示す。

関連論文リスト

Offline Reinforcement Learning from Datasets with Structured Non-Stationarity [50.35634234137108]
現在の強化学習(RL)は、成功するポリシーを学ぶのに必要な大量のデータによって制限されることが多い。本稿では,データセットを収集しながら,各エピソードの遷移と報酬関数が徐々に変化するが,各エピソード内で一定に保たれるような新しいオフラインRL問題に対処する。本稿では、オフラインデータセットにおけるこの非定常性を識別し、ポリシーのトレーニング時にそれを説明し、評価中に予測するContrastive Predictive Codingに基づく手法を提案する。
論文参考訳（メタデータ） (2024-05-23T02:41:36Z)
Blockchain-enabled Trustworthy Federated Unlearning [50.01101423318312]
フェデレートアンラーニング(Federated Unlearning)は、分散クライアントのデータオーナシップを保護するための、有望なパラダイムである。既存の作業では、分散クライアントからの履歴モデルパラメータを保持するために、中央サーバが必要である。本稿では,ブロックチェーンによる信頼性の高いフェデレーションアンラーニングフレームワークを提案する。
論文参考訳（メタデータ） (2024-01-29T07:04:48Z)
FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Don't Memorize; Mimic The Past: Federated Class Incremental Learning Without Episodic Memory [36.4406505365313]
本稿では,過去のデータの一部を格納するのではなく,生成モデルを用いて過去の分布からサンプルを合成する,連邦化クラスインクリメンタルラーニングのためのフレームワークを提案する。生成モデルは、クライアントからデータを要求することなく、各タスクの最後にデータフリーのメソッドを使用してサーバ上でトレーニングされる。
論文参考訳（メタデータ） (2023-07-02T07:06:45Z)
Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
論文参考訳（メタデータ） (2023-03-07T14:11:01Z)
Federated Unlearning: How to Efficiently Erase a Client in FL? [9.346673106489742]
訓練されたグローバルモデルからローカルデータ全体の影響を除去し,クライアントを消去する手法を提案する。当社のアンラーニング手法は,スクラッチからフェデレート・リトレーニングを行うためのゴールド・スタンダード・アンラーニング手法と同等の性能を達成している。以前の作業とは異なり、我々のアンラーニングメソッドは、トレーニングに使用されるデータへのグローバルアクセスも、サーバまたはクライアントによって格納されるパラメータ更新履歴も必要としません。
論文参考訳（メタデータ） (2022-07-12T13:24:23Z)
Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal [27.64806509651952]
FLシナリオにおける漸進的な学習プロセスに対処する新しいアルゴリズムを提案する。まず、クライアントデータのプライバシーを確保するために、ディープ変分埋め込み(Deep Variational Embeddings)を提案する。第2に,学習した知識をモデルでリハーサルするサーバサイドトレーニング手法を提案する。
論文参考訳（メタデータ） (2021-10-19T02:26:35Z)
Federated Multi-Target Domain Adaptation [99.93375364579484]
フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
論文参考訳（メタデータ） (2021-08-17T17:53:05Z)
Federated Few-Shot Learning with Adversarial Learning [30.905239262227]
少数のラベル付きサンプルだけで、見えないデータクラスを分類できる、数ショットの分類モデルを学ぶための、数ショット学習フレームワークを提案する。学習視覚タスクは10%以上,言語タスクは5%以上,私たちのアプローチはベースラインよりも優れています。
論文参考訳（メタデータ） (2021-04-01T09:44:57Z)
Federated Learning with Taskonomy for Non-IID Data [0.0]
タスクノミーによる連合学習を導入する。ワンオフプロセスでは、サーバーはクライアントに事前に訓練された(そして微調整可能な)エンコーダを提供し、データを遅延表現に圧縮し、データの署名をサーバーに送信します。サーバは、マニホールド学習を通じてクライアント間のタスク関連性を学び、フェデレーション平均化の一般化を実行する。
論文参考訳（メタデータ） (2021-03-29T20:47:45Z)
Federated Residual Learning [53.77128418049985]
クライアントはローカルモデルを個別に訓練し、サーバ側で共有するモデルと共同で予測を行う。この新しいフェデレートされた学習フレームワークを使用することで、統合トレーニングが提供するパフォーマンス上のメリットをすべて享受しながら、中央共有モデルの複雑さを最小限にすることができる。
論文参考訳（メタデータ） (2020-03-28T19:55:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。