Fugu-MT 論文翻訳(概要): Federated Continual Learning with Weighted Inter-client Transfer

論文の概要: Federated Continual Learning with Weighted Inter-client Transfer

arxiv url: http://arxiv.org/abs/2003.03196v5
Date: Mon, 14 Jun 2021 07:57:18 GMT
ステータス: 処理完了
システム内更新日: 2022-12-26 00:43:50.849492
Title: Federated Continual Learning with Weighted Inter-client Transfer
Title（参考訳）: 重み付きクライアント間転送を用いた連続学習
Authors: Jaehong Yoon, Wonyong Jeong, Giwoong Lee, Eunho Yang, Sung Ju Hwang
Abstract要約: 我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
参考スコア（独自算出の注目度）: 79.93004004545736
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: There has been a surge of interest in continual learning and federated learning, both of which are important in deep neural networks in real-world scenarios. Yet little research has been done regarding the scenario where each client learns on a sequence of tasks from a private local data stream. This problem of federated continual learning poses new challenges to continual learning, such as utilizing knowledge from other clients, while preventing interference from irrelevant knowledge. To resolve these issues, we propose a novel federated continual learning framework, Federated Weighted Inter-client Transfer (FedWeIT), which decomposes the network weights into global federated parameters and sparse task-specific parameters, and each client receives selective knowledge from other clients by taking a weighted combination of their task-specific parameters. FedWeIT minimizes interference between incompatible tasks, and also allows positive knowledge transfer across clients during learning. We validate our FedWeIT against existing federated learning and continual learning methods under varying degrees of task similarity across clients, and our model significantly outperforms them with a large reduction in the communication cost. Code is available at https://github.com/wyjeong/FedWeIT
Abstract（参考訳）: 継続的な学習とフェデレーション学習への関心が高まっており、どちらも現実世界のシナリオにおけるディープニューラルネットワークにおいて重要である。しかし、各クライアントがプライベートなローカルデータストリームから一連のタスクを学習するシナリオについてはほとんど研究されていない。この連立連続学習の問題は、他のクライアントからの知識を利用して、無関係な知識からの干渉を防ぎながら、継続的な学習に新たな課題をもたらす。そこで本稿では,ネットワークの重み付けをグローバルフェデレーションパラメータとスパースタスク固有パラメータに分解し,各クライアントがタスク固有パラメータの重み付けの組み合わせを用いて他のクライアントから選択した知識を受信する,新しいフェデレーション型連続学習フレームワークであるfederated weighted inter-client transfer (fedweit)を提案する。 FedWeITは互換性のないタスク間の干渉を最小限にし、学習中にクライアント間でポジティブな知識伝達を可能にする。我々はFedWeITを、クライアント間でのタスク類似度の違いによる既存のフェデレーション学習および継続学習手法に対して検証し、通信コストを大幅に削減して、その性能を著しく向上させる。コードはhttps://github.com/wyjeong/FedWeITで入手できる。

関連論文リスト

FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
論文参考訳（メタデータ） (2023-09-18T12:35:05Z)
Masked Autoencoders are Efficient Continual Federated Learners [20.856520787551453]
継続的な学習は、クライアント間で共有される表現の教師なしの学習に基礎を置くべきです。分布推定のためのマスク付きオートエンコーダはこの設定に特に適している。
論文参考訳（メタデータ） (2023-06-06T09:38:57Z)
When Do Curricula Work in Federated Learning? [56.88941905240137]
カリキュラム学習は非IID性を大幅に軽減する。クライアント間でデータ配布を多様化すればするほど、学習の恩恵を受けるようになる。本稿では,クライアントの現実的格差を生かした新しいクライアント選択手法を提案する。
論文参考訳（メタデータ） (2022-12-24T11:02:35Z)
FedKNOW: Federated Continual Learning with Signature Task Knowledge Integration at Edge [35.80543542333692]
本稿では,FedKNOWを提案する。 FedKNOWは、署名タスクの知識を継続的に抽出し統合するクライアントサイドソリューションである。我々は,FedKNOWがモデルトレーニング時間を増やすことなく,63.24%の精度向上を実現し,通信コストを34.28%削減し,困難なシナリオ下でのさらなる改善を実現していることを示す。
論文参考訳（メタデータ） (2022-12-04T04:03:44Z)
Knowledge-Aware Federated Active Learning with Non-IID Data [75.98707107158175]
本稿では,アノテーション予算に制限のあるグローバルモデルを効率的に学習するための,連合型アクティブラーニングパラダイムを提案する。フェデレートされたアクティブラーニングが直面する主な課題は、サーバ上のグローバルモデルのアクティブサンプリング目標と、ローカルクライアントのアクティブサンプリング目標とのミスマッチである。本稿では,KSAS (Knowledge-Aware Federated Active Learning) とKCFU (Knowledge-Compensatory Federated Update) を組み合わせた,知識対応型アクティブ・ラーニング(KAFAL)を提案する。
論文参考訳（メタデータ） (2022-11-24T13:08:43Z)
FedClassAvg: Local Representation Learning for Personalized Federated Learning on Heterogeneous Neural Networks [21.613436984547917]
我々は、フェデレーション分類器平均化(FedClassAvg)と呼ばれる、新しいパーソナライズされたフェデレーション学習手法を提案する。 FedClassAvgは、特徴空間上の決定境界に関する合意として重みを集約する。異質なパーソナライズされたフェデレーション学習タスクにおいて、現在の最先端のアルゴリズムよりも優れた性能を示す。
論文参考訳（メタデータ） (2022-10-25T08:32:08Z)
Federated Continual Learning for Text Classification via Selective Inter-client Transfer [21.419581793986378]
本研究では,クラウドエッジ連続体におけるテキスト分類タスクにおいて,フェデレートラーニング(FL)と継続ラーニング(CL)の2つのパラダイムを組み合わせる。フェデレート・継続学習(FCL)の目的は、データを共有することなく、(関連的で効率的な)知識伝達により、各クライアントの生涯にわたってディープラーニングモデルを改善することである。ここでは、FCLセットアップにおけるクライアント間の不均一なタスクによる知識共有において、クライアント間の干渉を最小限に抑えることの課題に対処する。そこで本稿では,外部クライアントのモデルパラメータを選択的に組み合わせたFedSeIT(Federated Selective Inter-client Transfer)を提案する。
論文参考訳（メタデータ） (2022-10-12T11:24:13Z)
Addressing Client Drift in Federated Continual Learning with Adaptive Optimization [10.303676184878896]
本稿では,NetTailorを連続学習候補として活用することにより,FCL(Federated Continual Learning)を実現するための枠組みを概説する。適応型フェデレーション最適化は,クライアントドリフトの悪影響を低減し,CIFAR100,MiniImagenet,Deathlonベンチマーク上での有効性を示す。
論文参考訳（メタデータ） (2022-03-24T20:00:03Z)
FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文参考訳（メタデータ） (2022-03-24T17:43:12Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。