Fugu-MT 論文翻訳(概要): Asynchronous Federated Continual Learning

論文の概要: Asynchronous Federated Continual Learning

arxiv url: http://arxiv.org/abs/2304.03626v1
Date: Fri, 7 Apr 2023 12:59:57 GMT
ステータス: 処理完了
システム内更新日: 2023-04-10 11:54:46.814969
Title: Asynchronous Federated Continual Learning
Title（参考訳）: 非同期フェデレーション連続学習
Authors: Donald Shenaj, Marco Toldo, Alberto Rigon, Pietro Zanuttigh
Abstract要約: 本稿では,複数のタスクの連続的な学習をクライアント毎に行う新しいフェデレーション学習環境(AFCL)を提案する。本稿では,プロトタイプベースの学習,表現損失,フラクタル事前学習,修正アグリゲーションポリシを用いて,この課題に取り組む。私たちのアプローチはFedSpaceと呼ばれ、CIFAR-100データセットで示されているように、このタスクに効果的に取り組みます。
参考スコア（独自算出の注目度）: 12.330326247154968
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The standard class-incremental continual learning setting assumes a set of tasks seen one after the other in a fixed and predefined order. This is not very realistic in federated learning environments where each client works independently in an asynchronous manner getting data for the different tasks in time-frames and orders totally uncorrelated with the other ones. We introduce a novel federated learning setting (AFCL) where the continual learning of multiple tasks happens at each client with different orderings and in asynchronous time slots. We tackle this novel task using prototype-based learning, a representation loss, fractal pre-training, and a modified aggregation policy. Our approach, called FedSpace, effectively tackles this task as shown by the results on the CIFAR-100 dataset using 3 different federated splits with 50, 100, and 500 clients, respectively. The code and federated splits are available at https://github.com/LTTM/FedSpace.
Abstract（参考訳）: 標準のclass-incremental continual learning設定は、固定および事前定義された順序で次々に見られる一連のタスクを仮定する。これは、各クライアントが非同期で独立して動作し、異なるタスクのデータをタイムフレームで取得するフェデレートされた学習環境ではあまり現実的ではありません。本稿では,複数のタスクの連続的な学習が各クライアントで異なる順序と非同期時間スロットで発生する,新しいフェデレーション学習環境(AFCL)を提案する。本稿では,プロトタイプベースの学習,表現損失,フラクタル事前学習,修正アグリゲーションポリシを用いて,この課題に取り組む。当社のアプローチであるfeedspaceは、50、100、500のクライアントで3つの異なるフェデレーションスプリットを使用してcifar-100データセットの結果から、このタスクに効果的に対応しています。コードと連邦分割はhttps://github.com/LTTM/FedSpace.comで公開されている。

関連論文リスト

FedAST: Federated Asynchronous Simultaneous Training [27.492821176616815]
フェデレートラーニング(FL)は、デバイスやクライアントがプライベートデータを共有せずに機械学習(ML)モデルを協調的にトレーニングすることを可能にする。 FLにおける既存の作業の多くは、1つのタスクのモデルを効率的に学習することに集中しています。本稿では,共通データセットを用いた複数のFLモデルの同時学習を提案する。
論文参考訳（メタデータ） (2024-06-01T05:14:20Z)
Loop Improvement: An Efficient Approach for Extracting Shared Features from Heterogeneous Data without Central Server [16.249442761713322]
LI(Loop Improvement)は、この分離と特徴抽出を、参加者間の中央サーバやデータ交換を必要とせずに強化する新しい手法である。パーソナライズされたフェデレーション学習環境では、LIは様々なシナリオで高度なFedALAアルゴリズムよりも精度が高い。 LIの適応性はマルチタスク学習にまで拡張され、タスク間で共通の機能の抽出が合理化され、同時にトレーニングする必要がなくなる。
論文参考訳（メタデータ） (2024-03-21T12:59:24Z)
Hierarchical Over-the-Air FedGradNorm [50.756991828015316]
MTL(Multi-task Learning)は、単一の共有ネットワークで複数の関連するタスクを同時に学習する学習パラダイムである。我々は,HOTA-FedGradNormと呼ばれる動的重み付け戦略を用いた階層的オーバー・ザ・エア(HOTA)PFLを提案する。
論文参考訳（メタデータ） (2022-12-14T18:54:46Z)
Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。 FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。 SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文参考訳（メタデータ） (2022-11-20T10:49:22Z)
Federated Continual Learning for Text Classification via Selective Inter-client Transfer [21.419581793986378]
本研究では,クラウドエッジ連続体におけるテキスト分類タスクにおいて,フェデレートラーニング(FL)と継続ラーニング(CL)の2つのパラダイムを組み合わせる。フェデレート・継続学習(FCL)の目的は、データを共有することなく、(関連的で効率的な)知識伝達により、各クライアントの生涯にわたってディープラーニングモデルを改善することである。ここでは、FCLセットアップにおけるクライアント間の不均一なタスクによる知識共有において、クライアント間の干渉を最小限に抑えることの課題に対処する。そこで本稿では,外部クライアントのモデルパラメータを選択的に組み合わせたFedSeIT(Federated Selective Inter-client Transfer)を提案する。
論文参考訳（メタデータ） (2022-10-12T11:24:13Z)
FedGradNorm: Personalized Federated Gradient-Normalized Multi-Task Learning [50.756991828015316]
マルチタスク学習(MTL)は、1つの共有ネットワークで複数のタスクを同時に学習する新しいフレームワークである。本稿では,異なるタスク間の学習速度のバランスをとるために,動的重み付け法を用いてノルムの正規化を行うFedGradNormを提案する。
論文参考訳（メタデータ） (2022-03-24T17:43:12Z)
Exploiting Shared Representations for Personalized Federated Learning [54.65133770989836]
本稿では,クライアント間の共有データ表現と,クライアント毎のユニークなローカルヘッダを学習するための,新しいフェデレーション学習フレームワークとアルゴリズムを提案する。提案アルゴリズムは, クライアント間の分散計算能力を利用して, 表現の更新毎に低次元の局所パラメータに対して, 多数の局所更新を行う。この結果は、データ分布間の共有低次元表現を学習することを目的とした、幅広い種類の問題に対するフェデレーション学習以上の関心を持っている。
論文参考訳（メタデータ） (2021-02-14T05:36:25Z)
FedSL: Federated Split Learning on Distributed Sequential Data in Recurrent Neural Networks [4.706263507340607]
フェデレートラーニング(FL)とスプリットラーニング(SL)はプライバシ保護マシンラーニング(ML)技術である。既存のFLとSLのアプローチは、水平または垂直に分割されたデータに作用する。本稿では,分散シーケンシャルデータに基づくモデルのトレーニングを行うための,新しいフェデレーション分割学習フレームワークであるFedSLを提案する。
論文参考訳（メタデータ） (2020-11-06T04:00:39Z)
Adversarial Continual Learning [99.56738010842301]
本稿では,タスク不変およびタスク特化機能に対する不整合表現を学習するハイブリッド連続学習フレームワークを提案する。本モデルでは,タスク固有のスキルの忘れを防止するためにアーキテクチャの成長と,共有スキルを維持するための経験的リプレイアプローチを組み合わせる。
論文参考訳（メタデータ） (2020-03-21T02:08:17Z)
Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
論文参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。