論文の概要: Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal

• arxiv url: http://arxiv.org/abs/2110.09695v1
• Date: Tue, 19 Oct 2021 02:26:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-20 14:45:27.713604
• Title: Tackling Dynamics in Federated Incremental Learning with Variational Embedding Rehearsal
• Title（参考訳）: 変分埋め込みリハーサルによるフェデレーションインクリメンタルラーニングにおけるタックリングダイナミクス
• Authors: Tae Jin Park and Kenichi Kumatani and Dimitrios Dimitriadis
• Abstract要約: FLシナリオにおける漸進的な学習プロセスに対処する新しいアルゴリズムを提案する。 まず、クライアントデータのプライバシーを確保するために、ディープ変分埋め込み(Deep Variational Embeddings)を提案する。 第2に,学習した知識をモデルでリハーサルするサーバサイドトレーニング手法を提案する。
• 参考スコア（独自算出の注目度）: 27.64806509651952
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated Learning is a fast growing area of ML where the training datasets are extremely distributed, all while dynamically changing over time. Models need to be trained on clients' devices without any guarantees for either homogeneity or stationarity of the local private data. The need for continual training has also risen, due to the ever-increasing production of in-task data. However, pursuing both directions at the same time is challenging, since client data privacy is a major constraint, especially for rehearsal methods. Herein, we propose a novel algorithm to address the incremental learning process in an FL scenario, based on realistic client enrollment scenarios where clients can drop in or out dynamically. We first propose using deep Variational Embeddings that secure the privacy of the client data. Second, we propose a server-side training method that enables a model to rehearse the previously learnt knowledge. Finally, we investigate the performance of federated incremental learning in dynamic client enrollment scenarios. The proposed method shows parity with offline training on domain-incremental learning, addressing challenges in both the dynamic enrollment of clients and the domain shifting of client data.
• Abstract（参考訳）: フェデレートラーニング(Federated Learning)は、トレーニングデータセットが極めて分散し、時間とともに動的に変化するMLの急成長する領域である。 モデルは、ローカルなプライベートデータの均一性または定常性を保証することなく、クライアントのデバイスでトレーニングする必要がある。 タスク内データの生産が増えているため、継続的なトレーニングの必要性も高まっている。 しかし、特にリハーサル手法では、クライアントデータプライバシが大きな制約であるため、両方の方向を同時に追求することは困難である。 本稿では,クライアントが動的に出入り可能な現実的なクライアント登録シナリオに基づいて,FLシナリオにおける漸進的な学習プロセスに対処する新しいアルゴリズムを提案する。 まず,クライアントデータのプライバシを保護するための,深い変動埋め込み方式を提案する。 第二に,モデルが学習した知識をリハーサルできるサーバサイドトレーニング手法を提案する。 最後に,動的クライアント登録シナリオにおけるフェデレーションインクリメンタル学習の性能について検討する。 提案手法は,クライアントの動的登録とクライアントデータのドメインシフトの両面での課題に対処し,ドメイン増分学習におけるオフライントレーニングと同等性を示す。

関連論文リスト

• FedLALR: Client-Specific Adaptive Learning Rates Achieve Linear Speedup for Non-IID Data [54.81695390763957]
  フェデレートラーニング(Federated Learning)は、分散機械学習の手法である。 我々は,AMSGradの異種局所変種であるFedLALRを提案し,各クライアントが学習率を調整する。 クライアントが指定した自動調整型学習率スケジューリングが,クライアント数に対して収束し,線形高速化を実現することを示す。
  論文  参考訳（メタデータ） (2023-09-18T12:35:05Z)
• Adapter-based Selective Knowledge Distillation for Federated Multi-domain Meeting Summarization [36.916155654985936]
  会議要約は、利用者に凝縮した要約を提供するための有望な手法として登場した。 本稿では,適応型選択的知識蒸留法(AdaFedSelecKD)を提案する。
  論文  参考訳（メタデータ） (2023-08-07T03:34:01Z)
• Elastically-Constrained Meta-Learner for Federated Learning [3.032797107899338]
  フェデレートラーニング(Federated Learning)とは、データ共有を禁止する複数のパーティを対象とした、協調的な機械学習モデルに対するアプローチである。 フェデレーション学習の課題の1つは、クライアント間の非制約データである。
  論文  参考訳（メタデータ） (2023-06-29T05:58:47Z)
• SalientGrads: Sparse Models for Communication Efficient and Data Aware Distributed Federated Training [1.0413504599164103]
  フェデレートラーニング(FL)は、データを収集せずにプライバシを保ちながら、クライアントサイトの分散データを活用したモデルのトレーニングを可能にする。 FLの重要な課題の1つは、リソース制限されたエッジクライアントノードにおける計算の制限と通信帯域の低さである。 本稿では,学習前にデータ認識サブネットワークを選択することで,スパーストレーニングのプロセスを簡単にするSalient Gradsを提案する。
  論文  参考訳（メタデータ） (2023-04-15T06:46:37Z)
• Better Generative Replay for Continual Federated Learning [20.57194599280318]
  フェデレートラーニング(Federated Learning)とは、分散クライアントからコミュニケーションを通じて学習する集中型サーバを実現する技術である。 本稿では,クライアントが新たなタスクを段階的に学習し,履歴データを格納できない連続的フェデレーション学習の問題を紹介する。 我々は,モデル統合と整合性強化という,シンプルだが効果的な2つの解を用いたFedCILモデルを提案する。
  論文  参考訳（メタデータ） (2023-02-25T06:26:56Z)
• DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
  非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。 自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。 本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
  論文  参考訳（メタデータ） (2022-11-20T06:13:06Z)
• Online Meta-Learning for Model Update Aggregation in Federated Learning for Click-Through Rate Prediction [2.9649783577150837]
  モデル更新を集約する戦略を学習するための簡単なオンラインメタ学習手法を提案する。 本手法は, 収束速度と最終学習結果の質の両方において, 最先端の手法を著しく上回っている。
  論文  参考訳（メタデータ） (2022-08-30T18:13:53Z)
• Straggler-Resilient Personalized Federated Learning [55.54344312542944]
  フェデレーション学習は、プライバシと通信の制限を尊重しながら、クライアントの大規模なネットワークに分散されたサンプルからのトレーニングモデルを可能にする。 これら2つのハードルを同時に処理する理論的なスピードアップを保証する新しいアルゴリズム手法を開発した。 提案手法は,すべてのクライアントのデータを用いてグローバルな共通表現を見つけ,各クライアントに対してパーソナライズされたソリューションにつながるパラメータの集合を学習するために,表現学習理論からのアイデアに依存している。
  論文  参考訳（メタデータ） (2022-06-05T01:14:46Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Multi-Target Domain Adaptation [99.93375364579484]
  フェデレートされた学習手法により、プライバシを保護しながら、分散ユーザデータ上で機械学習モデルをトレーニングすることが可能になります。 分散クライアントデータがラベル付けされず、集中型ラベル付きデータセットがサーバ上で利用可能となる、より実用的なシナリオを考えます。 本稿では,新しい課題に対処する効果的なDualAdapt法を提案する。
  論文  参考訳（メタデータ） (2021-08-17T17:53:05Z)
• Federated Continual Learning with Weighted Inter-client Transfer [79.93004004545736]
  我々は,新しい連合型連続学習フレームワークFederated Weighted Inter-client Transfer(FedWeIT)を提案する。 FedWeITは、ネットワークの重みをグローバルなフェデレーションパラメータとスパースなタスク固有のパラメータに分解し、各クライアントは他のクライアントから選択的な知識を受け取る。 我々はFedWeITを既存のフェデレーション学習法や継続学習法に対して検証し、我々のモデルは通信コストを大幅に削減してそれらを著しく上回っている。
  論文  参考訳（メタデータ） (2020-03-06T13:33:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。