論文の概要: Personalized Federated Domain-Incremental Learning based on Adaptive Knowledge Matching

• arxiv url: http://arxiv.org/abs/2407.05005v1
• Date: Sat, 6 Jul 2024 08:57:22 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-09 21:28:00.707818
• Title: Personalized Federated Domain-Incremental Learning based on Adaptive Knowledge Matching
• Title（参考訳）: 適応的知識マッチングに基づく個人化フェデレーションドメインインクリメンタルラーニング
• Authors: Yichen Li, Wenchao Xu, Haozhao Wang, Ruixuan Li, Yining Qi, Jingcai Guo,
• Abstract要約: 適応型知識マッチングに基づくパーソナライズFDILアプローチ(pFedDIL)を提案する。 pFedDILでは、各クライアントが適切な漸進的なタスク学習戦略を利用できる。 pFedDILは、すべてのタスクの平均精度において、最先端のメソッドよりも14.35%高い性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 22.198621676777368
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper focuses on Federated Domain-Incremental Learning (FDIL) where each client continues to learn incremental tasks where their domain shifts from each other. We propose a novel adaptive knowledge matching-based personalized FDIL approach (pFedDIL) which allows each client to alternatively utilize appropriate incremental task learning strategy on the correlation with the knowledge from previous tasks. More specifically, when a new task arrives, each client first calculates its local correlations with previous tasks. Then, the client can choose to adopt a new initial model or a previous model with similar knowledge to train the new task and simultaneously migrate knowledge from previous tasks based on these correlations. Furthermore, to identify the correlations between the new task and previous tasks for each client, we separately employ an auxiliary classifier to each target classification model and propose sharing partial parameters between the target classification model and the auxiliary classifier to condense model parameters. We conduct extensive experiments on several datasets of which results demonstrate that pFedDIL outperforms state-of-the-art methods by up to 14.35\% in terms of average accuracy of all tasks.
• Abstract（参考訳）: 本稿では,FDIL(Federated Domain-Incremental Learning)に焦点を当て,各クライアントが相互にドメインがシフトする段階的なタスクを学習し続けている。 適応型知識マッチングに基づくパーソナライズFDIL手法 (pFedDIL) を提案する。 より具体的には、新しいタスクが到着すると、各クライアントはまず、そのローカルなタスクと前のタスクとの相関を計算する。 次に、クライアントは、新しい初期モデルまたは類似した知識を持つ前のモデルを採用して、新しいタスクをトレーニングし、これらの相関に基づいて、以前のタスクから知識を同時に移行することができる。 さらに,新たなタスクとクライアント毎のタスク間の相関関係を識別するために,各対象分類モデルに補助分類器を別々に使用し,対象分類モデルと補助分類器との間の部分的パラメータの共有を提案し,モデルパラメータを凝縮させる。 pFedDILは各タスクの平均精度を最大14.35倍に向上することを示した。

関連論文リスト

• Interpetable Target-Feature Aggregation for Multi-Task Learning based on Bias-Variance Analysis [53.38518232934096]
  マルチタスク学習(MTL)は、タスク間の共有知識を活用し、一般化とパフォーマンスを改善するために設計された強力な機械学習パラダイムである。 本稿では,タスククラスタリングと特徴変換の交点におけるMTL手法を提案する。 両段階において、鍵となる側面は減った目標と特徴の解釈可能性を維持することである。
  論文  参考訳（メタデータ） (2024-06-12T08:30:16Z)
• Personalized Federated Learning via Sequential Layer Expansion in Representation Learning [0.0]
  フェデレーション学習は、個々のクライアントデバイス上で分散トレーニングを行い、中央サーバでモデルウェイトのみを共有することによって、クライアントのプライバシを保証する。 本稿では,ディープラーニングモデル全体をより密に分割した部分に分割し,適切なスケジューリング手法を適用した表現学習に基づく新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-04-27T06:37:19Z)
• Learn What You Need in Personalized Federated Learning [53.83081622573734]
  $textitLearn2pFed$は、アルゴリズムに基づくパーソナライズされたフェデレーション学習フレームワークである。 我々は、textitLearn2pFed$が、従来のパーソナライズされたフェデレーション学習方法よりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-01-16T12:45:15Z)
• Personalized Federated Learning via Amortized Bayesian Meta-Learning [21.126405589760367]
  我々は,Amortized Bayesian Meta-Learningを通じて,パーソナライズド・フェデレーション・ラーニングの新しい視点を紹介する。 具体的には,クライアント間の階層的変動推論を用いたemphFedABMLという新しいアルゴリズムを提案する。 我々の理論解析は平均一般化誤差の上限を提供し、未知のデータに対する一般化性能を保証する。
  論文  参考訳（メタデータ） (2023-07-05T11:58:58Z)
• Personalized Federated Learning with Feature Alignment and Classifier Collaboration [13.320381377599245]
  データの不均一性は、フェデレートラーニングにおける最も難しい問題の1つです。 ディープニューラルネットワークベースのタスクにおけるそのようなアプローチの1つは、共有された特徴表現を採用し、クライアントごとにカスタマイズされた分類子ヘッドを学ぶことである。 本研究では,グローバルなセマンティックな知識を活用して,より優れた表現を学習することで,ローカル・グローバルな特徴アライメントを実現する。
  論文  参考訳（メタデータ） (2023-06-20T19:58:58Z)
• Collaborative Anomaly Detection [66.51075412012581]
  本研究では,タスク間の相関関係を埋め込むことで,全てのタスクを共同で学習するための協調的異常検出(CAD)を提案する。 条件密度推定と条件確率比推定を用いてCADを探索する。 タスク埋め込みモデルを学ぶために、前もって少数のタスクを選択し、それを使ってタスク埋め込みをウォームスタートさせることは有益である。
  論文  参考訳（メタデータ） (2022-09-20T18:01:07Z)
• KnowDA: All-in-One Knowledge Mixture Model for Data Augmentation in Few-Shot NLP [68.43279384561352]
  既存のデータ拡張アルゴリズムはタスク非依存のルールや微調整の汎用事前訓練言語モデルを利用する。 これらの手法は、簡単なタスク固有の知識を持ち、単純なタスクにおいて弱いベースラインのための低品質な合成データを得るに限られる。 我々は,様々なNLPタスクを予め学習したエンコーダ/デコーダLMの知識混合データ拡張モデル(KnowDA)を提案する。
  論文  参考訳（メタデータ） (2022-06-21T11:34:02Z)
• Decentralized adaptive clustering of deep nets is beneficial for client collaboration [0.7012240324005975]
  分散ピアツーピア環境における個別のディープラーニングモデルを学習する際の課題について検討する。 我々のコントリビューションは、各クライアントがローカルタスクの類似度推定に基づいて有益な協調を見出すアルゴリズムである。
  論文  参考訳（メタデータ） (2022-06-17T15:38:31Z)
• Federated Learning Aggregation: New Robust Algorithms with Guarantees [63.96013144017572]
  エッジでの分散モデルトレーニングのために、フェデレートラーニングが最近提案されている。 本稿では,連合学習フレームワークにおける集約戦略を評価するために,完全な数学的収束解析を提案する。 損失の値に応じてクライアントのコントリビューションを差別化することで、モデルアーキテクチャを変更できる新しい集約アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2022-05-22T16:37:53Z)
• Selecting Relevant Features from a Multi-domain Representation for Few-shot Classification [91.67977602992657]
  本稿では,従来の特徴適応手法よりもシンプルかつ効果的である特徴選択に基づく新しい戦略を提案する。 このような特徴の上に構築された単純な非パラメトリック分類器は高い精度を示し、訓練中に見たことのない領域に一般化する。
  論文  参考訳（メタデータ） (2020-03-20T15:44:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。