論文の概要: Dynamic Allocation Hypernetwork with Adaptive Model Recalibration for FCL

• arxiv url: http://arxiv.org/abs/2503.18064v1
• Date: Sun, 23 Mar 2025 13:12:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:37:52.229266
• Title: Dynamic Allocation Hypernetwork with Adaptive Model Recalibration for FCL
• Title（参考訳）: FCLの適応モデル校正による動的アロケーション・ハイパーネットワーク
• Authors: Xiaoming Qi, Jingyang Zhang, Huazhu Fu, Guanyu Yang, Shuo Li, Yueming Jin,
• Abstract要約: 適応型モデル再校正(textbfFedDAH)を用いた動的アロケーション・ハイパーネットワークの医療領域におけるサーバサイドFCLパターンを提案する。 バイアス最適化のために,従来のモデルの変更候補を現在のサーバ更新に組み込むために,新しい適応モデル再校正(AMR)を導入する。 AMOSデータセットの実験では、異なるタスクストリームを持つサイトの他のFCLメソッドよりもFedDAHの方が優れていることが示されています。
• 参考スコア（独自算出の注目度）: 49.508844889242425
• License:
• Abstract: Federated continual learning (FCL) offers an emerging pattern to facilitate the applicability of federated learning (FL) in real-world scenarios, where tasks evolve dynamically and asynchronously across clients, especially in medical scenario. Existing server-side FCL methods in nature domain construct a continually learnable server model by client aggregation on all-involved tasks. However, they are challenged by: (1) Catastrophic forgetting for previously learned tasks, leading to error accumulation in server model, making it difficult to sustain comprehensive knowledge across all tasks. (2) Biased optimization due to asynchronous tasks handled across different clients, leading to the collision of optimization targets of different clients at the same time steps. In this work, we take the first step to propose a novel server-side FCL pattern in medical domain, Dynamic Allocation Hypernetwork with adaptive model recalibration (\textbf{FedDAH}). It is to facilitate collaborative learning under the distinct and dynamic task streams across clients. To alleviate the catastrophic forgetting, we propose a dynamic allocation hypernetwork (DAHyper) where a continually updated hypernetwork is designed to manage the mapping between task identities and their associated model parameters, enabling the dynamic allocation of the model across clients. For the biased optimization, we introduce a novel adaptive model recalibration (AMR) to incorporate the candidate changes of historical models into current server updates, and assign weights to identical tasks across different time steps based on the similarity for continual optimization. Extensive experiments on the AMOS dataset demonstrate the superiority of our FedDAH to other FCL methods on sites with different task streams. The code is available:https://github.com/jinlab-imvr/FedDAH.
• Abstract（参考訳）: FCL(Federated Continuousal Learning)は、現実のシナリオにおいて、特に医療シナリオにおいて、クライアント間でタスクが動的に非同期に進化する、フェデレーション付き学習(FL)の適用性を促進する、新たなパターンを提供する。 既存のサーバサイドのFCLメソッドは、すべての関連するタスクに対してクライアントアグリゲーションによって継続的に学習可能なサーバモデルを構築します。 1) 以前に学習したタスクを忘れて、サーバモデルにエラーが蓄積され、すべてのタスクの包括的な知識を維持するのが難しくなる。 2) 異なるクライアント間で処理される非同期タスクによるバイアス最適化により、異なるクライアントの最適化ターゲットが同時に衝突する。 本研究では,適応型モデル再校正(\textbf{FedDAH})を用いた動的アロケーション・ハイパーネットワーク(動的アロケーション・ハイパーネットワーク)を提案する。 クライアント間で異なる動的タスクストリームの下での協調学習を容易にすること。 本稿では,タスクIDと関連するモデルパラメータのマッピングを継続的に更新し,クライアント間での動的アロケーションを可能にする動的アロケーション・ハイパーネットワーク(DAHyper)を提案する。 バイアス最適化では,従来のモデル変更候補を現在のサーバ更新に組み込むための新しい適応モデル再分類(AMR)を導入し,連続最適化の類似性に基づいて,異なる時間ステップで同じタスクに重みを割り当てる。 AMOSデータセットの大規模な実験は、異なるタスクストリームを持つサイトの他のFCLメソッドよりもFedDAHの方が優れていることを示す。 コードは、https://github.com/jinlab-imvr/FedDAH.comで入手できる。

関連論文リスト

• Merging Models on the Fly Without Retraining: A Sequential Approach to Scalable Continual Model Merging [75.93960998357812]
  ディープモデルマージ(Deep Modelmerging)は、複数の微調整モデルを組み合わせて、さまざまなタスクやドメインにまたがる能力を活用する、新たな研究方向を示すものだ。 現在のモデルマージ技術は、全ての利用可能なモデルを同時にマージすることに集中しており、重量行列に基づく手法が主要なアプローチである。 本稿では,モデルを逐次処理するトレーニングフリーなプロジェクションベース連続マージ手法を提案する。
  論文  参考訳（メタデータ） (2025-01-16T13:17:24Z)
• FedECADO: A Dynamical System Model of Federated Learning [15.425099636035108]
  フェデレーション学習は分散最適化の力を活用して、別々のクライアント間で統一された機械学習モデルをトレーニングする。 本研究は,フェデレート学習プロセスの動的システム表現にインスパイアされた新しいアルゴリズムであるFedECADOを提案する。 FedProxやFedNovaといった著名な技術と比較して、FedECADOは多くの異種シナリオにおいて高い分類精度を達成する。
  論文  参考訳（メタデータ） (2024-10-13T17:26:43Z)
• Collaborative and Efficient Personalization with Mixtures of Adaptors [5.195669033269619]
  Federated Low-Rank Adaptive Learning (FLoRAL)は、低ランクのアダプタを混在させることで、クライアントがグループをパーソナライズすることを可能にする。 FLoRALは、パーソナライズされたフェデレーション学習をマルチタスク学習問題として活用するモデルパラメータ化である。
  論文  参考訳（メタデータ） (2024-10-04T15:11:15Z)
• Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation [7.200910949076064]
  フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。 しかし、FLシステムは、悪質なモデルの更新をアップロードすることでモデルのトレーニングプロセスを妨害することを目的とした、よく設計されたByzantine攻撃に対して脆弱である。 本稿では,階層的適応アグリゲーションと事前アグリゲーション・スパリフィケーションを組み合わせたLayer-Adaptive Sparsified Model Aggregation(LASA)手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T19:28:35Z)
• Mamba-FSCIL: Dynamic Adaptation with Selective State Space Model for Few-Shot Class-Incremental Learning [113.89327264634984]
  FSCIL(Few-shot class-incremental Learning)は、最小限のトレーニングサンプルを持つモデルに新しいクラスを統合するという課題に直面している。 従来の手法では、固定パラメータ空間に依存する静的適応を広く採用し、逐次到着するデータから学習する。 本稿では、動的適応のための中間特徴に基づいてプロジェクションパラメータを動的に調整する2つの選択型SSMプロジェクタを提案する。
  論文  参考訳（メタデータ） (2024-07-08T17:09:39Z)
• Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
  Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。 TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
  論文  参考訳（メタデータ） (2023-11-23T15:46:54Z)
• FedHCA$^2$: Towards Hetero-Client Federated Multi-Task Learning [18.601886059536326]
  Federated Learning (FL)は、ローカルデータをプライベートに使用して、分散クライアント間の共同トレーニングを可能にする。 我々は,多様なタスク設定に対応するために,新しい問題設定であるヘテロクライアントフェデレーション・マルチタスク学習(HC-FMTL)を導入する。 我々は、異種クライアント間の関係をモデル化することでパーソナライズされたモデルのフェデレーショントレーニングを可能にするFedHCA$2$フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-22T09:12:50Z)
• Asynchronous Multi-Model Dynamic Federated Learning over Wireless Networks: Theory, Modeling, and Optimization [20.741776617129208]
  分散機械学習(ML)の鍵となる技術として、フェデレートラーニング(FL)が登場した。 まず、システムパラメータが学習性能に与える影響を捉えるために、長方形のスケジューリングステップと関数を定式化する。 我々の分析は、デバイストレーニング変数と非同期スケジューリング決定の協調的影響に光を当てている。
  論文  参考訳（メタデータ） (2023-05-22T21:39:38Z)
• Learning to Continuously Optimize Wireless Resource in a Dynamic Environment: A Bilevel Optimization Perspective [52.497514255040514]
  この研究は、データ駆動メソッドが動的環境でリソース割り当て戦略を継続的に学び、最適化することを可能にする新しいアプローチを開発しています。 学習モデルが新たなエピソードに段階的に適応できるように、連続学習の概念を無線システム設計に組み込むことを提案する。 我々の設計は、異なるデータサンプルにまたがる公平性を保証する、新しい二段階最適化定式化に基づいている。
  論文  参考訳（メタデータ） (2021-05-03T07:23:39Z)
• Learning to Continuously Optimize Wireless Resource In Episodically Dynamic Environment [55.91291559442884]
  この研究は、データ駆動型手法が動的環境で継続的に学習し、最適化できる方法論を開発する。 本稿では,無線システム学習のモデリングプロセスに連続学習の概念を構築することを提案する。 我々の設計は、異なるデータサンプル間で「一定の公正性を保証する」新しいmin-maxの定式化に基づいている。
  論文  参考訳（メタデータ） (2020-11-16T08:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。