論文の概要: Efficient Federated Class-Incremental Learning of Pre-Trained Models via Task-agnostic Low-rank Residual Adaptation
- arxiv url: http://arxiv.org/abs/2505.12318v1
- Date: Sun, 18 May 2025 09:19:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.161537
- Title: Efficient Federated Class-Incremental Learning of Pre-Trained Models via Task-agnostic Low-rank Residual Adaptation
- Title(参考訳): タスク非依存型低ランク残差適応による事前学習モデルの効率的なフェデレーションクラスインクリメンタル学習
- Authors: Feng Yu, Jia Hu, Geyong Min,
- Abstract要約: Fed-TaLoRA(Federated Task-Agnostic Low-rank Residual Adaptation)
我々は,最小限のオーバーヘッドで正確な知識統合を実現するための,新たな残量更新機構を開発した。
我々の方法論的革新は,タスク非依存適応,ポストアグリゲーションモデル校正,LORAモジュールの戦略的配置の3つの主要な戦略に起因している。
- 参考スコア(独自算出の注目度): 22.454292668849035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated Parameter-Efficient Fine-Tuning (FedPEFT) reduces communication and computation costs in federated fine-tuning of pre-trained models by updating only a small subset of model parameters. However, existing approaches assume static data distributions, failing to adequately address real-world scenarios where new classes continually emerge, particularly in Federated Class Incremental Learning (FCIL). FCIL faces two key challenges: catastrophic forgetting and performance degradation caused by non-IID data across clients. Unlike current methods that maintain separate task-specific components or suffer from aggregation noise during parameter aggregation, we propose Federated Task-agnostic Low-rank Residual Adaptation (Fed-TaLoRA), a novel parameter-efficient approach for fine-tuning in resource-constrained FCIL scenarios. Specifically, we fine-tune only shared task-agnostic LoRA parameters across sequential tasks, effectively mitigating catastrophic forgetting while enabling efficient knowledge transfer among clients. Based on a theoretical analysis of aggregation, we develop a novel residual weight update mechanism that ensures accurate knowledge consolidation with minimal overhead. Our methodological innovations are attributed to three key strategies: task-agnostic adaptation, post-aggregation model calibration, and strategic placement of LoRA modules. Extensive experiments on multiple benchmark datasets demonstrate that Fed-TaLoRA consistently outperforms state-of-the-art methods in diverse data heterogeneity scenarios while substantially reducing resource requirements.
- Abstract(参考訳): FedPEFT (Federated Parameter-Efficient Fine-Tuning) は、モデルパラメータの小さなサブセットだけを更新することで、事前訓練されたモデルのファインチューニングにおける通信と計算コストを削減する。
しかし、既存のアプローチでは静的なデータ分散を前提としており、特にFCIL(Federated Class Incremental Learning)において、新しいクラスが絶えず出現する現実世界のシナリオに適切に対処できない。
FCILは2つの大きな課題に直面している。
パラメータアグリゲーション中に個別のタスク固有のコンポーネントを維持する、あるいはアグリゲーションノイズに悩まされる現在の方法とは異なり、リソース制約のあるFCILシナリオにおいて、パラメータを微調整するための新しい手法であるFed-TaLoRA(Federated Task-Agnostic Low-rank Residual Adaptation)を提案する。
具体的には,タスクに依存しないLoRAパラメータを逐次タスク間で共有し,クライアント間の効率的な知識伝達を可能にしながら,破滅的な忘れを効果的に軽減する。
本稿では,アグリゲーションの理論的解析に基づいて,最小限のオーバーヘッドで正確な知識統合を実現するための,新たな残量更新機構を開発する。
我々の方法論的革新は,タスク非依存適応,ポストアグリゲーションモデル校正,LORAモジュールの戦略的配置の3つの主要な戦略に起因している。
複数のベンチマークデータセットに対する大規模な実験により、Fed-TaLoRAは、さまざまなデータ不均一性シナリオにおける最先端メソッドを一貫して上回り、リソース要求を大幅に削減することを示した。
関連論文リスト
- A Survey on Parameter-Efficient Fine-Tuning for Foundation Models in Federated Learning [5.280048850098648]
ファンデーションモデルは、大規模データセットで事前トレーニングされた堅牢で汎用的なアーキテクチャを提供することによって、人工知能に革命をもたらした。
これらの巨大なモデルを特定の下流タスクに適用するには、微調整が必要である。
本調査は,フェデレート学習環境におけるPEFT技術の統合に関する総合的なレビューを提供する。
論文 参考訳(メタデータ) (2025-04-29T18:18:39Z) - Communication-Efficient and Personalized Federated Foundation Model Fine-Tuning via Tri-Matrix Adaptation [47.82423317739088]
本稿では, パーソナライズされたモデルパラメータアグリゲーションを用いた三要素化低ランク適応手法である通信効率のフェデレーションLoRA適応(CE-LoRA)を提案する。
各種LLMおよびVLM微調整タスクの実験により、CE-LoRAは通信オーバーヘッドを著しく低減するだけでなく、独立で同一の分散データ条件下での性能も向上することが示された。
論文 参考訳(メタデータ) (2025-03-31T09:18:42Z) - Retrieval Instead of Fine-tuning: A Retrieval-based Parameter Ensemble for Zero-shot Learning [22.748835458594744]
Retrievalをベースとする。
Ensemble (RPE) - ベクトル化されたデータベースを作成する新しい方法。
Low-Rank Adaptations (LoRA)
RPEは、広範囲なトレーニングの必要性を最小限に抑え、ラベル付きデータの要求を排除し、特にゼロショット学習に有効である。
RPEは、生のデータにアクセスせずにモデルパラメータを変更するため、ヘルスケアのようなプライバシに敏感なドメインに適している。
論文 参考訳(メタデータ) (2024-10-13T16:28:38Z) - Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。
In-Context Learning (ICL) など。
効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。
下流タスクへのLLM。
我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
論文 参考訳(メタデータ) (2024-09-30T10:48:20Z) - Achieving Byzantine-Resilient Federated Learning via Layer-Adaptive Sparsified Model Aggregation [7.200910949076064]
フェデレートラーニング(FL)は、複数のクライアントがローカルデータを共有せずに、協調的にモデルをトレーニングすることを可能にする。
しかし、FLシステムは、悪質なモデルの更新をアップロードすることでモデルのトレーニングプロセスを妨害することを目的とした、よく設計されたByzantine攻撃に対して脆弱である。
本稿では,階層的適応アグリゲーションと事前アグリゲーション・スパリフィケーションを組み合わせたLayer-Adaptive Sparsified Model Aggregation(LASA)手法を提案する。
論文 参考訳(メタデータ) (2024-09-02T19:28:35Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Task-Distributionally Robust Data-Free Meta-Learning [99.56612787882334]
Data-Free Meta-Learning (DFML)は、複数の事前学習モデルを活用することで、独自のトレーニングデータを必要とせずに、新しいタスクを効率的に学習することを目的としている。
TDS(Task-Distribution Shift)とTDC(Task-Distribution Corruption)の2つの大きな課題を初めて明らかにした。
論文 参考訳(メタデータ) (2023-11-23T15:46:54Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳(メタデータ) (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。