論文の概要: Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning

• arxiv url: http://arxiv.org/abs/2506.05977v1
• Date: Fri, 06 Jun 2025 10:59:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.438986
• Title: Mitigating Catastrophic Forgetting with Adaptive Transformer Block Expansion in Federated Fine-Tuning
• Title（参考訳）: フェデレートファインチューニングにおける適応型変圧器ブロック拡張による破砕前兆の緩和
• Authors: Yujia Huo, Jianchun Liu, Hongli Xu, Zhenguo Ma, Shilong Wang, Liusheng Huang,
• Abstract要約: 大規模言語モデル(LLM)のFedFT(Federated Fine-tuning)は、分散データ環境にモデルを適用するための有望なソリューションとして登場した。 適応型トランスフォーマーブロック拡張機構と動的トレーニング可能なブロック割り当て戦略を統合した新しいFedFTフレームワークであるFedBEを提案する。 その結果、FedBEは、下流タスクの精度を劣化させることなく、微調整後の一般タスクにおける12～74%の精度保持と1.9～3.1xのモデル収束促進比を実現していることがわかった。
• 参考スコア（独自算出の注目度）: 25.121545962121907
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated fine-tuning (FedFT) of large language models (LLMs) has emerged as a promising solution for adapting models to distributed data environments while ensuring data privacy. Existing FedFT methods predominantly utilize parameter-efficient fine-tuning (PEFT) techniques to reduce communication and computation overhead. However, they often fail to adequately address the catastrophic forgetting, a critical challenge arising from continual adaptation in distributed environments. The traditional centralized fine-tuning methods, which are not designed for the heterogeneous and privacy-constrained nature of federated environments, struggle to mitigate this issue effectively. Moreover, the challenge is further exacerbated by significant variation in data distributions and device capabilities across clients, which leads to intensified forgetting and degraded model generalization. To tackle these issues, we propose FedBE, a novel FedFT framework that integrates an adaptive transformer block expansion mechanism with a dynamic trainable-block allocation strategy. Specifically, FedBE expands trainable blocks within the model architecture, structurally separating newly learned task-specific knowledge from the original pre-trained representations. Additionally, FedBE dynamically assigns these trainable blocks to clients based on their data distributions and computational capabilities. This enables the framework to better accommodate heterogeneous federated environments and enhances the generalization ability of the model.Extensive experiments show that compared with existing federated fine-tuning methods, FedBE achieves 12-74% higher accuracy retention on general tasks after fine-tuning and a model convergence acceleration ratio of 1.9-3.1x without degrading the accuracy of downstream tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)のフェデレートファインチューニング(FedFT)は、データプライバシを確保しながら、分散データ環境にモデルを適応するための有望なソリューションとして登場した。 既存のFedFT手法は主にパラメータ効率の細かい調整(PEFT)技術を用いて通信と計算のオーバーヘッドを削減する。 しかし、それらはしばしば、分散環境における継続的な適応から生じる致命的な挑戦である破滅的な忘れに適切に対処することができない。 従来の集中的な微調整手法は、フェデレーション環境の異質でプライバシーに制約のある性質のために設計されていないが、この問題を効果的に緩和するのに苦労している。 さらに、クライアント間でのデータ分散やデバイス能力の大幅な変化により、この課題はさらに悪化している。 これらの課題に対処するために,適応型トランスフォーマーブロック拡張機構と動的トレーニング可能なブロック割り当て戦略を統合する新しいFedFTフレームワークであるFedBEを提案する。 具体的には、FedBEはモデルアーキテクチャ内のトレーニング可能なブロックを拡張し、新しく学習されたタスク固有の知識と元のトレーニング済みの表現を構造的に分離する。 さらにFedBEは、これらのトレーニング可能なブロックを、データ分散と計算能力に基づいてクライアントに動的に割り当てる。 これにより、不均一なフェデレーション環境の適合性が向上し、モデルの一般化能力を高めることができ、既存のフェデレーション微調整法と比較して、FedBEは、下流タスクの精度を劣化させることなく、微調整後の一般タスクにおける12～74%の精度保持と1.9～3.1xのモデル収束加速比を実現している。

関連論文リスト

• FedAWA: Adaptive Optimization of Aggregation Weights in Federated Learning Using Client Vectors [50.131271229165165]
  Federated Learning (FL)は、分散機械学習のための有望なフレームワークとして登場した。 ユーザの行動、好み、デバイス特性の相違から生じるデータの異質性は、連合学習にとって重要な課題である。 本稿では,学習過程におけるクライアントベクトルに基づくアダプティブ重み付けを適応的に調整する手法であるAdaptive Weight Aggregation (FedAWA)を提案する。
  論文  参考訳（メタデータ） (2025-03-20T04:49:40Z)
• Invariant Federated Learning for Edge Intelligence: Mitigating Heterogeneity and Asynchrony via Exit Strategy and Invariant Penalty [10.54196990763149]
  本稿では,資源制約付きエッジインテリジェンスのための不変なフェデレーション学習システムを提案する。 退避戦略と不変ペナルティを通じて異質性や非同期性の影響を軽減することができる。 その結果,本システムは分散処理性能を向上し,Out-Of-Distributionの一般化において最先端のアルゴリズムより優れていることを示す。
  論文  参考訳（メタデータ） (2025-03-08T10:47:27Z)
• FedRTS: Federated Robust Pruning via Combinatorial Thompson Sampling [12.067872131025231]
  フェデレートラーニング(FL)は、データ共有なしで分散クライアント間で協調的なモデルトレーニングを可能にする。 現在の手法では、疎密性を維持しながらスパースモデルトポロジを周期的に調整することで、動的プルーニングを用いて効率を向上させる。 我々は,堅牢なスパースモデルの開発を目的とした新しいフレームワークであるThompson Sampling (FedRTS) によるフェデレートロバスト刈取を提案する。
  論文  参考訳（メタデータ） (2025-01-31T13:26:22Z)
• Robust Federated Learning in the Face of Covariate Shift: A Magnitude Pruning with Hybrid Regularization Framework for Enhanced Model Aggregation [1.519321208145928]
  Federated Learning(FL)は、共有モデルの共同開発を目指す個人に対して、有望なフレームワークを提供する。 クライアント間のデータの分散の変化は、主に集約プロセスの不安定性によって、FL方法論に大きく影響します。 本稿では,個々のパラメータのプルーニングと正規化技術を組み合わせて,個々のクライアントモデルのロバスト性を向上する新しいFLフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-12-19T16:22:37Z)
• Towards Resource-Efficient Federated Learning in Industrial IoT for Multivariate Time Series Analysis [50.18156030818883]
  異常と欠落したデータは、産業応用における厄介な問題を構成する。 ディープラーニングによる異常検出が重要な方向として現れている。 エッジデバイスで収集されたデータは、ユーザのプライバシを含む。
  論文  参考訳（メタデータ） (2024-11-06T15:38:31Z)
• Addressing Data Heterogeneity in Federated Learning with Adaptive Normalization-Free Feature Recalibration [1.33512912917221]
  フェデレートラーニング(Federated Learning)は、ステークホルダーのデータ所有を保護し、パフォーマンスと一般化を改善した分散コラボレーティブトレーニングパラダイムである。 本稿では、重み付け標準化とチャネルアテンションを組み合わせたアーキテクチャレベルの手法である、適応正規化自由特徴校正(ANFR)を提案する。
  論文  参考訳（メタデータ） (2024-10-02T20:16:56Z)
• GIFD: A Generative Gradient Inversion Method with Feature Domain Optimization [52.55628139825667]
  Federated Learning(FL)は、クライアントのプライバシを保護するための有望な分散機械学習フレームワークとして登場した。 近年の研究では、事前学習された生成逆ネットワーク(GAN)を事前知識として活用することにより、攻撃者が共有勾配を逆転し、FLシステムに対する機密データを回復できることが示されている。 textbfGradient textbfInversion over textbfFeature textbfDomains (GIFD)を提案する。
  論文  参考訳（メタデータ） (2023-08-09T04:34:21Z)
• Personalized Federated Learning under Mixture of Distributions [98.25444470990107]
  本稿では,ガウス混合モデル(GMM)を用いたPFL(Personalized Federated Learning)を提案する。 FedGMMはオーバーヘッドを最小限に抑え、新しいクライアントに適応する付加的なアドバンテージを持ち、不確実な定量化を可能にします。 PFL分類と新しいサンプル検出の両方において, 合成データセットとベンチマークデータセットの実証評価により, 提案手法の優れた性能を示した。
  論文  参考訳（メタデータ） (2023-05-01T20:04:46Z)
• Fine-tuning Global Model via Data-Free Knowledge Distillation for Non-IID Federated Learning [86.59588262014456]
  フェデレートラーニング(Federated Learning, FL)は、プライバシ制約下での分散学習パラダイムである。 サーバ内のグローバルモデル(FedFTG)を微調整するデータフリー知識蒸留法を提案する。 私たちのFedFTGは最先端(SOTA)のFLアルゴリズムよりも優れており、FedAvg、FedProx、FedDyn、SCAFFOLDの強化のための強力なプラグインとして機能します。
  論文  参考訳（メタデータ） (2022-03-17T11:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。