論文の概要: FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
- arxiv url: http://arxiv.org/abs/2603.08014v1
- Date: Mon, 09 Mar 2026 06:43:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-10 15:13:15.607097
- Title: FedMomentum: Preserving LoRA Training Momentum in Federated Fine-Tuning
- Title（参考訳）: FedMomentum:Federated Fine-TuningにおけるLoRAトレーニングモーメントの保存
- Authors: Peishen Yan, Yang Hua, Hao Wang, Jiaru Zhang, Xiaoyu Wu, Tao Song, Haibing Guan,
- Abstract要約: 低ランク適応(LoRA)を備えた大規模言語モデルのフェデレート微調整は、タスク固有の適応のための通信効率とプライバシ保護ソリューションを提供する。
LoRAモジュールのネイティブアグリゲーションは、ダウンサンプリングおよびアップサンプリング行列を独立に平均化する際の数学的誤りによるノイズをもたらす。
我々は,単一値分解による構造的および運動量保存のLoRAアグリゲーションを可能にする新しいフレームワークであるFedMomentumを提案する。
- 参考スコア（独自算出の注目度）: 26.248129364672398
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated fine-tuning of large language models (LLMs) with low-rank adaptation (LoRA) offers a communication-efficient and privacy-preserving solution for task-specific adaptation. Naive aggregation of LoRA modules introduces noise due to mathematical incorrectness when averaging the downsampling and upsampling matrices independently. However, existing noise-free aggregation strategies inevitably compromise the structural expressiveness of LoRA, limiting its ability to retain client-specific adaptations by either improperly reconstructing the low-rank structure or excluding partially trainable components. We identify this problem as loss of training momentum, where LoRA updates fail to accumulate effectively across rounds, resulting in slower convergence and suboptimal performance. To address this, we propose FedMomentum, a novel framework that enables structured and momentum-preserving LoRA aggregation via singular value decomposition (SVD). Specifically, after aggregating low-rank updates in a mathematically correct manner, FedMomentum applies SVD to extract the dominant components that capture the main update directions. These components are used to reconstruct the LoRA modules with the same rank, while residual components can be retained and later merged into the backbone to preserve semantic information and ensure robustness. Extensive experiments across multiple tasks demonstrate that FedMomentum consistently outperforms prior state-of-the-art methods in convergence speed and final accuracy.
- Abstract（参考訳）: 大規模言語モデル (LLM) をローランク適応 (LoRA) で微調整することで、タスク固有の適応のためのコミュニケーション効率とプライバシ保護のソリューションを提供する。
LoRAモジュールのネイティブアグリゲーションは、ダウンサンプリングおよびアップサンプリング行列を独立に平均化する際の数学的誤りによるノイズをもたらす。
しかし、既存のノイズフリーアグリゲーション戦略は、LoRAの構造的表現性を損なうことなく、低ランク構造を不適切に再構築するか、部分的に訓練可能な部品を除外することで、クライアント固有の適応を維持する能力を制限する。
この問題を,LoRA更新がラウンド全体にわたって効果的に蓄積できず,収束が遅く,準最適性能が低下する,トレーニングモーメントの喪失として認識する。
これを解決するためにFedMomentumを提案する。これは特異値分解(SVD)による構造的および運動量保存のLoRAアグリゲーションを可能にする新しいフレームワークである。
具体的には、数学的に正しい方法で低ランク更新を集約した後、FedMomentumはSVDを適用し、主要な更新方向をキャプチャする支配的なコンポーネントを抽出する。
これらのコンポーネントはLoRAモジュールを同じランクで再構築するために使用され、残りのコンポーネントは保持され、後にバックボーンにマージされ、セマンティック情報を保持し、堅牢性を保証する。
複数のタスクにわたる大規模な実験により、FedMomentumは収束速度と最終的な精度において、常に最先端の手法よりも優れていた。
関連論文リスト
- Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。
本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。
SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
論文 参考訳（メタデータ） (2026-03-09T07:49:56Z) - Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。
本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文 参考訳（メタデータ） (2026-01-30T10:54:51Z) - Mixture of Ranks with Degradation-Aware Routing for One-Step Real-World Image Super-Resolution [76.66229730098759]
実世界の画像超解像(Real-ISR)では、既存のアプローチは主に微調整された事前学習拡散モデルに依存している。
単一ステップ画像超解像のためのMixture-of-Ranks (MoR)アーキテクチャを提案する。
LoRAの各ランクを独立した専門家として扱う、きめ細かい専門家分割戦略を導入する。
論文 参考訳（メタデータ） (2025-11-20T04:11:44Z) - FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-World LoRA [5.162783756846019]
ファインチューニングされた大型言語モデル(LLM)は、プライバシ保護の適応を可能にするが、モデルアグリゲーションによるクロスクライアント干渉に悩まされる。
我々は,新しいパーソナライズされたLoRAファインチューニングアルゴリズムである textbfFedALT を提案する。
我々は、FedALTが、最先端のパーソナライズされたLoRAファインチューニング手法を著しく上回っていることを実証した。
論文 参考訳（メタデータ） (2025-03-14T21:07:46Z) - SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。
既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。
クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
論文 参考訳（メタデータ） (2025-01-22T20:00:41Z) - Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。
現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。
そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
論文 参考訳（メタデータ） (2024-12-03T07:25:30Z) - LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。
特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。
我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
論文 参考訳（メタデータ） (2024-10-28T17:14:01Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。