論文の概要: Stochastic Projections and Rank-Aware Learning Rates for Federated LoRA
- arxiv url: http://arxiv.org/abs/2611.13331v2
- Date: Fri, 13 Nov 2026 10:36:02 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-16 19:22:42.282709
- Title: Stochastic Projections and Rank-Aware Learning Rates for Federated LoRA
- Title(参考訳): フェデレーションLoRAにおける確率予測とランク認識学習率
- Abstract要約: リソース制約のある分散クライアントにまたがる大規模な基盤モデルを微調整することで、計算と通信に大きな課題が生じる。
本稿では, 凍結, 再サンプリングされた$mathbfA$行列とクライアントのランク依存学習率を利用した, ランク対応の微調整戦略であるSPRA-LoRAを紹介する。
ベンチマークデータセットに対する我々の実験は、クライアントのオーバーヘッドの半分で最先端のベースラインを一貫して上回ります。
- 参考スコア(独自算出の注目度): 27.282878554347988
- License:
- Abstract: Fine-tuning large-scale foundation models across resource-constrained, distributed clients presents significant computational and communication challenges. While merging Low-Rank Adaptation (LoRA) with Federated Learning (FL) enables rank-based flexibility, the interdependence of the adaptation matrices ($\mathbf{A}$ and $\mathbf{B}$) often complicates optimization. In this work, we theoretically demonstrate that LoRA fine-tuning with Gaussian initialization and a frozen $\mathbf{A}$ matrix acts as a stochastic approximation of full fine-tuning, where batch gradients are subject to a random, rank-dependent perturbation. Motivated by this insight, we propose freezing and periodically resampling $\mathbf{A}$ matrices at the client level. This strategy decouples the $\mathbf{A}$ and $\mathbf{B}$ gradients, diminishes LoRA low-rank constraints and reduces both computational and uplink communication overheads by 50\%, allowing for the reallocation of resources toward higher adaptation ranks. Furthermore, we show that in this frozen-$\mathbf{A}$ regime, the adaptation rank $r$ directly governs the signal-to-noise ratio (SNR) of the perturbed gradients. Specifically, we find that the SNR increases linearly with $r$, implying that clients' learning rates must be dynamically scaled with their adaptation ranks for higher utility. Building on these foundations, we introduce SPRA-LoRA (Stochastic Projection Rank-Aware LoRA), a federated rank-aware fine-tuning strategy that utilizes frozen, resampled $\mathbf{A}$ matrices and rank-dependent learning rates for clients. We also prove its convergence with heterogeneous client resources. Our experiments across benchmark datasets demonstrate that SPRA-LoRA consistently outperforms state-of-the-art baselines with half the overhead on clients.
- Abstract(参考訳): リソース制約のある分散クライアントにまたがる大規模なファンデーションモデルを微調整することで、計算と通信に大きな課題が生じる。
Low-Rank Adaptation (LoRA)とFederated Learning (FL)を組み合わせることでランクベースの柔軟性が実現されるが、適応行列($\mathbf{A}$と$\mathbf{B}$)の相互依存は最適化を複雑にすることが多い。
本研究では,ガウスの初期化と凍結した$\mathbf{A}$行列を用いたLoRAファインチューニングが,バッチ勾配がランダムなランク依存摂動を受けるような完全微調整の確率的近似として作用することを理論的に証明する。
この知見に触発されて、クライアントレベルで$\mathbf{A}$行列を凍結かつ周期的に再サンプリングすることを提案する。
この戦略は$\mathbf{A}$と$\mathbf{B}$の勾配を分離し、LoRAの低ランクな制約を減らし、計算とアップリンクの通信オーバーヘッドを50%減らし、より高い適応ランクへのリソースの移動を可能にする。
さらに、この凍結された$\mathbf{A}$レジームでは、適応ランク$r$が摂動勾配の信号-雑音比(SNR)を直接支配していることを示す。
具体的には、SNRは$r$で線形的に増加し、クライアントの学習率を高い実用性のために適応ランクで動的にスケールする必要があることを示唆する。
これらの基礎の上に構築されたSPRA-LoRA(Stochastic Projection Rank-Aware LoRA)は,凍結した$\mathbf{A}$行列とクライアントのランク依存学習率を利用した,ランク対応の微調整戦略である。
また、不均一なクライアントリソースとの収束性も証明する。
ベンチマークデータセットによる実験により、SPRA-LoRAは、クライアントのオーバーヘッドの半分で最先端のベースラインを一貫して上回ります。
関連論文リスト
- FedLore: Communication and Memory Efficient Federated Learning via Shared Gradient Low-Rank Projection [0.42303492200814446]
textttFedreは各ラウンドで低ランクの最適化ベースを共有し、ラウンド毎に更新する。
サブスペースリフレッシュにより、蓄積されたモデル更新は、ラウンド単位の予算を超えることができる。
事前トレーニングを含むビジョンと言語タスクの実験は、textttFedreが評価された低ランクアダプタベースラインよりも優れていることを示している。
論文 参考訳(メタデータ) (2026-10-01T12:56:25Z) - Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。
本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
論文 参考訳(メタデータ) (2026-08-10T15:38:45Z) - The Hidden Power of Scaling Factor in LoRA Optimization [30.400211119439486]
Low-Rank Adaptation (LoRA)では、スケーリング係数$が単に学習率を補完するものとして扱われることが多い。
学習率のスケーリングだけでは複製できない利得を提供するため、効果的な最適化の主役は$であることを示す。
我々は、LoRA-$という最小限のフレームワークを提案し、LoRAが標準の小さな学習率と互換性を持つように、その原則に$を復元する。
論文 参考訳(メタデータ) (2026-06-11T04:19:32Z) - Verifier-Free RL for LLMs via Intrinsic Gradient-Norm Reward [69.99652051809737]
本研究では,検証自由な内在性勾配項再帰(VIGOR)を提案する。
VIGORはポリシーモデルのみを使用する単純な報酬です。
数学データのみに基づいてトレーニングされた場合、コードベンチマークへのクロスドメイン転送を示す。
論文 参考訳(メタデータ) (2026-05-11T03:15:37Z) - MatryoshkaLoRA: Learning Accurate Hierarchical Low-Rank Representations for LLM Fine-Tuning [45.41768510181293]
MatryoshkaLoRAは、固定された慎重に作られた対角行列を既存のLoRAアダプタ間で$P$で挿入することで、正確な階層的な低ランク表現を学習する。
以上の結果から,MatryoshkaLoraは従来のランク適応手法よりも,より正確な階層的な低ランク表現を学習できることが示唆された。
論文 参考訳(メタデータ) (2026-05-08T15:13:01Z) - Subspace Geometry Governs Catastrophic Forgetting in Low-Rank Adaptation [0.0]
Low-Rank Adaptation (LoRA) は、大規模な事前学習モデルに適応するためのパラメータ効率の高いアプローチとして登場した。
勾配部分空間相互作用のレンズを通して,LoRAにおける破滅的忘れを特徴付ける幾何学的理論を提案する。
論文 参考訳(メタデータ) (2026-02-10T22:45:47Z) - FedHL: Federated Learning for Heterogeneous Low-Rank Adaptation via Unbiased Aggregation [6.5370850242187855]
フェデレートラーニング(FL)は、分散データソースを使用したファンデーションモデル(FM)の微調整を容易にする。
Low-Rank Adaptation (LoRA) は通信コストの低さと高い性能で人気を博している。
既存の手法ではパラメータの切り離しとバイアス付き勾配更新による公式収束保証が欠如している。
論文 参考訳(メタデータ) (2025-05-24T04:12:12Z) - FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
論文 参考訳(メタデータ) (2025-05-19T07:32:56Z) - Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。
非滑らかな正規化はしばしば機械学習タスクに組み込まれる。
本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-04-17T08:32:25Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳(メタデータ) (2024-10-10T18:51:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。