論文の概要: CFLoRA: Federated Fine-tuning of LLMs with Complementary Factors for Error-free Aggregation
- arxiv url: http://arxiv.org/abs/2609.33147v1
- Date: Sun, 27 Sep 2026 03:19:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 10:03:53.416436
- Title: CFLoRA: Federated Fine-tuning of LLMs with Complementary Factors for Error-free Aggregation
- Title（参考訳）: CFLoRA: 誤りのない凝集の相補的要因をともなうLCMの微調整
- Abstract要約: フェデレートされたローランク適応(LoRA)は、プライベートクライアントデータを集中化せずに、大規模言語モデルの協調的な微調整を可能にする。
既存の正確な方法では、主に全因子を凍結したり、ラウンドをまたいだ要因を交互に更新することでこの問題を解決するが、集約エラーや通信ランクを拡大することなく、同時に要因を更新することはできない。
通信ラウンド毎に2つの補完セットに分割する,連合LoRA方式である textttCFLoRA を提案する。
- 参考スコア（独自算出の注目度）: 18.622953516919793
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Federated low-rank adaptation (LoRA) enables collaborative fine-tuning of large language models without centralizing private client data. Its factorized update, however, creates a structural mismatch in federated averaging: averaging the two LoRA factors separately does not equal averaging their products. Existing exact methods resolve this issue mainly by freezing an entire factor or alternating factors across rounds, but none can update factors simultaneously without aggregation errors or expanding communication ranks. To address this fundamental problem, we present \texttt{CFLoRA}, a federated LoRA scheme that partitions latent LoRA channels into two complementary sets in every communication round. By ensuring that columns and rows are complementary across factors, we eliminate bilinear terms in matrix multiplications, making federated aggregation exact. Crucially, our framework also supports clients with heterogeneous rank budgets. Convergence analysis validates \texttt{CFLoRA} achieves $\mathcal{O}(1/\sqrt{T})$ convergence rate of the \textit{original} LoRA objective in homogeneous-rank cases. Extensive experiments with RoBERTa on the GLUE benchmark and with LLaMA-3.2-3B-Instruct on commonsense reasoning tasks demonstrate that \texttt{CFLoRA} achieves superior performance and training efficiency compared to state-of-the-art federated LoRA baselines.
- Abstract（参考訳）: フェデレートされたローランク適応(LoRA)は、プライベートクライアントデータを集中化せずに、大規模言語モデルの協調的な微調整を可能にする。
しかし、その分解された更新は、フェデレートされた平均化における構造的ミスマッチを生成する。
既存の正確な方法では、主に全因子を凍結したり、ラウンドをまたいだ要因を交互に更新することでこの問題を解決するが、集約エラーや通信ランクを拡大することなく、同時に要因を更新することはできない。
この根本的な問題に対処するため、各通信ラウンドで潜在ロラチャネルを2つの相補集合に分割するフェデレートされたロラスキームである \texttt{CFLoRA} を提示する。
列と行が因子間で相補的であることを保証することにより、行列乗法における双線型項を排除し、連邦集約を正確にする。
重要な点として、当社のフレームワークは、不均一なランクの予算を持つクライアントもサポートしています。
収束解析は、同種ランクの場合において \textt{CFLoRA} が $\mathcal{O}(1/\sqrt{T})$収束率を達成することを検証している。
GLUEベンチマークでのRoBERTaとLLaMA-3.2-3Bによる大規模な実験により、'texttt{CFLoRA} は最先端のフェデレーション LoRA ベースラインよりも優れた性能と訓練効率を達成できることが示された。
関連論文リスト
- FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA [3.3855343208256556]
Low-Rank Adaptation (LoRA)は、大規模な言語モデルの効率的なフェデレートされた微調整を可能にするが、その分解パラメータ化は、局所的な更新の正確な集約と局所的に最適化された要因の連続性の間の緊張を生じさせる。
我々はこれらの制約に共同で対処し、同種クライアントと異種クライアントの両方で確実に収束する製品整合型LoRAフレームワークであるFedPA-LoRAを提案する。
論文 参考訳（メタデータ） (2026-08-15T19:20:31Z) - SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks [15.20977008792474]
SeFoRAはスケッチ集約型LoRAアルゴリズムであり、各クライアントはそのローカル更新の線形スケッチを送信する。
SeFoRAは双線形ミスマッチを緩和し、フルモデルの小さな部分空間でのアグリゲーションを可能にする。
一階定常点の近傍への収束を、階数同次設定に対して$cO(1/T)$で証明する。
論文 参考訳（メタデータ） (2026-08-10T18:59:25Z) - Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。
本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
論文 参考訳（メタデータ） (2026-08-10T15:38:45Z) - FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation [70.67537583458572]
Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。
FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。
我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
論文 参考訳（メタデータ） (2026-05-28T06:53:46Z) - Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。
本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。
SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
論文 参考訳（メタデータ） (2026-03-09T07:49:56Z) - FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA [25.49850401602623]
Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。
実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。
我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
論文 参考訳（メタデータ） (2026-02-27T03:18:32Z) - BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。
本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
論文 参考訳（メタデータ） (2025-02-19T10:33:22Z) - LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。
低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。
LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文 参考訳（メタデータ） (2024-11-22T14:19:01Z) - Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。
LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。
本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文 参考訳（メタデータ） (2024-10-10T18:51:53Z) - Mixture of LoRA Experts [87.50120181861362]
本稿では,階層的制御と未分散分岐選択を利用する LoRA Experts (MoLE) アプローチを提案する。
MoLEアプローチは直接算術マージよりも優れたLoRA融合性能を実現する。
論文 参考訳（メタデータ） (2024-04-21T11:59:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。