Fugu-MT 論文翻訳(概要): FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA

論文の概要: FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA

arxiv url: http://arxiv.org/abs/2602.23638v1
Date: Fri, 27 Feb 2026 03:18:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-03-02 19:48:24.225574
Title: FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA
Title（参考訳）: FedRot-LoRA:Federated LoRAにおける回転異常の緩和
Authors: Haoran Zhang, Dongjun Kim, Seohyeon Cha, Haris Vikalo,
Abstract要約: Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
参考スコア（独自算出の注目度）: 25.49850401602623
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Federated LoRA provides a communication-efficient mechanism for fine-tuning large language models on decentralized data. In practice, however, a discrepancy between the factor-wise averaging used to preserve low rank and the mathematically correct aggregation of local updates can cause significant aggregation error and unstable training. We argue that a major source of this problem is rotational misalignment, arising from the rotational invariance of low-rank factorizations -- semantically equivalent updates can be represented in different latent subspaces across clients since $(B_i R_i)(R_i^\top A_i) = B_i A_i$. When such misaligned factors are averaged directly, they interfere destructively and degrade the global update. To address this issue, we propose FedRot-LoRA, a federated LoRA framework that aligns client updates via orthogonal transformations prior to aggregation. This alignment preserves the semantic update while reducing cross-client subspace mismatch, without increasing communication cost or restricting model expressivity. We provide a convergence analysis that examines the aggregation error induced by factor-wise averaging and shows how rotational alignment yields a tighter upper bound on this error. Extensive experiments on natural language understanding and generative tasks demonstrate that FedRot-LoRA consistently outperforms existing federated LoRA baselines across a range of heterogeneity levels and LoRA ranks.
Abstract（参考訳）: Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。しかし、実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。我々は、この問題の主要な原因はローランクの分解の回転不変性から生じる回転的不整合であり、$(B_i R_i)(R_i^\top A_i) = B_i A_i$ であるので、意味的に等価な更新はクライアント間の異なる潜在部分空間で表現できると主張している。このような不一致要素が直接平均されるとき、それらは破壊的に干渉し、グローバルアップデートを劣化させる。この問題に対処するため,統合LoRAフレームワークであるFedRot-LoRAを提案する。このアライメントは、通信コストやモデル表現性を制限することなく、クロスクライアントサブスペースミスマッチを低減しつつセマンティックアップデートを保存する。本研究では,因子平均化によって生じる凝集誤差を解析し,この誤差に対して回転アライメントがより強固な上限となることを示す収束解析を行う。自然言語理解と生成タスクに関する広範な実験により、FedRot-LoRAは、様々な不均一度レベルとLoRAランクにおいて、既存の連合LoRAベースラインを一貫して上回ることを示した。

関連論文リスト

Wireless Federated Multi-Task LLM Fine-Tuning via Sparse-and-Orthogonal LoRA [61.12136997430116]
低ランク適応(LoRA)に基づく分散連合学習(DFL)により、マルチタスクデータセットを持つモバイルデバイスは、ローカルに更新されたパラメータを、無線接続を介して近隣デバイスのサブセットと交換することで、大きな言語モデル(LLM)を協調的に微調整することができる。不均一データセットに微調整されたパラメータを直接集約すると、DFLライフサイクルの3つの主要な問題が発生する: (i) 微調整プロセス中に忘れる破滅的な知識、(ii) データの異種性に起因する更新方向の矛盾に起因する。
論文参考訳（メタデータ） (2026-02-24T02:45:32Z)
Stabilizing Decentralized Federated Fine-Tuning via Topology-Aware Alternating LoRA [20.00589625873043]
textttTAD-LoRAは、フェデレーション学習のサーバレス版である。我々は, TextttTAD-LoRA が強い連結トポロジにおいて競合し, 適度かつ弱い連結トポロジの下で明確なゲインをもたらすことを示す。
論文参考訳（メタデータ） (2026-01-31T01:57:53Z)
Decomposing and Composing: Towards Efficient Vision-Language Continual Learning via Rank-1 Expert Pool in a Single LoRA [50.97792275353563]
単一低ランク適応 (LoRA) モジュールを分解可能な Rank-1 エキスパートプールとして再構成する,新しいフレームワークを提案する。本手法では,このエキスパートプールから[Guided]トークンのセマンティクスに導かれて,疎結合でタスク固有の更新を動的に作成することを学ぶ。
論文参考訳（メタデータ） (2026-01-30T10:54:51Z)
ADF-LoRA: Alternating Low-Rank Aggregation for Decentralized Federated Fine-Tuning [20.00589625873043]
ADF-LoRAは1ラウンド当たり1つの低ランク行列の更新を同期し、両方の行列を混合することにより、分散的伝搬下でより一貫したパラメータ状態を維持する。実験により、AFF-LoRAはより高速でスムーズな収束を実現し、タスク間で最高の平均精度を達成し、分散FLにおける既存のLoRA変異を一貫したマージンで上回っていることが示された。
論文参考訳（メタデータ） (2025-11-23T05:09:32Z)
ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation [15.926254171159146]
3つのコアイノベーションを統合する統合フレームワークであるILoRAを提案する。 ILoRA は既存の連合 LoRA 法よりも精度と収束安定性が優れている。
論文参考訳（メタデータ） (2025-11-20T05:59:37Z)
Communication-Efficient and Accurate Approach for Aggregation in Federated Low-Rank Adaptation [7.127777651952882]
現在のフェデレート低ランク適応(FedLoRA)メソッドは、不正確な更新のために顕著な課題に直面している。 textbfFederated textbfLow-textbfRank textbfAggregation with textbfNearly textbfAccurate Estimation (FLoRA-NA)を提案する。 FLoRA-NAは、局所的なパーソナライゼーションとグローバルな一般化のギャップを埋め、以前のパーソナライズされたFedLoRAアプローチの重要な制限に対処する。
論文参考訳（メタデータ） (2025-09-30T15:32:26Z)
DeCAF: Decentralized Consensus-And-Factorization for Low-Rank Adaptation of Foundation Models [22.45637113673959]
Low-Rank Adaptation (LoRA)は視覚言語モデル(VLM)とLarge Language Models(LLM)を訓練するための最も効果的で、計算に難解な微調整手法の1つとして登場した。この研究は、分散化LoRAの収束率を改善し、滑らか性を確保することにより、分散化勾配SGDの速度に適合する。また,DLoRAとTSVDに基づく行列分解を統合し,コンセンサス干渉を解消する新しいアルゴリズムであるDeCAFを導入する。
論文参考訳（メタデータ） (2025-05-27T16:10:53Z)
LoRA-FAIR: Federated LoRA Fine-Tuning with Aggregation and Initialization Refinement [12.733972494875713]
ファンデーションモデル(FM)は、タスク固有の微調整によって、多様なタスクにまたがる強力なパフォーマンスを実現する。低ランク適応 (LoRA) のようなローランク適応 (LoRA) 手法は、少ないパラメータをチューニングするための低ランク行列を導入することで、このコストを削減する。 LoRA-FAIRは計算と通信の効率を維持し、最先端の手法よりも優れた性能が得られる。
論文参考訳（メタデータ） (2024-11-22T14:19:01Z)
HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文参考訳（メタデータ） (2024-11-10T19:59:54Z)
Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
論文参考訳（メタデータ） (2024-10-10T18:51:53Z)
FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文参考訳（メタデータ） (2023-11-19T04:43:16Z)
FedSpeed: Larger Local Interval, Less Communication Round, and Higher Generalization Accuracy [84.45004766136663]
フェデレートラーニング(Federated Learning)は、分散機械学習フレームワークである。これは、局所的不整合最適と局所的過度な適合による頑丈なクライアントドリフトによってもたらされる非消滅バイアスに悩まされる。本稿では,これらの問題による負の影響を軽減するために,新しい実用的手法であるFedSpeedを提案する。
論文参考訳（メタデータ） (2023-02-21T03:55:29Z)
Faster Non-Convex Federated Learning via Global and Local Momentum [57.52663209739171]
textttFedGLOMOは最初の(一階)FLtexttFedGLOMOアルゴリズムです。クライアントとサーバ間の通信においても,我々のアルゴリズムは確実に最適である。
論文参考訳（メタデータ） (2020-12-07T21:05:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。