論文の概要: Align Before Aggregation: Basis-Consistent Federated LoRA under Heterogeneous Ranks

• arxiv url: http://arxiv.org/abs/2611.07598v1
• Date: Thu, 05 Nov 2026 07:46:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.587727
• Title: Align Before Aggregation: Basis-Consistent Federated LoRA under Heterogeneous Ranks
• Title（参考訳）: アグリゲーション前のアライメント:不均一なランクの下でのベーシックなフェデレーションLoRA
• Abstract要約: 不均一なクライアント能力下での大規模言語モデルの微調整がますます重要になっている。 サーバサイドアグリゲータは、クライアント固有のLoRAファクタからローカルマトリクス更新$W_i$を構成し、アグリゲーションする前に$(A_i,B_i)$である。 ヘテロジニアスランクのためのベース一貫性を持つ連合LoRAアグリゲーションフレームワークである textbfFedAbA を提案する。
• 参考スコア（独自算出の注目度）: 16.085291103154855
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated fine-tuning of large language models (LLMs) under heterogeneous client capacities is increasingly important, and low-rank adaptation (LoRA) with heterogeneous ranks makes it practical. Existing server-side aggregators compose local matrix updates $ΔW_i$ from client-specific LoRA factors $(A_i,B_i)$ before aggregating them. Although these matrix updates lie in the same weight space $\mathbb{R}^{m\times n}$ and can be averaged directly, the LoRA factors that generate them may expressed client-specific local basis. In the typical compose--aggregate--factorize--dispatch loop, this basis inconsistency can make the rank-$r_i$ reference prefix dispatched to lower-rank clients unstable after server-side refactorization. In this work, we propose \textbf{FedAbA}, a basis-consistent federated LoRA aggregation framework for heterogeneous ranks. FedAbA first extracts each client's local basis, aligns it to the corresponding prefix of the global reference basis, and constructs a basis-consistent reconstruction of each local matrix update before aggregation. It then aggregates these reconstructions with weights that combine client data size and consistency score, followed by exact coefficient-space SVD refactorization and gauge fixing before rank-prefix dispatch. Our theoretical analysis clarifies the role of basis consistency and supports the proposed consistency-aware aggregation mechanism. Extensive experiments show that FedAbA outperforms representative federated LoRA baselines, with the largest gains under the strongest rank heterogeneity.
• Abstract（参考訳）: 大規模言語モデル(LLM)を不均一なクライアント能力下で微調整することがますます重要になり、不均一なランクを持つ低ランク適応(LoRA)が実用的になる。 既存のサーバサイドアグリゲータは、クライアント固有のLoRAファクタからローカルマトリクス更新$ΔW_i$を構成し、アグリゲーションする前に$(A_i,B_i)$である。 これらの行列の更新は、同じ重み空間$\mathbb{R}^{m\times n}$にあるが、それらを生成するLoRA因子は、クライアント固有の局所基底を表現することができる。 典型的なcompose--aggregate--factorize--dispatchループでは、サーバ側のリファクタリング後に下位クライアントに-$r_i$参照プレフィックスを不安定にすることができる。 本研究では、不均一ランクに対する基底一貫性を持つ連合LoRAアグリゲーションフレームワークであるtextbf{FedAbA}を提案する。 FedAbAは、まず各クライアントのローカルベースを抽出し、グローバルリファレンスベースに対応するプレフィックスにアライメントし、アグリゲーションの前に各ローカルマトリクス更新のベース一貫性のある再構築を構築する。 そして、クライアントのデータサイズと一貫性スコアを組み合わせた重みでこれらの再構築を集約し、その後、正確な係数空間SVDリファクタリングとランク修正前のゲージ修正を行う。 理論的解析により, 基底整合性の役割を明らかにし, 提案した整合性を考慮した凝集機構をサポートする。 大規模な実験により、FedAbAはLoRAベースラインを上回り、最も高いランクのヘテロジニティで最大のゲインを持つことが示された。

関連論文リスト

• CFLoRA: Federated Fine-tuning of LLMs with Complementary Factors for Error-free Aggregation [18.622953516919793]
  フェデレートされたローランク適応(LoRA)は、プライベートクライアントデータを集中化せずに、大規模言語モデルの協調的な微調整を可能にする。 既存の正確な方法では、主に全因子を凍結したり、ラウンドをまたいだ要因を交互に更新することでこの問題を解決するが、集約エラーや通信ランクを拡大することなく、同時に要因を更新することはできない。 通信ラウンド毎に2つの補完セットに分割する,連合LoRA方式である textttCFLoRA を提案する。
  論文  参考訳（メタデータ） (2026-09-27T03:19:30Z)
• FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA [3.3855343208256556]
  Low-Rank Adaptation (LoRA)は、大規模な言語モデルの効率的なフェデレートされた微調整を可能にするが、その分解パラメータ化は、局所的な更新の正確な集約と局所的に最適化された要因の連続性の間の緊張を生じさせる。 我々はこれらの制約に共同で対処し、同種クライアントと異種クライアントの両方で確実に収束する製品整合型LoRAフレームワークであるFedPA-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-08-15T19:20:31Z)
• Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
  クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。 本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T15:38:45Z)
• FedGSA: Geometry-Consistent Subspace Aggregation for Differentially Private Federated LoRA [15.652808783124835]
  微分プライベートなLoRAのための幾何整合アグリゲーションフレームワークを提案する。 FedGSAは、各プライベート化されたクライアント更新を、グラスマン多様体上の基底不変部分空間として表現している。 我々は、FedGSAがクライアント側のDPトレーニング以上のプライバシーを損なうことなく、標準的前提の下でその収束を確立することを証明した。
  論文  参考訳（メタデータ） (2026-08-04T07:39:40Z)
• Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA [21.610540680175294]
  フェデレートされたLoRAは、分散データの下で大きな言語モデルのパラメータ効率の良い適応を可能にする。 LoRA因子の直接平均化は表現依存である。 We propose textbfGLoRA, a gauge-aware server representation for Federated LoRA。
  論文  参考訳（メタデータ） (2026-05-07T12:57:24Z)
• SQL-ASTRA: Alleviating Sparse Feedback in Agentic SQL via Column-Set Matching and Trajectory Aggregation [51.696027315573296]
  本稿では,効率的な軌道レベル評価と高密度ステップレベル信号の提供を目的とした,普遍的な2層報酬機構を特徴とするフレームワークを提案する。 伝統的なパラダイムでは、報酬は最終ターンのフィードバックによってのみ決定され、中間プロセスを無視し、曖昧な信用評価をもたらす。 提案手法は,同一モデルを用いてBIRD 2.0上でのSOTA Arctic-Text2-R1-7Bより優れており,頑健なマルチターンエージェントのパラダイムに向けてテキストから逆収束を推進していることを示す。
  論文  参考訳（メタデータ） (2026-03-17T06:26:36Z)
• FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA [25.49850401602623]
  Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。 実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。 我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-02-27T03:18:32Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-31T03:11:51Z)
• FedSVD: Adaptive Orthogonalization for Private Federated Learning with LoRA [68.44043212834204]
  Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。 Low-Rank Adaptation (LoRA) は、学習における言語モデルの効率的な微調整に広く用いられている。
  論文  参考訳（メタデータ） (2025-05-19T07:32:56Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。