論文の概要: Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA

• arxiv url: http://arxiv.org/abs/2605.06733v1
• Date: Thu, 07 May 2026 12:57:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.497201
• Title: Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA
• Title（参考訳）: 因子集約を超えて:Federated LoRAのためのゲージ対応低ランクサーバ表現
• Authors: Jinqian Chen, Chang Liu, Jihua Zhu,
• Abstract要約: フェデレートされたLoRAは、分散データの下で大きな言語モデルのパラメータ効率の良い適応を可能にする。 LoRA因子の直接平均化は表現依存である。 We propose textbfGLoRA, a gauge-aware server representation for Federated LoRA。
• 参考スコア（独自算出の注目度）: 21.610540680175294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated LoRA enables parameter-efficient adaptation of large language models under decentralized data and limited client resources.However, directly averaging LoRA factors is representation-dependent: the same intrinsic update admits infinitely many gauge-equivalent factorizations, so factor-level aggregation can change under arbitrary coordinate choices while the underlying update remains unchanged. This reveals a semantic mismatch in existing federated LoRA aggregation rules. We propose \textbf{GLoRA}, a gauge-aware server representation for federated LoRA.Instead of aggregating raw factors, GLoRA estimates a consensus update subspace from client projectors and aggregates client updates in shared reference coordinates, thereby representing semantic update aggregation entirely in low-rank form. To support heterogeneous client capacities, GLoRA further provides a rank-compatible readout that instantiates adapters of different ranks from the same server state without dense update reconstruction. Experiments on GLUE and SuperNI show that GLoRA consistently outperforms federated LoRA baselines under data, resource, and task heterogeneity, including heterogeneous client ranks, sparse participation, larger backbones, and unseen-task evaluation. GLoRA also achieves a favorable efficiency--performance trade-off, suggesting that effective federated LoRA requires not merely averaging low-rank factors, but defining a semantically meaningful server-side representation for aggregation.
• Abstract（参考訳）: フェデレートされたLoRAは、分散化されたデータと限られたクライアントリソースの下で大きな言語モデルのパラメータ効率の適応を可能にするが、LoRAの要素を平均的に評価することは表現に依存している。 これにより、既存の連合LoRAアグリゲーションルールのセマンティックミスマッチが明らかになる。 原因子を集約する代わりに、GLoRAはクライアントプロジェクタからのコンセンサス更新部分空間を推定し、共有参照座標にクライアント更新を集約することにより、セマンティックアップデートアグリゲーションを完全にローランク形式で表現する。 異種クライアント容量をサポートするため、GLoRAはさらに、異なるランクのアダプタを、更新の厳密な再構築なしに同じサーバ状態からインスタンス化する、ランク互換の読み出しを提供する。 GLUEとSuperNIの実験は、GLoRAがデータ、リソース、タスクの不均一性の下でフェデレーションされたLoRAベースラインを一貫して上回っていることを示している。 GLoRAはまた、効果的なフェデレートされたLoRAは、単にローランク要因を平均化するだけでなく、アグリゲーションに意味のあるサーバサイド表現を定義する必要があることを示唆している。

関連論文リスト

• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• HiLoRA: Hierarchical Low-Rank Adaptation for Personalized Federated Learning [11.466314810697169]
  Low-Rank Adaptation (LoRA)は、視覚変換器(ViT)を適応するための効率的でコミュニケーションに優しい方法を提供する。 我々は、階層的なLoRAフレームワークであるHiLoRAを提案し、アダプタを3つのレベル(ルート、クラスタ、リーフ)に配置する。 サブスペース類似性解析により潜在クライアント群を推定するLoRA-Subspace Adaptive Clustering機構を開発した。
  論文  参考訳（メタデータ） (2026-03-03T09:25:16Z)
• FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA [25.49850401602623]
  Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。 実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。 我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-02-27T03:18:32Z)
• Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity [43.719298075378425]
  フェデレートされた低ランク適応(FedLoRA)は、下流タスクのための基礎モデルの通信効率とプライバシー保護の微調整を促進する。 我々は異種FedLoRAにおいてこれまで見過ごされていた現象をランク崩壊と呼び、グローバル更新のエネルギーは最小共有ランクに集中する。 本稿では,局所的な更新をランク分割に分解し,各パーティションをその効果的なクライアントコントリビューションに重み付けして集約するランク分割集約手法であるraFLoRAを提案する。
  論文  参考訳（メタデータ） (2026-02-13T21:42:06Z)
• HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization [39.23407996213986]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルを新しいドメインに適応させる手法として広く使われている。 既存のメソッドは明示的なタスクラベルや追加のトレーニングに依存しており、デプロイには実用的ではない。 トレーニング不要なフレームワークである textttHiLoRA を提案し,LoRA プール上で適応的な階層的ルーティングを行う。
  論文  参考訳（メタデータ） (2025-10-14T08:19:13Z)
• RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
  低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。 階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。 我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
  論文  参考訳（メタデータ） (2025-03-16T17:16:36Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。