論文の概要: Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA

• arxiv url: http://arxiv.org/abs/2605.06733v1
• Date: Thu, 07 May 2026 12:57:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.497201
• Title: Beyond Factor Aggregation: Gauge-Aware Low-Rank Server Representations for Federated LoRA
• Title（参考訳）: 因子集約を超えて:Federated LoRAのためのゲージ対応低ランクサーバ表現
• Abstract要約: フェデレートされたLoRAは、分散データの下で大きな言語モデルのパラメータ効率の良い適応を可能にする。 LoRA因子の直接平均化は表現依存である。 We propose textbfGLoRA, a gauge-aware server representation for Federated LoRA。
• 参考スコア（独自算出の注目度）: 21.610540680175294
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Federated LoRA enables parameter-efficient adaptation of large language models under decentralized data and limited client resources.However, directly averaging LoRA factors is representation-dependent: the same intrinsic update admits infinitely many gauge-equivalent factorizations, so factor-level aggregation can change under arbitrary coordinate choices while the underlying update remains unchanged. This reveals a semantic mismatch in existing federated LoRA aggregation rules. We propose \textbf{GLoRA}, a gauge-aware server representation for federated LoRA.Instead of aggregating raw factors, GLoRA estimates a consensus update subspace from client projectors and aggregates client updates in shared reference coordinates, thereby representing semantic update aggregation entirely in low-rank form. To support heterogeneous client capacities, GLoRA further provides a rank-compatible readout that instantiates adapters of different ranks from the same server state without dense update reconstruction. Experiments on GLUE and SuperNI show that GLoRA consistently outperforms federated LoRA baselines under data, resource, and task heterogeneity, including heterogeneous client ranks, sparse participation, larger backbones, and unseen-task evaluation. GLoRA also achieves a favorable efficiency--performance trade-off, suggesting that effective federated LoRA requires not merely averaging low-rank factors, but defining a semantically meaningful server-side representation for aggregation.
• Abstract（参考訳）: フェデレートされたLoRAは、分散化されたデータと限られたクライアントリソースの下で大きな言語モデルのパラメータ効率の適応を可能にするが、LoRAの要素を平均的に評価することは表現に依存している。 これにより、既存の連合LoRAアグリゲーションルールのセマンティックミスマッチが明らかになる。 原因子を集約する代わりに、GLoRAはクライアントプロジェクタからのコンセンサス更新部分空間を推定し、共有参照座標にクライアント更新を集約することにより、セマンティックアップデートアグリゲーションを完全にローランク形式で表現する。 異種クライアント容量をサポートするため、GLoRAはさらに、異なるランクのアダプタを、更新の厳密な再構築なしに同じサーバ状態からインスタンス化する、ランク互換の読み出しを提供する。 GLUEとSuperNIの実験は、GLoRAがデータ、リソース、タスクの不均一性の下でフェデレーションされたLoRAベースラインを一貫して上回っていることを示している。 GLoRAはまた、効果的なフェデレートされたLoRAは、単にローランク要因を平均化するだけでなく、アグリゲーションに意味のあるサーバサイド表現を定義する必要があることを示唆している。

関連論文リスト

• FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA [3.3855343208256556]
  Low-Rank Adaptation (LoRA)は、大規模な言語モデルの効率的なフェデレートされた微調整を可能にするが、その分解パラメータ化は、局所的な更新の正確な集約と局所的に最適化された要因の連続性の間の緊張を生じさせる。 我々はこれらの制約に共同で対処し、同種クライアントと異種クライアントの両方で確実に収束する製品整合型LoRAフレームワークであるFedPA-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-08-15T19:20:31Z)
• Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
  クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。 本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T15:38:45Z)
• Spectral Transformation for Layer-wise Global Rank Discovery in Federated LoRA for Vision Transformers [0.9668407688201358]
  低ランクアダプタ (LoRA) を備えた微調整型ビジョントランス (ViT) は、フェデレートされた設定下での通信効率の向上を約束する。 独立に平均化するLoRA因子は数学的に矛盾し、断続的なアグリゲーションエラーをもたらす。 層ワイドグローバルランク発見のためのスペクトル変換であるSpecTraLを提案する。
  論文  参考訳（メタデータ） (2026-07-23T09:07:56Z)
• Amortizing Federated Adaptation: Hypernetwork Driven LoRA for Personalized Foundation Models [7.174865411448373]
  Low-Rank Adaptation (LoRA) を用いた基礎モデルのフェデレート微調整は、分散学習のためのコミュニケーション効率の良いソリューションを提供する。 既存のLoRAメソッドには,(1)構造的アグリゲーションバイアス,(2)クライアント側ラグという2つの基本的な制限がある。 我々は、ハイパーネットワーク駆動のLoRA生成と製品空間の集約によるアモータイズされたフェデレーションにより、両方の問題に対処する統一されたフレームワークHyperLoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-04T13:28:48Z)
• FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation [70.67537583458572]
  Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。 FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。 我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-28T06:53:46Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• HiLoRA: Hierarchical Low-Rank Adaptation for Personalized Federated Learning [11.466314810697169]
  Low-Rank Adaptation (LoRA)は、視覚変換器(ViT)を適応するための効率的でコミュニケーションに優しい方法を提供する。 我々は、階層的なLoRAフレームワークであるHiLoRAを提案し、アダプタを3つのレベル(ルート、クラスタ、リーフ)に配置する。 サブスペース類似性解析により潜在クライアント群を推定するLoRA-Subspace Adaptive Clustering機構を開発した。
  論文  参考訳（メタデータ） (2026-03-03T09:25:16Z)
• FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA [25.49850401602623]
  Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。 実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。 我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
  論文  参考訳（メタデータ） (2026-02-27T03:18:32Z)
• Preventing Rank Collapse in Federated Low-Rank Adaptation with Client Heterogeneity [43.719298075378425]
  フェデレートされた低ランク適応(FedLoRA)は、下流タスクのための基礎モデルの通信効率とプライバシー保護の微調整を促進する。 我々は異種FedLoRAにおいてこれまで見過ごされていた現象をランク崩壊と呼び、グローバル更新のエネルギーは最小共有ランクに集中する。 本稿では,局所的な更新をランク分割に分解し,各パーティションをその効果的なクライアントコントリビューションに重み付けして集約するランク分割集約手法であるraFLoRAを提案する。
  論文  参考訳（メタデータ） (2026-02-13T21:42:06Z)
• HiLoRA: Adaptive Hierarchical LoRA Routing for Training-Free Domain Generalization [39.23407996213986]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルを新しいドメインに適応させる手法として広く使われている。 既存のメソッドは明示的なタスクラベルや追加のトレーニングに依存しており、デプロイには実用的ではない。 トレーニング不要なフレームワークである textttHiLoRA を提案し,LoRA プール上で適応的な階層的ルーティングを行う。
  論文  参考訳（メタデータ） (2025-10-14T08:19:13Z)
• RaSA: Rank-Sharing Low-Rank Adaptation [67.40422142257091]
  低ランク適応(LoRA)は大規模言語モデル(LLM)のパラメータ効率の高い微調整に顕著に用いられている。 階層間の部分的なランク共有を活用することで,LoRAの表現能力を高める革新的な拡張であるRan-Sharing Low-Rank Adaptation (RaSA)を導入する。 我々の理論的根拠と実証的なアプローチは、RaSAがLoRAの中核的な利点を維持しているだけでなく、挑戦的なコードや数学タスクのパフォーマンスを大幅に向上していることを示している。
  論文  参考訳（メタデータ） (2025-03-16T17:16:36Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。