論文の概要: SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks

• arxiv url: http://arxiv.org/abs/2608.10144v1
• Date: Mon, 10 Aug 2026 18:59:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-12 19:14:45.789773
• Title: SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks
• Title（参考訳）: SeFoRA: 不均質なクライアントランクを持つスケッチ集約型低ランク適応
• Abstract要約: SeFoRAはスケッチ集約型LoRAアルゴリズムであり、各クライアントはそのローカル更新の線形スケッチを送信する。 SeFoRAは双線形ミスマッチを緩和し、フルモデルの小さな部分空間でのアグリゲーションを可能にする。 一階定常点の近傍への収束を、階数同次設定に対して$cO(1/T)$で証明する。
• 参考スコア（独自算出の注目度）: 15.20977008792474
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We consider federated parameter efficient fine-tuning of large neural networks with low-rank adaptation (LoRA,~Hu et al.\ 2022). Combining LoRA with federated PEFT introduces challenges absent from either setting alone: clients may use different LoRA ranks, making their factor matrices dimension-incompatible, and factor-wise averaging suffers from a bilinear mismatch. We propose SeFoRA, a sketch-aggregated federated LoRA algorithm in which each client transmits a linear sketch of its local updates, enabling direct aggregation at the federator. As a result, SeFoRA alleviates the bilinear mismatch, and allows for aggregation in a small subspace of the full model. We introduce a rank-homogeneous version called SeFoRA-Ho which allows for direct adapter aggregation in this setting. We prove convergence to a neighborhood of the first-order stationary point at rate $\cO(1/T)$ for the rank-homogeneous setting. Numerical experiments on fine-tuning RoBERTa-Large on GLUE datasets show how our algorithms outperform the state-of-the-art.
• Abstract（参考訳）: 低ランク適応型大規模ニューラルネットワーク(LoRA,~Hu et al \ 2022)のフェデレーションパラメータを効率よく微調整する。 LoRAとフェデレートされたPEFTを組み合わせることで、クライアントは異なるLoRAランクを使用することができ、その係数行列を次元的に非互換にし、ファクタワイド平均化は双線形ミスマッチに悩まされる。 スケッチ集約型LoRAアルゴリズムであるSeFoRAを提案し、各クライアントがローカル更新の線形スケッチを送信し、フェデレーターでの直接アグリゲーションを可能にする。 その結果、SeFoRAは双線形ミスマッチを緩和し、フルモデルの小さな部分空間でのアグリゲーションを可能にする。 本稿では,SeFoRA-Hoという階層同質なバージョンを導入し,この設定で直接アダプタアグリゲーションを可能にする。 一階定常点の近傍への収束を階数同次集合に対して$\cO(1/T)$で証明する。 GLUEデータセット上のRoBERTa-Largeの微調整に関する数値実験は、我々のアルゴリズムが最先端のアルゴリズムよりも優れていることを示す。

関連論文リスト

• Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
  クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。 本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T15:38:45Z)
• Dysco: Dynamic Subspace Boosting to Mitigate LoRA Interference in Federated Learning [29.371418314402565]
  異種クライアントは アダプタアグリゲーションを不安定にできる クライアント固有のLoRAサブスペースを割り当てる動的サブスペースブースティング(Dysco)を提案する。 ディスコは干渉を著しく減らし、最終ラウンドの合成訓練損失を最大9倍に削減する。
  論文  参考訳（メタデータ） (2026-07-15T21:15:35Z)
• Amortizing Federated Adaptation: Hypernetwork Driven LoRA for Personalized Foundation Models [7.174865411448373]
  Low-Rank Adaptation (LoRA) を用いた基礎モデルのフェデレート微調整は、分散学習のためのコミュニケーション効率の良いソリューションを提供する。 既存のLoRAメソッドには,(1)構造的アグリゲーションバイアス,(2)クライアント側ラグという2つの基本的な制限がある。 我々は、ハイパーネットワーク駆動のLoRA生成と製品空間の集約によるアモータイズされたフェデレーションにより、両方の問題に対処する統一されたフレームワークHyperLoRAを提案する。
  論文  参考訳（メタデータ） (2026-06-04T13:28:48Z)
• FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation [70.67537583458572]
  Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。 FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。 我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
  論文  参考訳（メタデータ） (2026-05-28T06:53:46Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
  プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。 本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。 SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
  論文  参考訳（メタデータ） (2026-03-09T07:49:56Z)
• Rethinking LoRA for Data Heterogeneous Federated Learning: Subspace and State Alignment [45.726776332713136]
  本稿では,クライアント側GaLoreスタイルの勾配-部分空間最適化とサーバ側ドリフト-ロバスト同期を組み合わせたFedGaLoreを提案する。 NLU、ビジョン、NLGベンチマーク全体において、FedGaLoreは、非IID設定における最先端のフェデレーションLoRAベースラインに対する堅牢性と正確性を改善する。
  論文  参考訳（メタデータ） (2026-02-02T07:27:44Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)
• Heterogeneous LoRA for Federated Fine-tuning of On-Device Foundation Models [20.707283766914017]
  HetLoRAはクライアントデバイス間での不均一なランク付けを可能にし、これらの不均一なLoRAモジュールを効率的に集約し、配布する。 HetLoRAは同種LoRAに比べて収束速度と最終性能が向上する。
  論文  参考訳（メタデータ） (2024-01-12T07:52:07Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Beyond ADMM: A Unified Client-variance-reduced Adaptive Federated Learning Framework [82.36466358313025]
  我々はFedVRAと呼ばれる原始二重FLアルゴリズムを提案し、このアルゴリズムはグローバルモデルの分散還元レベルとバイアスを適応的に制御することができる。 半教師付き画像分類タスクに基づく実験は,既存の手法よりもFedVRAの方が優れていることを示す。
  論文  参考訳（メタデータ） (2022-12-03T03:27:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。