論文の概要: Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach

• arxiv url: http://arxiv.org/abs/2608.09742v1
• Date: Mon, 10 Aug 2026 15:38:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.35196
• Title: Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach
• Title（参考訳）: フェデレートLoRAにおける因子共有の再考:ランクアウェア適応的アプローチ
• Abstract要約: クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。 本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
• 参考スコア（独自算出の注目度）: 58.97285859000893
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Low-rank adaptation (LoRA) represents large language model (LLM) updates with two compact matrix factors, i.e., $A$ and $B$, providing an efficient way to fine-tune large models in federated learning paradigm. Inspired by the asymmetric roles of the LoRA factors, we study whether $A$ should be shared across clients while $B$ remains client-specific (Share-A/Local-B), or whether $B$ should instead be shared while $A$ remains client-specific (Share-B/Local-A). With a least-squares surrogate, we reveal that Share-A/Local-B requires the client-specific LoRA update matrices to use a common rank-$r$ input-side space, whereas Share-B/Local-A requires a common rank-$r$ output-side space. The two strategies therefore incur different projection residuals, indicating that the preferred strategy is the one with the smaller aggregate residual across clients. With this insight, we propose Federated Adaptive Factor Sharing Low-Rank Adaptation (FedAS-LoRA), which selects the sharing side before training to enhance fine-tuning performance. To enable adaptive factor selection before training, we design a Rank-Aware Shared-Subspace Sufficiency (RSS) metric, which effectively assesses whether a shared rank-$r$ input subspace is sufficient for the local data distributions using representations extracted from a frozen LLM backbone. Experiments across different tasks, data distributions, LoRA ranks, and participation settings confirm the effectiveness of RSS and the superior performance of FedAS-LoRA.
• Abstract（参考訳）: 低ランク適応(LoRA)は、2つのコンパクトな行列因子、すなわち$A$と$B$を持つ大きな言語モデル(LLM)のアップデートを表し、連合学習パラダイムにおいて大きなモデルを微調整する効率的な方法を提供する。 LoRA要素の非対称な役割に触発されて、$A$をクライアント間で共有すべきか、$B$をクライアント固有(Share-A/Local-B)なのか、それとも$B$をクライアント固有(Share-B/Local-A)にするかを調べます。 最小二乗のサロゲートでは、Share-A/Local-Bはクライアント固有のLoRA更新行列が共通のランク-$r$入力側空間を使用するのに対して、Share-B/Local-Aは共通のランク-$出力側空間を必要とする。 したがって、2つの戦略は異なる射影残差を生じさせ、好まれる戦略はクライアント全体の集合残差が小さいものであることを示す。 そこで我々は,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。 学習前の適応係数選択を可能にするために,冷凍LLMバックボーンから抽出した表現を用いて,共有ランク-r$入力部分空間が局所データ分布に十分であるかどうかを効果的に評価するRanc-Aware Shared-Subspace Sufficiency(RSS)メトリックを設計する。 RSSの有効性とFedAS-LoRAの優れた性能を確認するため、さまざまなタスク、データ分散、LoRAランク、参加設定をまたいだ実験を行った。

関連論文リスト

• SeFoRA: Sketch-Aggregated Federated Low-Rank Adaptation with Heterogeneous Client Ranks [15.20977008792474]
  SeFoRAはスケッチ集約型LoRAアルゴリズムであり、各クライアントはそのローカル更新の線形スケッチを送信する。 SeFoRAは双線形ミスマッチを緩和し、フルモデルの小さな部分空間でのアグリゲーションを可能にする。 一階定常点の近傍への収束を、階数同次設定に対して$cO(1/T)$で証明する。
  論文  参考訳（メタデータ） (2026-08-10T18:59:25Z)
• FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
  Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
  論文  参考訳（メタデータ） (2026-03-20T08:24:49Z)
• The Appeal and Reality of Recycling LoRAs with Adaptive Merging [33.0501514389443]
  私たちは、Hugging Face Hubのようなモデルリポジトリで見つかったLoRAのリサイクルについて検討しています。 適応的なマージ手法は,ベースモデルよりも性能が向上するが,新しいLoRAをトレーニングする際のメリットは限定的であることを示す。 このことは、リサイクルされたLoRAからの適応的なマージが、主にある種の正規化効果を介して機能する可能性を高める。
  論文  参考訳（メタデータ） (2026-02-12T18:59:20Z)
• Rethinking Parameter Sharing for LLM Fine-Tuning with Multiple LoRAs [26.212332132619736]
  マルチタスクファインタニングにおいて,複数の$A$行列と1つの共有$B$を持つ非対称なマルチローラ設計を提案する。 提案手法は,既存のマルチLoRA手法と比較して,同等あるいは優れた平均精度でタスク間のバランスの取れた性能を実現する。
  論文  参考訳（メタデータ） (2025-09-29T19:16:14Z)
• LoRAtorio: An intrinsic approach to LoRA Skill Composition [11.429106388558925]
  Low-Rank Adaptation (LoRA) はテキスト・画像拡散モデルにおいて広く採用されている手法である。 既存のアプローチでは、複数のLoRAアダプタを効果的に構成するのに苦労している。 ロラトリオ(Loratorio)は、マルチロラ合成のための新しいフリートレインフレームワークである。
  論文  参考訳（メタデータ） (2025-08-15T17:52:56Z)
• Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
  パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。 ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
  論文  参考訳（メタデータ） (2025-06-05T20:28:02Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• LoRA Done RITE: Robust Invariant Transformation Equilibration for LoRA Optimization [78.93425154518705]
  低ランク適応 (LoRA) は、メモリ要求を低減し、LLMのパラメータ効率の高い微調整法である。 本稿では,LoRA最適化のための適応行列プレコンディショニング手法であるLoRA-RITEを紹介する。
  論文  参考訳（メタデータ） (2024-10-27T22:57:12Z)
• Lifelong Personalized Low-Rank Adaptation of Large Language Models for Recommendation [50.837277466987345]
  我々は、推奨のために大規模言語モデル(LLM)の分野に焦点を当てる。 ユーザ毎に独立したLoRAを管理するPersonalized LoRAモジュールを組み込んだRecLoRAを提案する。 また、Few2Many Learning Strategyを設計し、従来のレコメンデーションモデルをレンズとして使用して、小さなトレーニングスペースをフルスペースに拡大する。
  論文  参考訳（メタデータ） (2024-08-07T04:20:28Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)
• LoraRetriever: Input-Aware LoRA Retrieval and Composition for Mixed Tasks in the Wild [76.67343971195267]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整するための効率的なソリューションを提供する。 LoraRetrieverは、入力プロンプトに従って複数のLoRAを適応的に検索して構成する検索テーマ構成フレームワークである。 実験結果から、LoraRetrieverは一貫してベースラインを上回っていることが示唆された。
  論文  参考訳（メタデータ） (2024-02-15T15:02:46Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。