論文の概要: FedLAFP: Low-Rank Aggregation Meets Full-Rank Personalization in Federated Fine-Tuning

• arxiv url: http://arxiv.org/abs/2609.37033v1
• Date: Tue, 29 Sep 2026 08:45:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.338908
• Title: FedLAFP: Low-Rank Aggregation Meets Full-Rank Personalization in Federated Fine-Tuning
• Title（参考訳）: 米連邦準備制度理事会(FRB):低水準のアグリゲーションがフルランクのパーソナライズに
• Abstract要約: フェデレートされたパラメータ効率の微調整により、クライアントは生データを共有したり、完全なモデルを通信したりすることなく、事前訓練されたモデルを適応できる。 既存のパーソナライズされたメソッドは、共有とプライベートの両方に同じ低ランク構造を使用するのが一般的である。 我々は、コンパクトでグローバルに集約されたLoRAブランチとクライアントプライベートでフルランク対応のRandLoRAブランチを結合するロール認識フレームワークであるFedLAFPを提案する。
• 参考スコア（独自算出の注目度）: 11.499152917341256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated parameter-efficient fine-tuning enables clients to adapt pre-trained models without sharing raw data or communicating the full model, but statistical heterogeneity makes a single global adapter insufficient for personalized prediction. Existing personalized methods typically use the same low-rank structure for both shared and private adaptation, overlooking their distinct requirements for aggregation and personalization. We propose FedLAFP, a role-aware framework that couples a compact, globally aggregated LoRA branch with a client-private, full-rank-capable RandLoRA branch. The shared branch provides an efficient interface for transferring common knowledge, whereas the private branch combines fixed random low-rank bases with learned scaling coefficients to provide expressive client-specific adaptation without additional communication. Client- and layer-specific mixing coefficients jointly fuse the two branches, and only the shared LoRA parameters are exchanged. A controlled linear study supports this role assignment: LoRA yields more aligned client updates and lower aggregation error, while RandLoRA more accurately recovers client-specific residuals. Experiments across four visual recognition benchmarks show that FedLAFP consistently outperforms local-only and federated LoRA baselines, achieving an average personalized accuracy of $86.93\%$ and exceeding the best baseline average by $1.30$ percentage points.
• Abstract（参考訳）: フェデレートされたパラメータ効率の微調整により、クライアントは生データを共有したり、全モデルを通信したりすることなく、事前訓練されたモデルを適応することができるが、統計的不均一性により、パーソナライズされた予測には単一のグローバルアダプタが不十分である。 既存のパーソナライズされたメソッドは、共有とプライベートの両方に同じ低ランク構造を使用し、アグリゲーションとパーソナライゼーションの異なる要件を見落としている。 我々は、コンパクトでグローバルに集約されたLoRAブランチとクライアントプライベートでフルランク対応のRandLoRAブランチを結合するロール認識フレームワークであるFedLAFPを提案する。 共有ブランチは、共通の知識を伝達するための効率的なインターフェースを提供する一方、プライベートブランチは、固定されたランダムな低ランクベースと学習されたスケーリング係数を組み合わせることで、追加のコミュニケーションなしに、表現力のあるクライアント固有の適応を提供する。 クライアントとレイヤ固有の混合係数は2つの分岐を融合させ、共有されたLoRAパラメータのみを交換する。 LoRAはより整合したクライアント更新と低いアグリゲーションエラーをもたらし、RandLoRAはより正確にクライアント固有の残留物を回復します。 4つのビジュアル認識ベンチマークによる実験によると、FedLAFPはローカルのみおよびフェデレートされたLoRAベースラインを一貫して上回り、パーソナライズされた平均精度は86.93 %で、ベースライン平均を1.30 %以上上回っている。

関連論文リスト

• CF-LoRA: Decoupled Factor Aggregation and Adaptation-Aware Client Clustering for Federated LoRA Fine-Tuning [11.499152917341256]
  フェデレートされたLoRAファインチューニングは、プライベートデータを共有することなく、事前訓練されたモデルのパラメータ効率の適応を可能にする。 本稿では,非結合因子集約と適応対応クライアントクラスタリングを組み合わせた,クラスタ化フェデレーションLoRAファインチューニングフレームワークCF-LoRAを提案する。 RoBERTaとViTによる4つの言語タスクと4つのビジョンデータセットの実験は、CF-LoRAが両方のモードで最高の平均精度を達成することを示している。
  論文  参考訳（メタデータ） (2026-09-29T08:18:30Z)
• Breaking the Structural Identity: Personalized Federated LoRA Fine-tuning under Rank Heterogeneity [12.733972494875713]
  FedRoRAは、ランク・ヘテロジニアス・フェデレーション内できめ細かいパーソナライズを可能にする新しいフレームワークである。 適応を共通のグローバルな方向と、学習可能な対角スケールによって管理される個人レベルの等級に分離する。 NLUおよびNLGベンチマークの実験は、FedRoRAが常に最先端の手法より優れていることを示した。
  論文  参考訳（メタデータ） (2026-09-01T03:09:20Z)
• Rethinking Factor Sharing in Federated LoRA: A Rank-Aware Adaptive Approach [58.97285859000893]
  クライアント間で$A$を共有すべきか、$B$がクライアント固有(Share-A/Local-B)なのか、それとも$B$がクライアント固有(Share-B/Local-A)なのかを調査する。 本稿では,FedAS-LoRA(Federated Adaptive Factor Sharing Low-Rank Adaptation)を提案する。
  論文  参考訳（メタデータ） (2026-08-10T15:38:45Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
  Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
  論文  参考訳（メタデータ） (2026-03-20T08:24:49Z)
• Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
  プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。 本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。 SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
  論文  参考訳（メタデータ） (2026-03-09T07:49:56Z)
• CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
  コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
  論文  参考訳（メタデータ） (2025-10-23T05:10:06Z)
• FedALT: Federated Fine-Tuning through Adaptive Local Training with Rest-of-World LoRA [5.162783756846019]
  ファインチューニングされた大型言語モデル(LLM)は、プライバシ保護の適応を可能にするが、モデルアグリゲーションによるクロスクライアント干渉に悩まされる。 我々は,新しいパーソナライズされたLoRAファインチューニングアルゴリズムである textbfFedALT を提案する。 我々は、FedALTが、最先端のパーソナライズされたLoRAファインチューニング手法を著しく上回っていることを実証した。
  論文  参考訳（メタデータ） (2025-03-14T21:07:46Z)
• FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates [58.18162789618869]
  フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。 我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。 我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
  論文  参考訳（メタデータ） (2025-03-10T11:55:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。