Fugu-MT 論文翻訳(概要): FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA

論文の概要: FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA

arxiv url: http://arxiv.org/abs/2608.15381v1
Date: Sat, 15 Aug 2026 19:20:31 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-18 19:59:03.280919
Title: FedPA-LoRA: Product-Aligned Framework for Mitigating Aggregation and Initialization Errors in Heterogeneous Federated LoRA
Title（参考訳）: FedPA-LoRA:不均一なフェデレーションLoRAにおける凝集・初期化エラーを緩和する製品指向フレームワーク
Abstract要約: Low-Rank Adaptation (LoRA)は、大規模な言語モデルの効率的なフェデレートされた微調整を可能にするが、その分解パラメータ化は、局所的な更新の正確な集約と局所的に最適化された要因の連続性の間の緊張を生じさせる。我々はこれらの制約に共同で対処し、同種クライアントと異種クライアントの両方で確実に収束する製品整合型LoRAフレームワークであるFedPA-LoRAを提案する。
参考スコア（独自算出の注目度）: 3.3855343208256556
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Low-Rank Adaptation (LoRA) enables efficient federated fine-tuning of large language models, but its factorized parameterization creates a tension between accurate aggregation of local updates and continuity of locally optimized factors. Factor-wise aggregation incurs aggregation mismatch but better preserves factor continuity, whereas product-space reconstruction reduces this mismatch at the cost of greater factor-level initialization mismatch from newly reconstructed factors. We propose FedPA-LoRA, a product-aligned federated LoRA framework that jointly addresses these limitations and provably converges under both homogeneous and heterogeneous client ranks. Each client preserves its local factors across communication rounds and aligns its product toward a rank-specific global reference, maintaining local optimization continuity while promoting global consistency under data heterogeneity. The server aggregates heterogeneous-rank updates in the common product space and efficiently reconstructs a rank-constrained global adapter without forming the dense aggregate. This design supports client-specific computation and communication budgets. Experiments on natural language understanding and generation tasks show that FedPA-LoRA consistently outperforms representative baselines across varying levels of data heterogeneity and homogeneous- and heterogeneous-rank settings, with up to a $6.82$ percentage-point improvement in average GLUE accuracy under heterogeneous client ranks.
Abstract（参考訳）: Low-Rank Adaptation (LoRA)は、大規模な言語モデルの効率的なフェデレートされた微調整を可能にするが、その分解パラメータ化は、局所的な更新の正確な集約と局所的に最適化された要因の連続性の間の緊張を生じさせる。因子集約は凝集ミスマッチを発生させるが、因子連続性が向上する一方、生成物空間再構成は、新たに再構成された因子による因子レベルの初期化ミスマッチのコストを犠牲にして、このミスマッチを減少させる。我々はこれらの制約に共同で対処し、同種クライアントと異種クライアントの両方で確実に収束する製品整合型LoRAフレームワークであるFedPA-LoRAを提案する。各クライアントは、通信ラウンド全体にわたる局所的な要因を保持し、そのプロダクトをランク固有のグローバル参照に向けて整列し、局所的な最適化継続性を維持しながら、データの均一性の下でグローバルな一貫性を促進する。サーバは、共通製品空間における異種ランク更新を集約し、密集集合を形成することなく、ランク制約されたグローバルアダプタを効率的に再構築する。この設計はクライアント固有の計算と通信予算をサポートする。自然言語の理解と生成タスクの実験により、FedPA-LoRAはデータの不均一性と均一性および異種ランク設定の様々なレベルにおいて代表ベースラインを一貫して上回り、異種クライアントのランクで平均GLUE精度を最大6.82ドルまで改善した。

関連論文リスト

Breaking the Structural Identity: Personalized Federated LoRA Fine-tuning under Rank Heterogeneity [12.733972494875713]
FedRoRAは、ランク・ヘテロジニアス・フェデレーション内できめ細かいパーソナライズを可能にする新しいフレームワークである。適応を共通のグローバルな方向と、学習可能な対角スケールによって管理される個人レベルの等級に分離する。 NLUおよびNLGベンチマークの実験は、FedRoRAが常に最先端の手法より優れていることを示した。
論文参考訳（メタデータ） (2026-09-01T03:09:20Z)
Amortizing Federated Adaptation: Hypernetwork Driven LoRA for Personalized Foundation Models [7.174865411448373]
Low-Rank Adaptation (LoRA) を用いた基礎モデルのフェデレート微調整は、分散学習のためのコミュニケーション効率の良いソリューションを提供する。既存のLoRAメソッドには,(1)構造的アグリゲーションバイアス,(2)クライアント側ラグという2つの基本的な制限がある。我々は、ハイパーネットワーク駆動のLoRA生成と製品空間の集約によるアモータイズされたフェデレーションにより、両方の問題に対処する統一されたフレームワークHyperLoRAを提案する。
論文参考訳（メタデータ） (2026-06-04T13:28:48Z)
FedSmoothLoRA: Toward Smoother and Faster Convergence in Federated Low-Rank Adaptation [70.67537583458572]
Low-Rank Adaptation (LoRA) を用いた基礎モデルのファインチューニングにより,通信コストと計算コストを削減できる。 FedAvgとLoRAの直接的な組み合わせには、3つの大きな問題がある。我々はFedSmoothLoRAを提案する。FedSmoothLoRAは、拡張された更新空間を保存し、局所的な最適化の連続性を改善し、クライアント対応の開始状態を提供する、フェデレートされたLoRAチューニングフレームワークである。
論文参考訳（メタデータ） (2026-05-28T06:53:46Z)
Federated LoRA Fine-Tuning for LLMs via Collaborative Alignment [4.733680065352959]
低ランク適応(LoRA)は,大規模言語モデル(LLM)のパラメータ効率向上のための強力なツールとして登場した。本稿では,LoRAを協調学習環境下で研究し,パラメータ効率を保ちながらクライアント間の協調的な微調整を可能にする。予備的な局所推定器のみに依存する汚染認識フレームワークであるCLAIR(Collaborative Low-rank Alignment and Identifiable Recovery)を提案する。
論文参考訳（メタデータ） (2026-05-20T14:12:16Z)
Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
論文参考訳（メタデータ） (2026-05-05T07:02:50Z)
Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。 SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
論文参考訳（メタデータ） (2026-03-09T07:49:56Z)
FedRot-LoRA: Mitigating Rotational Misalignment in Federated LoRA [25.49850401602623]
Federated LoRAは、分散データ上で大きな言語モデルを微調整するための通信効率のよいメカニズムを提供する。実際には、低いランクを維持するために使用される因子平均値と、局所的な更新の数学的に正しい集約との相違は、重大な集約エラーと不安定なトレーニングを引き起こす可能性がある。我々は、アグリゲーションの前に変換を介してクライアント更新を調整するフレームワークであるFedRot-LoRAを提案する。
論文参考訳（メタデータ） (2026-02-27T03:18:32Z)
ILoRA: Federated Learning with Low-Rank Adaptation for Heterogeneous Client Aggregation [15.926254171159146]
3つのコアイノベーションを統合する統合フレームワークであるILoRAを提案する。 ILoRA は既存の連合 LoRA 法よりも精度と収束安定性が優れている。
論文参考訳（メタデータ） (2025-11-20T05:59:37Z)
CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
論文参考訳（メタデータ） (2025-10-23T05:10:06Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文参考訳（メタデータ） (2023-05-19T10:47:44Z)
Disentangled Federated Learning for Tackling Attributes Skew via Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文参考訳（メタデータ） (2022-06-14T13:12:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。