論文の概要: Breaking the Structural Identity: Personalized Federated LoRA Fine-tuning under Rank Heterogeneity

• arxiv url: http://arxiv.org/abs/2609.00632v1
• Date: Tue, 01 Sep 2026 03:09:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.264003
• Title: Breaking the Structural Identity: Personalized Federated LoRA Fine-tuning under Rank Heterogeneity
• Title（参考訳）: 構造的アイデンティティを破る:ランクの不均一性下での個人化されたLoRAファインチューニング
• Authors: Lei Wang, Jieming Bian, Letian Zhang, Jie Xu,
• Abstract要約: FedRoRAは、ランク・ヘテロジニアス・フェデレーション内できめ細かいパーソナライズを可能にする新しいフレームワークである。 適応を共通のグローバルな方向と、学習可能な対角スケールによって管理される個人レベルの等級に分離する。 NLUおよびNLGベンチマークの実験は、FedRoRAが常に最先端の手法より優れていることを示した。
• 参考スコア（独自算出の注目度）: 12.733972494875713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable success across diverse domains, but their adaptation to privacy-sensitive, distributed datasets remains a challenge. While Federated Learning (FL) combined with Low-Rank Adaptation (LoRA) provides a resource-efficient paradigm for collaborative fine-tuning, practical deployments are hindered by the dual challenges of resource heterogeneity and data heterogeneity. Existing rank-heterogeneous methods primarily focus on bridging dimension mismatches for aggregation but typically provide a unified global model for all clients sharing the same rank, failing to capture client-specific features in non-IID scenarios. In this paper, we propose FedRoRA (Federated Rank-wise Personalized LoRA), a novel framework that enables fine-grained personalization within rank-heterogeneous federations. FedRoRA decouples adaptation into shared global directions and personalized rank-wise magnitudes governed by learnable diagonal scales. On the server side, it extracts a global subspace via singular value decomposition (SVD) and redistributes client-specific initializations through a personalized projection and top-$k$ selection mechanism. Extensive experiments on NLU and NLG benchmarks demonstrate that FedRoRA consistently outperforms state-of-the-art methods.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまなドメインで大きな成功を収めていますが、プライバシに敏感な分散データセットへの適応は依然として課題です。 FL(Federated Learning)とLoRA(Lo-Rank Adaptation)は協調的な微調整のためのリソース効率のパラダイムを提供するが、実際のデプロイメントはリソースの不均一性とデータ不均一性の2つの課題によって妨げられる。 既存の階数不均一な手法は主に集約のための寸法ミスマッチのブリッジにフォーカスするが、典型的には、同じ階数を共有するすべてのクライアントに対して統一されたグローバルモデルを提供し、非IIDシナリオでクライアント固有の特徴をキャプチャすることができない。 本稿では,フェデレーテッド・ランクワイド・パーソナライズ・ロラ(Federated Rank-wise Personalized LoRA)を提案する。 FedRoRAは、適応を共通のグローバルな方向と、学習可能な対角スケールによって管理されるパーソナライズされたランクの規模に分離する。 サーバ側では、特異値分解(SVD)を通じてグローバルなサブスペースを抽出し、パーソナライズされたプロジェクションとトップ$選択メカニズムを通じてクライアント固有の初期化を再配布する。 NLUおよびNLGベンチマークの大規模な実験は、FedRoRAが常に最先端の手法より優れていることを示した。

関連論文リスト

• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  VLM(Vision-Language Models)は、医療や金融といったプライバシに敏感な分野において大きな可能性を秘めている。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを組み合わせた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化とクロスクライアント適応性において、フェデレートされたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-05-05T07:02:50Z)
• FedPDPO: Federated Personalized Direct Preference Optimization for Large Language Model Alignment [55.97027207627]
  Fed PDPO(Federated Personalized Direct Preference Optimization)は、大規模言語モデル(LLM)の優先順位調整のためのパーソナライズされたフレームワークである。 パラメータ効率の良い微調整アーキテクチャを採用し、各クライアントはLow-Rank Adaptation (LoRA)アダプタで拡張された凍結したLLMバックボーンを維持し、通信効率のよいアグリゲーションを可能にする。 複数の嗜好データセットの実験では、最先端のパフォーマンスを示し、フェデレーション付きドメイン内およびクロスドメイン設定の平均精度が4.80%向上した。
  論文  参考訳（メタデータ） (2026-03-20T08:24:49Z)
• FedPrism: Adaptive Personalized Federated Learning under Non-IID Data [1.299941371793082]
  FedPrismは、各クライアントのモデルを3つの部分から構築するフレームワークである。 Prism Decompositionメソッドを使用して、各クライアントのモデルを3つの部分から構築する。 また、Dual-Streamデザインを使用しており、地元のスペシャリストと一緒に一般的なモデルを実行している。
  論文  参考訳（メタデータ） (2026-03-09T11:23:32Z)
• Replacing Parameters with Preferences: Federated Alignment of Heterogeneous Vision-Language Models [63.70401095689976]
  パラメータを好みに置き換えることは、よりスケーラブルでプライバシに保護される未来を表している、と私たちは主張する。 ヘテロジニアスVLMのためのGRPOとMixture-of-Rewardsを用いた協調アライメントフレームワークであるMoRを提案する。 MoRは、一般化、堅牢性、およびクロスクライアント適応性において、連邦化されたアライメントベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2026-01-31T03:11:51Z)
• FedUTR: Federated Recommendation with Augmented Universal Textual Representation for Sparse Interaction Scenarios [58.33672784127872]
  フェデレーションレコメンデーション(FR)は、デバイス上のプライバシ保護パラダイムとして登場した。 本稿では,対話行動の補完として項目文表現を取り入れたFedUTRという新しい手法を提案する。 提案手法は,SOTAベースラインと比較して,全データセットの最大59%の改善を達成し,優れた性能を実現する。
  論文  参考訳（メタデータ） (2026-01-29T08:55:19Z)
• FediLoRA: Heterogeneous LoRA for Federated Multimodal Fine-tuning under Missing Modalities [9.507134068207597]
  FediLoRAは、不均一なLoRAランクと欠落したモダリティの下で、連邦化されたマルチモーダル微調整のためのフレームワークである。 グローバルな設定とパーソナライズされた設定の両方において、競争上のベースラインよりも優れたパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2025-09-01T10:40:13Z)
• Generalized and Personalized Federated Learning with Foundation Models via Orthogonal Transformations [4.008780119020479]
  Federated Learningは、集中的なデータ収集を必要とせずに、分散化されたクライアントやローカルデータを保持するデバイス間でモデルをトレーニングすることを目的としている。 我々は,ブラックボックス基盤モデルを活用した新しいアプローチであるFedOTを紹介する。 FedOTは、さまざまなクライアント間の勾配競合を緩和し、セマンティックな整合性を保持し、実質的なデータの存在下でも堅牢なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-05-26T12:18:24Z)
• Federated and Generalized Person Re-identification through Domain and Feature Hallucinating [88.77196261300699]
  人物再識別(re-ID)におけるフェデレーションドメイン一般化(FedDG)の問題について検討する。 一般化された局所的・グローバルなモデルを学ぶための多様な特徴を創出する手法として,DFH (Domain and Feature Hallucinating) を提案する。 提案手法は4つの大規模re-IDベンチマークにおいてFedDGの最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-05T09:15:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。