論文の概要: SDFLoRA: Selective Dual-Module LoRA for Federated Fine-tuning with Heterogeneous Clients

• arxiv url: http://arxiv.org/abs/2601.11219v1
• Date: Fri, 16 Jan 2026 11:53:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.478063
• Title: SDFLoRA: Selective Dual-Module LoRA for Federated Fine-tuning with Heterogeneous Clients
• Title（参考訳）: SDFLoRA:不均一クライアントによるファインチューニングのための選択的なデュアルモジュールLORA
• Authors: Zhikang Shen, Jianrong Lu, Haiyuan Wan, Jianhai Chen,
• Abstract要約: 大規模言語モデル(LLM)のフェデレーション学習は,分散データに対するプライバシ保護の適応を可能にする手段として注目されている。 本稿では,SDFLoRA(Selective Dual-module Federated LoRA)を提案する。SDFLoRA(Selective Dual-module Federated LoRA)は,各クライアントをグローバルモジュールに分解し,転送可能な知識をキャプチャし,クライアント固有の適応を保存するローカルモジュールを提案する。 GLUEベンチマークの実験は、SDFLoRAが代表的連合LoRAベースラインを上回り、より良いユーティリティとプライバシのトレードオフを実現することを示した。
• 参考スコア（独自算出の注目度）: 4.862708813950415
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated learning (FL) for large language models (LLMs) has attracted increasing attention as a way to enable privacy-preserving adaptation over distributed data. Parameter-efficient methods such as LoRA are widely adopted to reduce communication and memory costs. Despite these advances, practical FL deployments often exhibit rank heterogeneity, since different clients may use different low-rank configurations. This makes direct aggregation of LoRA updates biased and unstable. Existing solutions typically enforce unified ranks or align heterogeneous updates into a shared subspace, which over-constrains client-specific semantics, limits personalization, and provides weak protection of local client information under differential privacy noise. To address this issue, we propose Selective Dual-module Federated LoRA (SDFLoRA), which decomposes each client adapter into a global module that captures transferable knowledge and a local module that preserves client-specific adaptations. The global module is selectively aligned and aggregated across clients, while local modules remain private. This design enables robust learning under rank heterogeneity and supports privacy-aware optimization by injecting differential privacy noise exclusively into the global module. Experiments on GLUE benchmarks demonstrate that SDFLoRA outperforms representative federated LoRA baselines and achieves a better utility-privacy trade-off.
• Abstract（参考訳）: 大規模言語モデル(LLM)のためのフェデレーション学習(FL)は、分散データに対するプライバシ保護の適応を可能にする手段として注目を集めている。 LoRAのようなパラメータ効率のよい手法は、通信とメモリコストを減らすために広く採用されている。 これらの進歩にもかかわらず、実際のFLデプロイメントは、異なるクライアントが異なる低ランク構成を使用する可能性があるため、ランクの不均一性を示すことが多い。 これにより、LoRAアップデートの直接アグリゲーションがバイアスと不安定になる。 既存のソリューションは通常、統一されたランクを強制するか、共有サブスペースに異質な更新を調整し、クライアント固有のセマンティクスを過剰に制限し、パーソナライゼーションを制限し、差分プライバシーノイズの下でローカルクライアント情報の弱い保護を提供する。 この問題に対処するため,SDFLoRA (Selective Dual-module Federated LoRA) を提案し,各クライアントアダプタをグローバルモジュールに分解し,転送可能な知識とクライアント固有の適応を保存するローカルモジュールを提案する。 グローバルモジュールは選択的にアライメントされ、クライアント間で集約されるが、ローカルモジュールはプライベートのままである。 この設計は、ランクの不均一性下での堅牢な学習を可能にし、グローバルモジュールにのみ差分プライバシーノイズを注入することにより、プライバシーに配慮した最適化をサポートする。 GLUEベンチマークの実験は、SDFLoRAが代表的連合LoRAベースラインを上回り、より良いユーティリティとプライバシのトレードオフを実現することを示した。

関連論文リスト

• FedVLM: Scalable Personalized Vision-Language Models through Federated Learning [3.2948524285562866]
  視覚言語モデル(VLM)は、印象的なゼロショットと少数ショットの学習能力を示している。 これらのモデルを大規模に微調整することは、データが分散化され、クライアントにまたがらないフェデレーション環境では、依然として困難である。 我々は,モデルプライバシを維持しつつ,VLMの分散適応を可能にする,フェデレートされたLoRAファインチューニングフレームワークであるFedVLMを提案する。
  論文  参考訳（メタデータ） (2025-07-23T00:05:02Z)
• FedRand: Enhancing Privacy in Federated Learning with Randomized LoRA Subparameter Updates [58.18162789618869]
  フェデレートラーニング(FL)は、モデルを分散的にトレーニングするための広く使われているフレームワークである。 我々はFedRandフレームワークを提案し、クライアントパラメータの完全な集合を開示するのを避ける。 我々はFedRandがMIAに対するロバスト性を改善することを、関連するベースラインと比較して実証的に検証する。
  論文  参考訳（メタデータ） (2025-03-10T11:55:50Z)
• Federated Sketching LoRA: A Flexible Framework for Heterogeneous Collaborative Fine-Tuning of LLMs [37.03583502049329]
  リソース制約のあるクライアント上での微調整大型言語モデル(LLM)は依然として難しい問題である。 最近の研究は、クライアントモデルのサイズやデータ不足に伴う課題を軽減するために、フェデレートされた微調整によるローランク適応(LoRA)技術と融合している。 サーバが保持するグローバルなLoRAモジュールのサブマトリクスをクライアントが更新できるように,スケッチ機構を活用したフェデレートスケッチLoRAを提案する。
  論文  参考訳（メタデータ） (2025-01-31T18:44:35Z)
• Fed-pilot: Optimizing LoRA Allocation for Efficient Federated Fine-Tuning with Heterogeneous Clients [11.102441622530181]
  メモリ効率の高いフェデレーションファインチューニングフレームワークであるFed-pilotを提案する。 メモリ制約のあるクライアントは、LoRAモジュールのサブセットのみをローカルにトレーニングすることで、ローランド適応(LoRA)ベースの微調整に参加することができる。 我々の知る限りでは、メモリ制約最適化を統合したFMのファインチューニングに関する最初の研究である。
  論文  参考訳（メタデータ） (2024-10-14T06:36:41Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
  フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。 その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。 我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
  論文  参考訳（メタデータ） (2023-08-20T04:41:01Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。