論文の概要: WinFLoRA: Incentivizing Client-Adaptive Aggregation in Federated LoRA under Privacy Heterogeneity

• arxiv url: http://arxiv.org/abs/2602.01126v1
• Date: Sun, 01 Feb 2026 09:52:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.609427
• Title: WinFLoRA: Incentivizing Client-Adaptive Aggregation in Federated LoRA under Privacy Heterogeneity
• Title（参考訳）: WinFLoRA: プライバシの不均一性下でのフェデレーションLoRAにおけるクライアント適応アグリゲーションのインセンティブ
• Authors: Mengsha Kou, Xiaoyu Xia, Ziqi Wang, Ibrahim Khalil, Runkun Luo, Jingwen Zhou, Minhui Xue,
• Abstract要約: WinFLoRAは、アグリゲーション重みをノイズ認識のインセンティブとして利用するプライバシーと不均一な連合LoRAである。 WinFLoRAは、最先端のベンチマークよりも52.58%高い精度と2.56倍のクライアントユーティリティを実現している。
• 参考スコア（独自算出の注目度）: 13.687946058105156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) increasingly underpin intelligent web applications, from chatbots to search and recommendation, where efficient specialization is essential. Low-Rank Adaptation (LoRA) enables such adaptation with minimal overhead, while federated LoRA allows web service providers to fine-tune shared models without data sharing. However, in privacy-sensitive deployments, clients inject varying levels of differential privacy (DP) noise, creating privacy heterogeneity that misaligns individual incentives and global performance. In this paper, we propose WinFLoRA, a privacy-heterogeneous federated LoRA that utilizes aggregation weights as incentives with noise awareness. Specifically, the noises from clients are estimated based on the uploaded LoRA adapters. A larger weight indicates greater influence on the global model and better downstream task performance, rewarding lower-noise contributions. By up-weighting low-noise updates, WinFLoRA improves global accuracy while accommodating clients' heterogeneous privacy requirements. Consequently, WinFLoRA aligns heterogeneous client utility in terms of privacy and downstream performance with global model objectives without third-party involvement. Extensive evaluations demonstrate that across multiple LLMs and datasets, WinFLoRA achieves up to 52.58% higher global accuracy and up to 2.56x client utility than state-of-the-art benchmarks. Source code is publicly available at https://github.com/koums24/WinFLoRA.git.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、チャットボットから検索やレコメンデーションまで、ますますインテリジェントなWebアプリケーションを基盤としています。 Low-Rank Adaptation (LoRA)は、最小限のオーバーヘッドでそのような適応を可能にする一方、フェデレートされたLoRAは、Webサービスプロバイダがデータ共有なしで共有モデルを微調整することができる。 しかし、プライバシに敏感なデプロイメントでは、クライアントはさまざまなレベルの差分プライバシー(DP)ノイズを注入し、個々のインセンティブやグローバルパフォーマンスを誤認するプライバシーの不均一性を発生させる。 本稿では,重み付けを雑音認識のインセンティブとして活用するプライバシー不均一なLoRAであるWinFLoRAを提案する。 具体的には、アップロードされたLoRAアダプタに基づいてクライアントからのノイズを推定する。 より大きな重みは、グローバルモデルとダウンストリームタスクのパフォーマンスにより大きな影響を示し、低ノイズの貢献に報いる。 低ノイズ更新のアップウェイトにより、WinFLoRAは、クライアントの不均一なプライバシ要件を満足しながら、グローバルな精度を改善する。 結果として、WinFLoRAは、プライバシーと下流のパフォーマンスの点で異質なクライアントユーティリティを、サードパーティの関与なしにグローバルなモデル目標と整合させる。 大規模な評価では、複数のLLMとデータセットで、WinFLoRAは最先端のベンチマークよりも52.58%高い精度と2.56倍のクライアントユーティリティを達成している。 ソースコードはhttps://github.com/koums24/WinFLoRA.gitで公開されている。

関連論文リスト

• SDFLoRA: Selective Dual-Module LoRA for Federated Fine-tuning with Heterogeneous Clients [4.862708813950415]
  大規模言語モデル(LLM)のフェデレーション学習は,分散データに対するプライバシ保護の適応を可能にする手段として注目されている。 本稿では,SDFLoRA(Selective Dual-module Federated LoRA)を提案する。SDFLoRA(Selective Dual-module Federated LoRA)は,各クライアントをグローバルモジュールに分解し,転送可能な知識をキャプチャし,クライアント固有の適応を保存するローカルモジュールを提案する。 GLUEベンチマークの実験は、SDFLoRAが代表的連合LoRAベースラインを上回り、より良いユーティリティとプライバシのトレードオフを実現することを示した。
  論文  参考訳（メタデータ） (2026-01-16T11:53:38Z)
• FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
  大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。 多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。 我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T16:45:47Z)
• Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
  本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。 ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
  論文  参考訳（メタデータ） (2024-06-05T17:41:42Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
  Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。 本稿では,FedInsという新しいFLアルゴリズムを提案する。 我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-08-11T09:58:47Z)
• Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
  フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。 クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。 理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
  論文  参考訳（メタデータ） (2023-05-19T10:47:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。