Fugu-MT 論文翻訳(概要): WinFLoRA: Incentivizing Client-Adaptive Aggregation in Federated LoRA under Privacy Heterogeneity

論文の概要: WinFLoRA: Incentivizing Client-Adaptive Aggregation in Federated LoRA under Privacy Heterogeneity

arxiv url: http://arxiv.org/abs/2602.01126v1
Date: Sun, 01 Feb 2026 09:52:57 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-03 19:28:33.609427
Title: WinFLoRA: Incentivizing Client-Adaptive Aggregation in Federated LoRA under Privacy Heterogeneity
Title（参考訳）: WinFLoRA: プライバシの不均一性下でのフェデレーションLoRAにおけるクライアント適応アグリゲーションのインセンティブ
Authors: Mengsha Kou, Xiaoyu Xia, Ziqi Wang, Ibrahim Khalil, Runkun Luo, Jingwen Zhou, Minhui Xue,
Abstract要約: WinFLoRAは、アグリゲーション重みをノイズ認識のインセンティブとして利用するプライバシーと不均一な連合LoRAである。 WinFLoRAは、最先端のベンチマークよりも52.58%高い精度と2.56倍のクライアントユーティリティを実現している。
参考スコア（独自算出の注目度）: 13.687946058105156
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large Language Models (LLMs) increasingly underpin intelligent web applications, from chatbots to search and recommendation, where efficient specialization is essential. Low-Rank Adaptation (LoRA) enables such adaptation with minimal overhead, while federated LoRA allows web service providers to fine-tune shared models without data sharing. However, in privacy-sensitive deployments, clients inject varying levels of differential privacy (DP) noise, creating privacy heterogeneity that misaligns individual incentives and global performance. In this paper, we propose WinFLoRA, a privacy-heterogeneous federated LoRA that utilizes aggregation weights as incentives with noise awareness. Specifically, the noises from clients are estimated based on the uploaded LoRA adapters. A larger weight indicates greater influence on the global model and better downstream task performance, rewarding lower-noise contributions. By up-weighting low-noise updates, WinFLoRA improves global accuracy while accommodating clients' heterogeneous privacy requirements. Consequently, WinFLoRA aligns heterogeneous client utility in terms of privacy and downstream performance with global model objectives without third-party involvement. Extensive evaluations demonstrate that across multiple LLMs and datasets, WinFLoRA achieves up to 52.58% higher global accuracy and up to 2.56x client utility than state-of-the-art benchmarks. Source code is publicly available at https://github.com/koums24/WinFLoRA.git.
Abstract（参考訳）: 大規模言語モデル(LLM)は、チャットボットから検索やレコメンデーションまで、ますますインテリジェントなWebアプリケーションを基盤としています。 Low-Rank Adaptation (LoRA)は、最小限のオーバーヘッドでそのような適応を可能にする一方、フェデレートされたLoRAは、Webサービスプロバイダがデータ共有なしで共有モデルを微調整することができる。しかし、プライバシに敏感なデプロイメントでは、クライアントはさまざまなレベルの差分プライバシー(DP)ノイズを注入し、個々のインセンティブやグローバルパフォーマンスを誤認するプライバシーの不均一性を発生させる。本稿では,重み付けを雑音認識のインセンティブとして活用するプライバシー不均一なLoRAであるWinFLoRAを提案する。具体的には、アップロードされたLoRAアダプタに基づいてクライアントからのノイズを推定する。より大きな重みは、グローバルモデルとダウンストリームタスクのパフォーマンスにより大きな影響を示し、低ノイズの貢献に報いる。低ノイズ更新のアップウェイトにより、WinFLoRAは、クライアントの不均一なプライバシ要件を満足しながら、グローバルな精度を改善する。結果として、WinFLoRAは、プライバシーと下流のパフォーマンスの点で異質なクライアントユーティリティを、サードパーティの関与なしにグローバルなモデル目標と整合させる。大規模な評価では、複数のLLMとデータセットで、WinFLoRAは最先端のベンチマークよりも52.58%高い精度と2.56倍のクライアントユーティリティを達成している。ソースコードはhttps://github.com/koums24/WinFLoRA.gitで公開されている。

関連論文リスト

Rethinking LoRA for Privacy-Preserving Federated Learning in Large Models [14.755143405057929]
差分プライベートラーニング(DPFL)の下での微調整大型ビジョンモデル(LVM)と大規模言語モデル(LLM)は、基本的なプライバシーとユーティリティのトレードオフによって妨げられる。 Low-Rank Adaptation (LoRA)はPEFT法であり、トレーニング可能な2つの低ランク行列を導入し、事前訓練した重みを凍結することにより、計算と通信のコストを削減する。 LA-LoRAは、勾配の相互作用を分離し、クライアント間で更新方向を調整し、厳密なプライバシー制約の下で堅牢性を高める新しいアプローチである。
論文参考訳（メタデータ） (2026-02-23T15:05:28Z)
SDFLoRA: Selective Dual-Module LoRA for Federated Fine-tuning with Heterogeneous Clients [4.862708813950415]
大規模言語モデル(LLM)のフェデレーション学習は,分散データに対するプライバシ保護の適応を可能にする手段として注目されている。本稿では,SDFLoRA(Selective Dual-module Federated LoRA)を提案する。SDFLoRA(Selective Dual-module Federated LoRA)は,各クライアントをグローバルモジュールに分解し,転送可能な知識をキャプチャし,クライアント固有の適応を保存するローカルモジュールを提案する。 GLUEベンチマークの実験は、SDFLoRAが代表的連合LoRAベースラインを上回り、より良いユーティリティとプライバシのトレードオフを実現することを示した。
論文参考訳（メタデータ） (2026-01-16T11:53:38Z)
CO-PFL: Contribution-Oriented Personalized Federated Learning for Heterogeneous Networks [51.43780477302533]
コントリビューション指向型PFL(CO-PFL)は,グローバルアグリゲーションに対する各クライアントのコントリビューションを動的に推定するアルゴリズムである。 CO-PFLは、パーソナライズ精度、堅牢性、スケーラビリティ、収束安定性において、最先端の手法を一貫して超越している。
論文参考訳（メタデータ） (2025-10-23T05:10:06Z)
FedVLM: Scalable Personalized Vision-Language Models through Federated Learning [3.2948524285562866]
視覚言語モデル(VLM)は、印象的なゼロショットと少数ショットの学習能力を示している。これらのモデルを大規模に微調整することは、データが分散化され、クライアントにまたがらないフェデレーション環境では、依然として困難である。我々は,モデルプライバシを維持しつつ,VLMの分散適応を可能にする,フェデレートされたLoRAファインチューニングフレームワークであるFedVLMを提案する。
論文参考訳（メタデータ） (2025-07-23T00:05:02Z)
Differentially Private Federated Low Rank Adaptation Beyond Fixed-Matrix [15.815684304898575]
大規模言語モデル(LLM)は通常、ドメイン固有のタスクを微調整する必要がある。両方のアダプタにノイズを追加することで、モデル上の合成ノイズが増幅され、一方のアダプタを固定すると、微調整の学習性が損なわれる。高い差分プライバシーを持つ低ランクアダプタを効果的に更新するための,新しいフェデレートLoRAフレームワークであるFedASKを提案する。
論文参考訳（メタデータ） (2025-07-14T07:17:24Z)
FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
論文参考訳（メタデータ） (2024-06-25T16:45:47Z)
Noise-Aware Algorithm for Heterogeneous Differentially Private Federated Learning [21.27813247914949]
本稿では,クライアントモデル更新における真のノイズレベルを効率的に推定するRobust-HDPを提案する。ユーティリティと収束速度を改善し、不正なプライバシパラメータをサーバに送信する可能性のあるクライアントに対して安全である。
論文参考訳（メタデータ） (2024-06-05T17:41:42Z)
FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
論文参考訳（メタデータ） (2023-11-19T04:43:16Z)
Rethinking Client Drift in Federated Learning: A Logit Perspective [125.35844582366441]
フェデレートラーニング(FL)は、複数のクライアントが分散した方法で協調的に学習し、プライバシ保護を可能にする。その結果,局所モデルとグローバルモデルとのロジット差は,モデルが継続的に更新されるにつれて増大することがわかった。我々はFedCSDと呼ばれる新しいアルゴリズムを提案する。FedCSDは、ローカルモデルとグローバルモデルを調整するためのフェデレーションフレームワークにおけるクラスプロトタイプの類似度蒸留である。
論文参考訳（メタデータ） (2023-08-20T04:41:01Z)
Towards Instance-adaptive Inference for Federated Learning [80.38701896056828]
Federated Learning(FL)は、複数のクライアントがローカルトレーニングを集約することで、強力なグローバルモデルを学ぶことができる分散学習パラダイムである。本稿では,FedInsという新しいFLアルゴリズムを提案する。我々のFedInsは、Tiny-ImageNet上での通信コストが15%未満で、トップパフォーマンスの手法に対して6.64%の改善など、最先端のFLアルゴリズムよりも優れていることを示す。
論文参考訳（メタデータ） (2023-08-11T09:58:47Z)
Dynamic Regularized Sharpness Aware Minimization in Federated Learning: Approaching Global Consistency and Smooth Landscape [59.841889495864386]
フェデレートラーニング(FL)では、グローバルサーバの協調の下で、ローカルクライアントのクラスタがチェアリングされる。クライアントは自身のオプティマに過度に適合する傾向にあり、グローバルな目標から非常に逸脱する。 tt Family FedSMOOは、グローバルな目的に対する局所的な最適性を保証するために動的正規化器を採用する。理論解析により, tt Family FedSMOO は, 低境界一般化による高速$mathcalO (1/T)$収束率を達成することが示された。
論文参考訳（メタデータ） (2023-05-19T10:47:44Z)
FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
論文参考訳（メタデータ） (2023-02-02T12:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。