論文の概要: Differentially Private Federated Low Rank Adaptation Beyond Fixed-Matrix

• arxiv url: http://arxiv.org/abs/2507.09990v1
• Date: Mon, 14 Jul 2025 07:17:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-15 18:48:24.464236
• Title: Differentially Private Federated Low Rank Adaptation Beyond Fixed-Matrix
• Title（参考訳）: 固定行列を超える個人レベルの低ランク適応
• Authors: Ming Wen, Jiaqi Zhu, Yuedong Xu, Yipeng Zhou, Dingding Han,
• Abstract要約: 大規模言語モデル(LLM)は通常、ドメイン固有のタスクを微調整する必要がある。 両方のアダプタにノイズを追加することで、モデル上の合成ノイズが増幅され、一方のアダプタを固定すると、微調整の学習性が損なわれる。 高い差分プライバシーを持つ低ランクアダプタを効果的に更新するための,新しいフェデレートLoRAフレームワークであるFedASKを提案する。
• 参考スコア（独自算出の注目度）: 15.815684304898575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) typically require fine-tuning for domain-specific tasks, and LoRA offers a computationally efficient approach by training low-rank adapters. LoRA is also communication-efficient for federated LLMs when multiple users collaboratively fine-tune a global LLM model without sharing their proprietary raw data. However, even the transmission of local adapters between a server and clients risks serious privacy leakage. Applying differential privacy (DP) to federated LoRA encounters a dilemma: adding noise to both adapters amplifies synthetic noise on the model, while fixing one adapter impairs the learnability of fine-tuning. In this paper, we propose FedASK (Differentially Private Federated Low Rank Adaptation with Double Sketching) , a novel federated LoRA framework to enable effective updating of both low-rank adapters with robust differential privacy. Inspired by randomized SVD, our key idea is a two-stage sketching pipeline. This pipeline first aggregates carefully sketched, privacy-preserving local updates, and then reconstructs the global matrices on the server to facilitate effective updating of both adapters. We theoretically prove FedASK's differential privacy guarantee and its exact aggregation property. Comprehensive experiments demonstrate that FedASK consistently outperforms baseline methods across a variety of privacy settings and data distributions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は通常、ドメイン固有のタスクを微調整する必要がある。 LoRAは、複数のユーザが独自の生データを共有せずにグローバルなLLMモデルを微調整する場合、フェデレートされたLLMに対して通信効率も向上する。 しかし、サーバとクライアント間のローカルアダプタの送信でさえ、重大なプライバシー漏洩のリスクがある。 両方のアダプタにノイズを追加することで、モデル上の合成ノイズが増幅され、一方のアダプタを固定すると、微調整の学習性が損なわれる。 本稿では,FedASK (Differentially Private Federated Low Rank Adaptation with Double Sketching)を提案する。 ランダム化されたSVDにインスパイアされた私たちの重要なアイデアは、2段階のスケッチパイプラインです。 このパイプラインはまず、慎重にスケッチされ、プライバシを保存するローカルアップデートを集約し、それからサーバ上のグローバルマトリックスを再構築して、両方のアダプタの効果的な更新を容易にする。 理論的には、FedASKの差分プライバシー保証とその正確なアグリゲーション特性を証明します。 総合的な実験により、FedASKはさまざまなプライバシ設定やデータ配布のベースラインメソッドを一貫して上回っていることが示される。

関連論文リスト

• Fed-SB: A Silver Bullet for Extreme Communication Efficiency and Performance in (Private) Federated LoRA Fine-Tuning [17.532822531022386]
  Fed-SB (Federated Silver Bullet) は、LORA-SBを用いたLLMの微調整のための新しい手法である。 Fed-SBは、常識推論、算術推論、言語推論タスクにまたがる最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2025-02-21T13:05:19Z)
• FedBiOT: LLM Local Fine-tuning in Federated Learning without Full Model [48.33280660752336]
  大規模言語モデル(LLM)は、適切なデータで微調整した後、多くのドメイン固有のタスクで素晴らしいパフォーマンスを示す。 多くのドメイン固有のデータは、プライベートに複数の所有者に分散される。 我々は,フェデレート学習のための資源効率の高いLLM微調整手法であるFedBiOTを紹介する。
  論文  参考訳（メタデータ） (2024-06-25T16:45:47Z)
• PeFAD: A Parameter-Efficient Federated Framework for Time Series Anomaly Detection [51.20479454379662]
  私たちはaを提案します。 フェデレートされた異常検出フレームワークであるPeFADは、プライバシーの懸念が高まっている。 我々は、4つの実際のデータセットに対して広範な評価を行い、PeFADは既存の最先端ベースラインを最大28.74%上回っている。
  論文  参考訳（メタデータ） (2024-06-04T13:51:08Z)
• DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation [15.023077875990614]
  フェデレートラーニング(FL)は、クライアントがローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることを可能にする。 差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。 差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
  論文  参考訳（メタデータ） (2024-05-10T10:10:37Z)
• Improving LoRA in Privacy-preserving Federated Learning [44.47315926976059]
  ローランク適応(ローランク適応、LoRA)は、事前訓練された言語モデルにおける最も一般的なタスク固有パラメータ効率細調整(PEFT)手法の1つである。 本稿では,これらの課題を緩和するために,LoRAの効率的かつ効果的なフェデレートフリーズA LoRA(FFA-LoRA)を提案する。
  論文  参考訳（メタデータ） (2024-03-18T23:20:08Z)
• FedRA: A Random Allocation Strategy for Federated Tuning to Unleash the Power of Heterogeneous Clients [50.13097183691517]
  実世界のフェデレーションシナリオでは、様々な計算と通信資源を持つ多種多様なクライアントが存在することが多い。 本稿では,新しいフェデレーションチューニングアルゴリズムであるFedRAを提案する。 各通信ラウンドにおいて、FedRAはランダムにアロケーション行列を生成する。 アダプタを用いてアロケーション行列とファインチューンに基づいて、元のモデルから少数のレイヤを再編成する。
  論文  参考訳（メタデータ） (2023-11-19T04:43:16Z)
• Federated Nearest Neighbor Machine Translation [66.8765098651988]
  本稿では,FedNN(FedNN)機械翻訳フレームワークを提案する。 FedNNは1ラウンドの記憶に基づくインタラクションを活用して、異なるクライアント間で知識を共有する。 実験の結果,FedAvgと比較して,FedNNは計算コストと通信コストを著しく削減することがわかった。
  論文  参考訳（メタデータ） (2023-02-23T18:04:07Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Robust Semi-supervised Federated Learning for Images Automatic Recognition in Internet of Drones [57.468730437381076]
  プライバシー保護型UAV画像認識のための半教師付きフェデレートラーニング(SSFL)フレームワークを提案する。 異なるカメラモジュールを使用したUAVによって収集されたローカルデータの数、特徴、分布には大きな違いがある。 本稿では,クライアントがトレーニングに参加する頻度,すなわちFedFreqアグリゲーションルールに基づくアグリゲーションルールを提案する。
  論文  参考訳（メタデータ） (2022-01-03T16:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。