論文の概要: Federated Low-Rank Adaptation with Differential Privacy over Wireless Networks
- arxiv url: http://arxiv.org/abs/2411.07806v1
- Date: Tue, 12 Nov 2024 14:01:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-13 13:21:32.081663
- Title: Federated Low-Rank Adaptation with Differential Privacy over Wireless Networks
- Title（参考訳）: 無線ネットワーク上の差分プライバシーを用いたフェデレーション低ランク適応
- Authors: Tianqu Kang, Zixin Wang, Hengtao He, Jun Zhang, Shenghui Song, Khaled B. Letaief,
- Abstract要約: Federated Fine-tuning (FedFT)は、生データを共有せずに協調的なモデルトレーニングを促進することで、いくつかのプライバシー問題を緩和する。
FedFTにおけるプライバシーの盗聴攻撃のリスクは、特に医療や金融などの機密分野において懸念されている。
無線ネットワーク上での差分プライバシー(DP)を考慮したFedFTフレームワークを提案する。
- 参考スコア（独自算出の注目度）: 24.667581521367357
- License:
- Abstract: Fine-tuning large pre-trained foundation models (FMs) on distributed edge devices presents considerable computational and privacy challenges. Federated fine-tuning (FedFT) mitigates some privacy issues by facilitating collaborative model training without the need to share raw data. To lessen the computational burden on resource-limited devices, combining low-rank adaptation (LoRA) with federated learning enables parameter-efficient fine-tuning. Additionally, the split FedFT architecture partitions an FM between edge devices and a central server, reducing the necessity for complete model deployment on individual devices. However, the risk of privacy eavesdropping attacks in FedFT remains a concern, particularly in sensitive areas such as healthcare and finance. In this paper, we propose a split FedFT framework with differential privacy (DP) over wireless networks, where the inherent wireless channel noise in the uplink transmission is utilized to achieve DP guarantees without adding an extra artificial noise. We shall investigate the impact of the wireless noise on convergence performance of the proposed framework. We will also show that by updating only one of the low-rank matrices in the split FedFT with DP, the proposed method can mitigate the noise amplification effect. Simulation results will demonstrate that the proposed framework achieves higher accuracy under strict privacy budgets compared to baseline methods.
- Abstract（参考訳）: 分散エッジデバイス上でのFM(Final-tuning Large Pre-trained foundation model)は、計算とプライバシの面で大きな課題である。
Federated Fine-tuning (FedFT)は、生データを共有せずに協調的なモデルトレーニングを促進することで、いくつかのプライバシー問題を緩和する。
低ランク適応(LoRA)とフェデレーション学習を組み合わせることにより、パラメータ効率の良い微調整が可能になる。
さらに、FedFTアーキテクチャは、エッジデバイスと中央サーバの間でFMを分割するので、個々のデバイスへの完全なモデル展開の必要性が軽減される。
しかし、FedFTにおけるプライバシー盗聴攻撃のリスクは、特に医療や金融などの機密分野において懸念されている。
本稿では,無線ネットワーク上での差分プライバシ(DP)を分割するFedFTフレームワークを提案する。そこでは,アップリンク伝送における固有の無線チャネルノイズを利用して,付加的な人工ノイズを加えることなくDP保証を実現する。
提案手法の収束性能に及ぼす無線ノイズの影響について検討する。
また,FedFTの低ランク行列の1つだけをDPで更新することにより,雑音増幅効果を低減できることを示す。
シミュレーションの結果,提案フレームワークは,基本手法に比べて厳格なプライバシ予算下で高い精度を達成可能であることが示された。
関連論文リスト
- Binary Federated Learning with Client-Level Differential Privacy [7.854806519515342]
フェデレートラーニング(Federated Learning、FL)は、プライバシ保護のための協調学習フレームワークである。
既存のFLシステムはトレーニングアルゴリズムとしてフェデレーション平均(FedAvg)を採用するのが一般的である。
差分プライバシーを保証する通信効率のよいFLトレーニングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-08-07T06:07:04Z) - Differentially Private Over-the-Air Federated Learning Over MIMO Fading
Channels [24.534729104570417]
フェデレートラーニング(FL)は、エッジデバイスが機械学習モデルを協調的にトレーニングすることを可能にする。
オーバー・ザ・エアのモデルアグリゲーションは通信効率を向上させるが、無線ネットワーク上のエッジサーバにモデルをアップロードすると、プライバシのリスクが生じる可能性がある。
FLモデルとマルチアンテナサーバとの通信がプライバシー漏洩を増幅することを示す。
論文 参考訳（メタデータ） (2023-06-19T14:44:34Z) - Over-the-Air Federated Averaging with Limited Power and Privacy Budgets [49.04036552090802]
本稿では,電力予算が制限されたプライベート・オーバ・ザ・エア・フェデレーション(DP-OTA-FedAvg)システムについて検討する。
我々は,DP-OTA-FedAvg係数のギャップを最小化し,プライバシー機能を最小化するために解析的問題を改善することを目的としている。
論文 参考訳（メタデータ） (2023-05-05T13:56:40Z) - Communication and Energy Efficient Wireless Federated Learning with
Intrinsic Privacy [16.305837225117603]
Federated Learning(FL)は、エッジデバイスが生データをローカルに保持しながら、グローバルモデルを共同で学習することを可能にする、協調学習フレームワークである。
本研究では,PFELS(Private Edge Learning with Spars)と呼ばれる新しい無線FL方式を提案する。
論文 参考訳（メタデータ） (2023-04-15T03:04:11Z) - Amplitude-Varying Perturbation for Balancing Privacy and Utility in
Federated Learning [86.08285033925597]
本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。
我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。
新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
論文 参考訳（メタデータ） (2023-03-07T22:52:40Z) - Over-the-Air Federated Learning with Privacy Protection via Correlated
Additive Perturbations [57.20885629270732]
我々は、複数のユーザ/エージェントからエッジサーバへの勾配更新をOtA(Over-the-Air)で送信することで、無線フェデレーション学習のプライバシー面を考察する。
従来の摂動に基づく手法は、トレーニングの精度を犠牲にしてプライバシー保護を提供する。
本研究では,エッジサーバにおけるプライバシリークの最小化とモデル精度の低下を目標とする。
論文 参考訳（メタデータ） (2022-10-05T13:13:35Z) - Low-Latency Federated Learning over Wireless Channels with Differential
Privacy [142.5983499872664]
フェデレートラーニング(FL)では、モデルトレーニングはクライアントに分散し、ローカルモデルは中央サーバによって集約される。
本稿では,各クライアントの差分プライバシ(DP)要件だけでなく,全体としてのトレーニング性能に制約された無線チャネル上でのFLトレーニング遅延を最小限に抑えることを目的とする。
論文 参考訳（メタデータ） (2021-06-20T13:51:18Z) - Federated Model Distillation with Noise-Free Differential Privacy [35.72801867380072]
我々はFEDMD-NFDPと呼ばれる新しいフレームワークを提案し、このフレームワークはFEDMD-NFDP機構をフェデレートされたモデル蒸留フレームワークに適用する。
FEDMD-NFDPが同等のユーティリティと通信効率を提供できることを示す。
論文 参考訳（メタデータ） (2020-09-11T17:19:56Z) - Federated Learning with Sparsification-Amplified Privacy and Adaptive
Optimization [27.243322019117144]
フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。
スパーシフィケーションを増幅した新しいFLフレームワークを提案する。
提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
論文 参考訳（メタデータ） (2020-08-01T20:22:57Z) - Harnessing Wireless Channels for Scalable and Privacy-Preserving
Federated Learning [56.94644428312295]
無線接続は、フェデレートラーニング(FL)の実現に有効である
Channel randomnessperturbs 各ワーカはモデル更新をインバージョンし、複数のワーカはバンド幅に大きな干渉を発生させる。
A-FADMMでは、すべてのワーカーがモデル更新をアナログ送信を介して単一のチャンネルを使用してパラメータサーバにアップロードする。
これは通信帯域幅を節約するだけでなく、各ワーカーの正確なモデル更新軌跡を任意の盗聴者から隠蔽する。
論文 参考訳（メタデータ） (2020-07-03T16:31:15Z) - Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。
敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。
差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
論文 参考訳（メタデータ） (2020-05-01T04:28:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。