論文の概要: DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation

• arxiv url: http://arxiv.org/abs/2405.06368v1
• Date: Fri, 10 May 2024 10:10:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-13 16:07:56.555336
• Title: DP-DyLoRA: Fine-Tuning Transformer-Based Models On-Device under Differentially Private Federated Learning using Dynamic Low-Rank Adaptation
• Title（参考訳）: DP-DyLoRA:動的低ランク適応を用いた個人差分学習環境下での微調整トランスフォーマーモデル
• Authors: Jie Xu, Karthikeyan Saravanan, Rogier van Dalen, Haaris Mehmood, David Tuckey, Mete Ozay,
• Abstract要約: フェデレートラーニング(FL)により、IoT(Internet of Things)システムのクライアントは、ローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることができる。 差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。 差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。
• 参考スコア（独自算出の注目度）: 15.023077875990614
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Federated learning (FL) allows clients in an Internet of Things (IoT) system to collaboratively train a global model without sharing their local data with a server. However, clients' contributions to the server can still leak sensitive information. Differential privacy (DP) addresses such leakage by providing formal privacy guarantees, with mechanisms that add randomness to the clients' contributions. The randomness makes it infeasible to train large transformer-based models, common in modern IoT systems. In this work, we empirically evaluate the practicality of fine-tuning large scale on-device transformer-based models with differential privacy in a federated learning system. We conduct comprehensive experiments on various system properties for tasks spanning a multitude of domains: speech recognition, computer vision (CV) and natural language understanding (NLU). Our results show that full fine-tuning under differentially private federated learning (DP-FL) generally leads to huge performance degradation which can be alleviated by reducing the dimensionality of contributions through parameter-efficient fine-tuning (PEFT). Our benchmarks of existing DP-PEFT methods show that DP-Low-Rank Adaptation (DP-LoRA) consistently outperforms other methods. An even more promising approach, DyLoRA, which makes the low rank variable, when naively combined with FL would straightforwardly break differential privacy. We therefore propose an adaptation method that can be combined with differential privacy and call it DP-DyLoRA. Finally, we are able to reduce the accuracy degradation and word error rate (WER) increase due to DP to less than 2% and 7% respectively with 1 million clients and a stringent privacy budget of {\epsilon}=2.
• Abstract（参考訳）: フェデレートラーニング(FL)により、IoT(Internet of Things)システムのクライアントは、ローカルデータをサーバと共有することなく、グローバルモデルを協調的にトレーニングすることができる。 しかし、サーバへのクライアントのコントリビューションは機密情報を漏洩させる可能性がある。 差分プライバシ(DP)は、クライアントのコントリビューションにランダム性を加えるメカニズムを備えた、正式なプライバシ保証を提供することによって、そのようなリークに対処する。 このランダム性により、現代のIoTシステムで一般的な大きなトランスフォーマーベースのモデルをトレーニングすることは不可能になる。 本研究では,フェデレート学習システムにおいて,差分プライバシを持つデバイス上での大規模トランスフォーマーモデルの実現性を実証的に評価する。 我々は、音声認識、コンピュータビジョン(CV)、自然言語理解(NLU)など、多分野にわたるタスクに対して、様々なシステム特性に関する包括的な実験を行う。 この結果から,DP-FLによる完全微調整は,パラメータ効率のよい微調整(PEFT)による寄与の次元性を低減し,大きな性能劣化をもたらすことが示唆された。 既存のDP-PEFT手法のベンチマークでは,DP-Low-Rank Adaptation (DP-LoRA) が他の手法より一貫して優れていることが示された。 さらに有望なアプローチであるDyLoRAは、FLと鼻で組み合わせることで、直接差分プライバシーを損なう。 そこで本研究では,差分プライバシーと組み合わせてDP-DyLoRAと呼ぶ適応手法を提案する。 最後に、DPによる精度劣化と単語誤り率(WER)の増加を、それぞれ100万のクライアントと厳しいプライバシー予算である {\epsilon}=2で2%未満と7%に削減することができる。

関連論文リスト

• DMM: Distributed Matrix Mechanism for Differentially-Private Federated Learning using Packed Secret Sharing [51.336015600778396]
  フェデレーテッド・ラーニング(FL)は最近、産業とアカデミックの両方で多くの注目を集めています。 FLでは、機械学習モデルは、複数のラウンドにまたがって委員会に配置されたさまざまなエンドユーザのデータを使用して訓練される。 このようなデータは、しばしばセンシティブであるため、FLの主な課題は、モデルの実用性を維持しながらプライバシを提供することである。
  論文  参考訳（メタデータ） (2024-10-21T16:25:14Z)
• ALI-DPFL: Differentially Private Federated Learning with Adaptive Local Iterations [26.310416723272184]
  Federated Learning(FL)は、データではなくトレーニングパラメータを共有することで、複数のデバイスや組織間のモデルトレーニングを可能にする分散機械学習技術である。 敵は、これらのトレーニングパラメータに対する推論攻撃を通じて、個人情報を推論することができる。このような攻撃を防ぐため、FLでは、差分プライバシー(DP)が広く使われている。 我々は、プライバシ予算とコミュニケーションラウンドの両方に制約があるリソース制約のあるシナリオにおいて、差分プライベートなフェデレーション学習を考察する。
  論文  参考訳（メタデータ） (2023-08-21T04:09:59Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Acceleration of Federated Learning with Alleviated Forgetting in Local Training [61.231021417674235]
  フェデレートラーニング(FL)は、プライバシを保護しながら機械学習モデルの分散最適化を可能にする。 我々は,FedRegを提案する。FedRegは,局所的な訓練段階において,知識を忘れることなくFLを加速するアルゴリズムである。 我々の実験は、FedRegはFLの収束率を著しく改善するだけでなく、特にニューラルネットワークアーキテクチャが深い場合にも改善することを示した。
  論文  参考訳（メタデータ） (2022-03-05T02:31:32Z)
• Federated Learning with Sparsified Model Perturbation: Improving Accuracy under Client-Level Differential Privacy [27.243322019117144]
  フェデレートラーニング(FL)は、分散クライアントが共同で共有統計モデルを学ぶことを可能にする。 トレーニングデータに関するセンシティブな情報は、FLで共有されたモデル更新から推測することができる。 差別化プライバシ(DP)は、これらの攻撃を防御するための最先端技術である。 本稿では,モデル精度を維持しつつ,クライアントレベルのDP保証を実現する新しいFLスキームであるFed-SMPを開発した。
  論文  参考訳（メタデータ） (2022-02-15T04:05:42Z)
• FeO2: Federated Learning with Opt-Out Differential Privacy [34.08435990347253]
  フェデレートラーニング(FL)は、クライアントデータをローカルに保ちながら、グローバルモデルを中央サーバでトレーニングする、新たなプライバシ保護パラダイムである。 差分プライバシー(DP)はFL内でのプライバシー保証を提供するために用いられる。 本稿では,emphFeO2と呼ばれるオプトアウトDPを用いたフェデレーション学習のための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-10-28T16:08:18Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)
• FedSel: Federated SGD under Local Differential Privacy with Top-k Dimension Selection [26.54574385850849]
  本研究では,LDP下でのフェデレーションSGDのための2段階フレームワークFedSelを提案する。 具体的には,3つの私的次元選択機構を提案し,蓄積手法を適用し,ノイズのある更新で学習プロセスを安定化させる。 また、FedSelのプライバシー、正確性、時間的複雑さも理論的に分析し、最先端のソリューションよりも優れています。
  論文  参考訳（メタデータ） (2020-03-24T03:31:21Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。