論文の概要: An Interactive Framework for Implementing Privacy-Preserving Federated Learning: Experiments on Large Language Models

• arxiv url: http://arxiv.org/abs/2502.08008v2
• Date: Fri, 14 Feb 2025 18:52:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 18:06:49.049390
• Title: An Interactive Framework for Implementing Privacy-Preserving Federated Learning: Experiments on Large Language Models
• Title（参考訳）: プライバシ保護フェデレーション学習を実践する対話型フレームワーク:大規模言語モデルによる実験
• Authors: Kasra Ahmadi, Rouzbeh Behnia, Reza Ebrahimi, Mehran Mozaffari Kermani, Jeremiah Birrell, Jason Pacheco, Attila A Yavuz,
• Abstract要約: フェデレートラーニング(FL)は、ユーザのデータをローカルデバイスに保存することで、プライバシを高める。 最近の攻撃は、トレーニング中にユーザーが共有したアップデートが、データに関する重要な情報を明らかにすることを実証している。 プライバシ実践者としての人間エンティティを統合し,モデルのプライバシとユーティリティの最適なトレードオフを決定するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.539653242367701
• License:
• Abstract: Federated learning (FL) enhances privacy by keeping user data on local devices. However, emerging attacks have demonstrated that the updates shared by users during training can reveal significant information about their data. This has greatly thwart the adoption of FL methods for training robust AI models in sensitive applications. Differential Privacy (DP) is considered the gold standard for safeguarding user data. However, DP guarantees are highly conservative, providing worst-case privacy guarantees. This can result in overestimating privacy needs, which may compromise the model's accuracy. Additionally, interpretations of these privacy guarantees have proven to be challenging in different contexts. This is further exacerbated when other factors, such as the number of training iterations, data distribution, and specific application requirements, can add further complexity to this problem. In this work, we proposed a framework that integrates a human entity as a privacy practitioner to determine an optimal trade-off between the model's privacy and utility. Our framework is the first to address the variable memory requirement of existing DP methods in FL settings, where resource-limited devices (e.g., cell phones) can participate. To support such settings, we adopt a recent DP method with fixed memory usage to ensure scalable private FL. We evaluated our proposed framework by fine-tuning a BERT-based LLM model using the GLUE dataset (a common approach in literature), leveraging the new accountant, and employing diverse data partitioning strategies to mimic real-world conditions. As a result, we achieved stable memory usage, with an average accuracy reduction of 1.33% for $\epsilon = 10$ and 1.9% for $\epsilon = 6$, when compared to the state-of-the-art DP accountant which does not support fixed memory usage.
• Abstract（参考訳）: フェデレートラーニング(FL)は、ユーザのデータをローカルデバイスに保存することで、プライバシを高める。 しかし、新たな攻撃は、トレーニング中にユーザーが共有したアップデートが、データに関する重要な情報を明らかにすることを実証している。 これにより、センシティブなアプリケーションで堅牢なAIモデルをトレーニングするためのFLメソッドの採用が大幅に妨げられた。 差分プライバシー(DP)は、ユーザーデータを保護するための金の標準と考えられている。 しかし、DP保証は非常に保守的であり、最悪のプライバシー保証を提供する。 これは、モデルの精度を損なう可能性があるプライバシー要求を過度に見積もる可能性がある。 さらに、これらのプライバシー保証の解釈は、異なる文脈で困難であることが証明されている。 トレーニングイテレーションの数、データ分散、および特定のアプリケーション要求など他の要因がこの問題にさらなる複雑さをもたらす可能性がある場合、これはさらに悪化します。 本研究では,プライバシ実践者としての人間エンティティを統合し,モデルのプライバシとユーティリティの最適なトレードオフを決定するフレームワークを提案する。 我々のフレームワークは、資源制限されたデバイス(携帯電話など)が参加できるFL設定において、既存のDPメソッドの可変メモリ要件に最初に対処するものである。 このような設定をサポートするため、我々は、拡張性のあるプライベートFLを保証するために、メモリ使用量を固定した最近のDPメソッドを採用する。 提案手法の評価には, GLUEデータセットを用いたBERTベースのLLMモデルを微調整し, 新たな会計士の活用, 実環境を模倣する多種多様なデータ分割戦略を用いた。 その結果,固定メモリ利用をサポートしていないDP会計士と比較して,$\epsilon = 10$と$\epsilon = 6$の平均精度が1.33%,$\epsilon = 6$の平均精度が1.9%低下した。

関連論文リスト

• Pseudo-Probability Unlearning: Towards Efficient and Privacy-Preserving Machine Unlearning [59.29849532966454]
  本稿では,PseudoProbability Unlearning (PPU)を提案する。 提案手法は,最先端の手法に比べて20%以上の誤りを忘れる改善を実現している。
  論文  参考訳（メタデータ） (2024-11-04T21:27:06Z)
• DP$^2$-FedSAM: Enhancing Differentially Private Federated Learning Through Personalized Sharpness-Aware Minimization [8.022417295372492]
  Federated Learning(FL)は、複数のクライアントが生データを共有せずに、協調的にモデルをトレーニングできる分散機械学習アプローチである。 FLで共有されるモデル更新によって、センシティブな情報が推測されるのを防ぐために、差分プライベート・フェデレーション・ラーニング(DPFL)が提案されている。 DPFLは、共有モデル更新にランダムノイズを加えて、FLの形式的かつ厳格なプライバシ保護を保証する。 DP$2$-FedSAM: シャープネスを意識した個人化フェデレート学習を提案する。
  論文  参考訳（メタデータ） (2024-09-20T16:49:01Z)
• PriRoAgg: Achieving Robust Model Aggregation with Minimum Privacy Leakage for Federated Learning [49.916365792036636]
  フェデレートラーニング(FL)は、大規模分散ユーザデータを活用する可能性から、最近大きな勢いを増している。 送信されたモデル更新は、センシティブなユーザ情報をリークする可能性があり、ローカルなトレーニングプロセスの集中的な制御の欠如は、モデル更新に対する悪意のある操作の影響を受けやすいグローバルモデルを残します。 我々は、Lagrange符号化計算と分散ゼロ知識証明を利用した汎用フレームワークPriRoAggを開発し、集約されたプライバシを満たすとともに、幅広いロバストな集約アルゴリズムを実行する。
  論文  参考訳（メタデータ） (2024-07-12T03:18:08Z)
• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Privacy Amplification for the Gaussian Mechanism via Bounded Support [64.86780616066575]
  インスタンスごとの差分プライバシー(pDP)やフィッシャー情報損失(FIL)といったデータ依存のプライバシ会計フレームワークは、固定されたトレーニングデータセット内の個人に対してきめ細かいプライバシー保証を提供する。 本稿では,データ依存会計下でのプライバシ保証を向上することを示すとともに,バウンドサポートによるガウス機構の簡単な修正を提案する。
  論文  参考訳（メタデータ） (2024-03-07T21:22:07Z)
• Probing the Transition to Dataset-Level Privacy in ML Models Using an Output-Specific and Data-Resolved Privacy Profile [23.05994842923702]
  差分プライバシーメカニズムを用いてデータセットでトレーニングされたモデルが、近隣のデータセットでトレーニングされた結果の分布によってカバーされる範囲を定量化するプライバシー指標について検討する。 プライバシプロファイルは、近隣のディストリビューションで発生する不明瞭性への観察された遷移を、$epsilon$の減少として調査するために使用できることを示す。
  論文  参考訳（メタデータ） (2023-06-27T20:39:07Z)
• FedLAP-DP: Federated Learning by Sharing Differentially Private Loss Approximations [53.268801169075836]
  我々は,フェデレーション学習のための新しいプライバシ保護手法であるFedLAP-DPを提案する。 公式なプライバシー分析は、FedLAP-DPが典型的な勾配共有方式と同じプライバシーコストを発生させることを示している。 提案手法は, 通常の勾配共有法に比べて高速な収束速度を示す。
  論文  参考訳（メタデータ） (2023-02-02T12:56:46Z)
• How Much Privacy Does Federated Learning with Secure Aggregation Guarantee? [22.7443077369789]
  フェデレートラーニング(FL)は、複数のユーザに保存されたデータに対して、プライバシ保護機械学習を可能にすることへの関心が高まっている。 データはユーザのデバイスを離れることはないが、トレーニングデータに対する重要な計算がトレーニングされたローカルモデル形式で共有されるため、プライバシは保証されない。 セキュアアグリゲーション(SA)は、FLのプライバシーを守るためのフレームワークとして開発されている。
  論文  参考訳（メタデータ） (2022-08-03T18:44:17Z)
• Federated Learning with Local Differential Privacy: Trade-offs between Privacy, Utility, and Communication [22.171647103023773]
  フェデレートラーニング(FL)は、分散された構造のため、大量のデータをプライベートにトレーニングすることができる。 SGDを用いたFLモデルにおいて,ユーザデータのローカル差分プライバシー(LDP)を維持するためのガウス的メカニズムを検討する。 その結果,既存のプライバシ会計法と比較して,実用性が大きく,伝送速度も低いことが保証された。
  論文  参考訳（メタデータ） (2021-02-09T10:04:18Z)
• Federated Learning with Sparsification-Amplified Privacy and Adaptive Optimization [27.243322019117144]
  フェデレートラーニング(FL)により、分散エージェントは、生データを互いに共有することなく、集中型モデルを共同で学習することができる。 スパーシフィケーションを増幅した新しいFLフレームワークを提案する。 提案手法では,ランダムなスペーシフィケーションと各エージェントの勾配摂動を統合し,プライバシー保証を増幅する。
  論文  参考訳（メタデータ） (2020-08-01T20:22:57Z)
• Differentially Private Federated Learning with Laplacian Smoothing [72.85272874099644]
  フェデレートラーニングは、ユーザ間でプライベートデータを共有せずに、協調的にモデルを学習することで、データのプライバシを保護することを目的としている。 敵は、リリースしたモデルを攻撃することによって、プライベートトレーニングデータを推測することができる。 差別化プライバシは、トレーニングされたモデルの正確性や実用性を著しく低下させる価格で、このような攻撃に対する統計的保護を提供する。
  論文  参考訳（メタデータ） (2020-05-01T04:28:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。