論文の概要: How to DP-fy ML: A Practical Guide to Machine Learning with Differential Privacy

• arxiv url: http://arxiv.org/abs/2303.00654v3
• Date: Mon, 31 Jul 2023 19:10:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-02 17:59:13.499853
• Title: How to DP-fy ML: A Practical Guide to Machine Learning with Differential Privacy
• Title（参考訳）: DP-fy ML: 差分プライバシによる機械学習の実践的ガイド
• Authors: Natalia Ponomareva, Hussein Hazimeh, Alex Kurakin, Zheng Xu, Carson Denison, H. Brendan McMahan, Sergei Vassilvitskii, Steve Chien and Abhradeep Thakurta
• Abstract要約: 差分プライバシー(DP)は、データ匿名化に関する公式声明を作成するための金の標準となっている。 DPの採用は、DP保護が持つもの、プライバシーが目的とするもの、そしてMLモデルの優れたプライバシ・ユーティリティ・コンピューティングトレードオフを達成することの難しさに関する限られた実践的なガイダンスによって妨げられている。 この研究は自己完結型のガイドであり、DP MLの分野を詳細に概観し、厳格なプライバシー保証を備えた最高のDP MLモデルを達成するための情報を提供する。
• 参考スコア（独自算出の注目度）: 22.906644117887133
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: ML models are ubiquitous in real world applications and are a constant focus of research. At the same time, the community has started to realize the importance of protecting the privacy of ML training data. Differential Privacy (DP) has become a gold standard for making formal statements about data anonymization. However, while some adoption of DP has happened in industry, attempts to apply DP to real world complex ML models are still few and far between. The adoption of DP is hindered by limited practical guidance of what DP protection entails, what privacy guarantees to aim for, and the difficulty of achieving good privacy-utility-computation trade-offs for ML models. Tricks for tuning and maximizing performance are scattered among papers or stored in the heads of practitioners. Furthermore, the literature seems to present conflicting evidence on how and whether to apply architectural adjustments and which components are "safe" to use with DP. This work is a self-contained guide that gives an in-depth overview of the field of DP ML and presents information about achieving the best possible DP ML model with rigorous privacy guarantees. Our target audience is both researchers and practitioners. Researchers interested in DP for ML will benefit from a clear overview of current advances and areas for improvement. We include theory-focused sections that highlight important topics such as privacy accounting and its assumptions, and convergence. For a practitioner, we provide a background in DP theory and a clear step-by-step guide for choosing an appropriate privacy definition and approach, implementing DP training, potentially updating the model architecture, and tuning hyperparameters. For both researchers and practitioners, consistently and fully reporting privacy guarantees is critical, and so we propose a set of specific best practices for stating guarantees.
• Abstract（参考訳）: MLモデルは現実世界の応用においてユビキタスであり、常に研究の焦点となっている。 同時に、コミュニティはMLトレーニングデータのプライバシ保護の重要性を認識し始めています。 差分プライバシー(DP)は、データ匿名化に関する公式声明を作成するための金の標準となっている。 しかし、いくつかの業界でDPの採用が起きているが、現実の複雑なMLモデルにDPを適用しようとする試みは、いまだにごくわずかである。 DPの採用は、DP保護が持つもの、プライバシーが目的とするもの、そしてMLモデルの優れたプライバシ・ユーティリティ・コンピューティングトレードオフを達成することの難しさに関する限られた実践的なガイダンスによって妨げられている。 パフォーマンスをチューニングし最大化するためのトリックは、紙に散らばったり、実践者の頭に格納される。 さらに、この文献は、アーキテクチャの調整を適用する方法と、dpで使用する"安全な"コンポーネントについて、矛盾する証拠を提示しているようである。 この研究は自己完結型のガイドであり、DP MLの分野を詳細に概観し、厳格なプライバシー保証を備えた最高のDP MLモデルを達成するための情報を提供する。 対象は研究者と実践者の両方です。 DP for MLに興味のある研究者は、現在の進歩と改善の領域を明確に示すことで恩恵を受けるだろう。 プライバシ会計や仮定,収束といった重要なトピックに注目する理論に焦点を当てたセクションも含んでいます。 実践者にとって、DP理論の背景と、適切なプライバシー定義とアプローチを選択し、DPトレーニングを実装し、モデルアーキテクチャを更新し、ハイパーパラメータをチューニングするための明確なステップバイステップガイドを提供する。 研究者と実践者の両方にとって,一貫して完全に報告するプライバシ保証は不可欠であり,保証を述べるための具体的なベストプラクティスを提案する。

関連論文リスト

• Mind the Privacy Unit! User-Level Differential Privacy for Language Model Fine-Tuning [62.224804688233]
  差分プライバシ(DP)は、モデルが特定のプライバシユニットで「ほとんど区別できない」ことを保証することで、有望なソリューションを提供する。 ユーザ間でのプライバシー保護の確保に必要なアプリケーションによって動機づけられたユーザレベルのDPについて検討する。
  論文  参考訳（メタデータ） (2024-06-20T13:54:32Z)
• Belt and Braces: When Federated Learning Meets Differential Privacy [22.116742377692518]
  フェデレーテッド・ラーニング(FL)は、生データを公開することなく、大規模機械学習(ML)に大きな可能性を秘めている。 差別化プライバシ(DP)は、証明可能な保証を備えた事実上のプライバシ保護標準である。 実践者は、その開発と分類を十分に認識しているだけでなく、プライバシとユーティリティの難しい選択に直面していることが多い。
  論文  参考訳（メタデータ） (2024-04-29T15:51:49Z)
• Pre-training Differentially Private Models with Limited Public Data [54.943023722114134]
  ディファレンシャルプライバシ(DP)は、モデルに提供されるセキュリティの度合いを測定するための重要な手法である。 DPはまだ、最初の事前訓練段階で使用されるデータのかなりの部分を保護することができない。 公共データの10%しか利用しない新しいDP継続事前学習戦略を開発した。 ImageNet-21kのDP精度は41.5%、非DP精度は55.7%、下流タスクのPlaces365とiNaturalist-2021では60.0%である。
  論文  参考訳（メタデータ） (2024-02-28T23:26:27Z)
• LLM-based Privacy Data Augmentation Guided by Knowledge Distillation with a Distribution Tutor for Medical Text Classification [67.92145284679623]
  ノイズの多いプライベートディストリビューションをモデル化し,プライバシコストの低いサンプル生成を制御するDPベースのチュータを提案する。 理論的には、モデルのプライバシ保護を分析し、モデルを実証的に検証する。
  論文  参考訳（メタデータ） (2024-02-26T11:52:55Z)
• PrivacyMind: Large Language Models Can Be Contextual Privacy Protection Learners [81.571305826793]
  コンテキストプライバシ保護言語モデル(PrivacyMind)を紹介する。 我々の研究はモデル設計に関する理論的分析を提供し、様々な手法をベンチマークする。 特に、肯定的な例と否定的な例の両方による命令チューニングは、有望な方法である。
  論文  参考訳（メタデータ） (2023-10-03T22:37:01Z)
• No Free Lunch in "Privacy for Free: How does Dataset Condensation Help Privacy" [75.98836424725437]
  データプライバシを保護するために設計された新しい手法は、慎重に精査する必要がある。 プライバシ保護の失敗は検出し難いが,プライバシ保護法を実装したシステムが攻撃された場合,破滅的な結果につながる可能性がある。
  論文  参考訳（メタデータ） (2022-09-29T17:50:23Z)
• Lifelong DP: Consistently Bounded Differential Privacy in Lifelong Machine Learning [28.68587691924582]
  新たなタスクを継続的に学習し,過去のタスクを記憶するプロセスは,未知のプライバシリスクと,プライバシ損失を拘束する課題をもたらすことを示す。 ライフロングDPの形式的定義を導入し、任意のタスクのトレーニングセットにデータを含めることが保護される。 我々はL2DP-MLと呼ばれるスケーラブルで異種なアルゴリズムを提案し、L2Mモデルの新バージョンを効率的に訓練し、継続する。
  論文  参考訳（メタデータ） (2022-07-26T11:55:21Z)
• A Critical Review on the Use (and Misuse) of Differential Privacy in Machine Learning [5.769445676575767]
  機械学習(ML)におけるプライバシー保護のための差分プライバシー(DP)の利用について概観する。 学習モデルの精度を保つことを目的として,DPベースのML実装が非常に緩いため,DPの高度なプライバシー保証を提供していないことを示す。
  論文  参考訳（メタデータ） (2022-06-09T17:13:10Z)
• Differential Privacy: What is all the noise about? [0.0]
  差別化プライバシ(DP)は、データ処理中のプライバシー侵害のリスクに対して厳格な保証を提供する、正式なプライバシ定義である。 本稿では,機械学習(ML)におけるDPの最も重要な概念,概念,利用について概観する。
  論文  参考訳（メタデータ） (2022-05-19T10:12:29Z)
• Distributed Machine Learning and the Semblance of Trust [66.1227776348216]
  フェデレートラーニング(FL)により、データ所有者はデータを共有することなく、データガバナンスを維持し、モデルトレーニングをローカルで行うことができる。 FLと関連する技術は、しばしばプライバシー保護と表現される。 この用語が適切でない理由を説明し、プライバシの形式的定義を念頭に設計されていないプロトコルに対する過度な信頼に関連するリスクを概説する。
  論文  参考訳（メタデータ） (2021-12-21T08:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。