論文の概要: Optimizing Canaries for Privacy Auditing with Metagradient Descent

• arxiv url: http://arxiv.org/abs/2507.15836v1
• Date: Mon, 21 Jul 2025 17:47:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-22 20:51:32.516525
• Title: Optimizing Canaries for Privacy Auditing with Metagradient Descent
• Title（参考訳）: メタグラディエントDescentによるプライバシ監査のためのカナリアの最適化
• Authors: Matteo Boglioni, Terrance Liu, Andrew Ilyas, Zhiwei Steven Wu,
• Abstract要約: 我々はブラックボックスのプライバシー監査について研究し、そこでは差分プライベート学習アルゴリズムのプライバシーパラメータを低くすることを目的としている。 本研究の主な貢献は,プライバシ監査を改善するための監査者のカナリアセットを最適化する手法である。 このような最適化されたカナリアを用いることで、特定の場合において、微分プライベートな画像分類モデルに対する経験的下限を2倍以上改善できることが実証的評価によって示される。
• 参考スコア（独自算出の注目度）: 32.69637681449977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In this work we study black-box privacy auditing, where the goal is to lower bound the privacy parameter of a differentially private learning algorithm using only the algorithm's outputs (i.e., final trained model). For DP-SGD (the most successful method for training differentially private deep learning models), the canonical approach auditing uses membership inference-an auditor comes with a small set of special "canary" examples, inserts a random subset of them into the training set, and then tries to discern which of their canaries were included in the training set (typically via a membership inference attack). The auditor's success rate then provides a lower bound on the privacy parameters of the learning algorithm. Our main contribution is a method for optimizing the auditor's canary set to improve privacy auditing, leveraging recent work on metagradient optimization. Our empirical evaluation demonstrates that by using such optimized canaries, we can improve empirical lower bounds for differentially private image classification models by over 2x in certain instances. Furthermore, we demonstrate that our method is transferable and efficient: canaries optimized for non-private SGD with a small model architecture remain effective when auditing larger models trained with DP-SGD.
• Abstract（参考訳）: 本研究では,ブラックボックスのプライバシ監査について検討し,アルゴリズムの出力(最終訓練モデル)のみを用いて,差分的にプライベートな学習アルゴリズムのプライバシパラメータを低くすることを目的とする。 DP-SGD(差分的にプライベートなディープラーニングモデルをトレーニングする最も成功した方法)では、監査者が会員推論を使用する標準的なアプローチは、特別な「カナリア」の例の小さなセットを伴い、トレーニングセットにランダムなサブセットを挿入し、トレーニングセットにどのカナリアが含まれているか(通常、会員推論アタックを介して)判別しようとする。 監査人の成功率は、学習アルゴリズムのプライバシパラメータに低いバウンドを与える。 我々の主な貢献は、監査人のカナリアセットを最適化してプライバシー監査を改善する方法であり、メタグラディエント最適化に関する最近の研究を活用している。 このような最適化されたカナリアを用いることで、特定の場合において、微分プライベートな画像分類モデルに対する経験的下限を2倍以上改善できることが実証的評価によって示される。 DP-SGDで訓練した大規模モデルの監査において,小型のモデルアーキテクチャで非プライベートなSGDに最適化されたカナリアが有効であることを示す。

関連論文リスト

• Enhancing One-run Privacy Auditing with Quantile Regression-Based Membership Inference [22.843200081364873]
  Differential Privacy(DP)監査は、DP-SGDのようなDPメカニズムのプライバシー保証を実証的に低くすることを目的としている。 近年,DP-SGDをホワイトボックス設定で効果的に評価できる一方的な監査手法が提案されている。 本研究では,より強力なメンバーシップ推論攻撃(MIA)へのアプローチを取り入れることで,ブラックボックス環境でのワンラン監査を改善する方法について検討する。
  論文  参考訳（メタデータ） (2025-06-18T11:03:39Z)
• Federated Learning with Differential Privacy: An Utility-Enhanced Approach [12.614480013684759]
  フェデレーション学習は、クライアントのデータを共有する必要性をなくすことによって、データのプライバシを保護するための魅力的なアプローチとして現れている。 最近の研究では、フェデレートされた学習だけではプライバシーが保証されないことが示されている。 本稿では,これらのバニラ微分プライベートアルゴリズムを,ハールウェーブレット変換ステップとノイズの分散を著しく低減する新しいノイズ注入方式に基づいて修正する。
  論文  参考訳（メタデータ） (2025-03-27T04:48:29Z)
• DiSK: Differentially Private Optimizer with Simplified Kalman Filter for Noise Reduction [57.83978915843095]
  本稿では,微分プライベート勾配の性能を著しく向上する新しいフレームワークであるDiSKを紹介する。 大規模トレーニングの実用性を確保するため,Kalmanフィルタプロセスを簡素化し,メモリと計算要求を最小化する。
  論文  参考訳（メタデータ） (2024-10-04T19:30:39Z)
• Too Good to be True? Turn Any Model Differentially Private With DP-Weights [0.0]
  トレーニング後のモデルの重みに差分プライバシーノイズを適用する,画期的なアプローチを導入する。 この新しいアプローチのプライバシ境界に対する包括的数学的証明を提供する。 我々は,メンバシップ推論攻撃とパフォーマンス評価を用いて,その効果を実証的に評価する。
  論文  参考訳（メタデータ） (2024-06-27T19:58:11Z)
• Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
  プライベート機械学習では、既存の監査メカニズムは厳格である。 彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。 我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
  論文  参考訳（メタデータ） (2023-02-15T21:40:33Z)
• One-shot Empirical Privacy Estimation for Federated Learning [43.317478030880956]
  ワンショット」アプローチは、モデルパラメータに適合する単一トレーニング実行において、モデルのプライバシ損失の効率的な監査や推定を可能にする。 提案手法は,ガウス機構下でのプライバシー損失を正当に推定できることを示す。
  論文  参考訳（メタデータ） (2023-02-06T19:58:28Z)
• On the utility and protection of optimization with differential privacy and classic regularization techniques [9.413131350284083]
  本稿では,標準最適化手法に対するDP-SGDアルゴリズムの有効性について検討する。 我々は、差分プライバシーの欠陥と限界について議論し、ドロップアウトとl2-規則化のプライバシー保護特性がしばしば優れていることを実証した。
  論文  参考訳（メタデータ） (2022-09-07T14:10:21Z)
• Individual Privacy Accounting for Differentially Private Stochastic Gradient Descent [69.14164921515949]
  DP-SGDで訓練されたモデルをリリースする際の個々の事例に対するプライバシー保証を特徴付ける。 ほとんどの例では、最悪のケースよりも強力なプライバシー保証を享受しています。 これは、モデルユーティリティの観点からは守られないグループが同時に、より弱いプライバシー保証を経験することを意味する。
  論文  参考訳（メタデータ） (2022-06-06T13:49:37Z)
• Large Scale Transfer Learning for Differentially Private Image Classification [51.10365553035979]
  Differential Privacy(DP)は、個別のサンプルレベルのプライバシで機械学習モデルをトレーニングするための正式なフレームワークを提供する。 DP-SGDを用いたプライベートトレーニングは、個々のサンプル勾配にノイズを注入することで漏れを防ぐ。 この結果は非常に魅力的であるが,DP-SGDを用いた大規模モデルのトレーニングの計算コストは,非プライベートトレーニングよりもかなり高い。
  論文  参考訳（メタデータ） (2022-05-06T01:22:20Z)
• Large Language Models Can Be Strong Differentially Private Learners [70.0317718115406]
  Differentially Private(DP)学習は、テキストの大規模なディープラーニングモデルを構築する上で、限られた成功を収めている。 この性能低下は,大規模な事前学習モデルを用いることで緩和可能であることを示す。 本稿では,DP-SGDにおけるクリッピングを,サンプルごとの勾配をインスタンス化せずに実行可能にするメモリ節約手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T01:45:27Z)
• Tempered Sigmoid Activations for Deep Learning with Differential Privacy [33.574715000662316]
  活性化関数の選択は、プライバシー保護の深層学習の感度を束縛することの中心であることを示す。 我々は,MNIST,FashionMNIST,CIFAR10に対して,学習手順の基礎を変更することなく,新たな最先端の精度を実現する。
  論文  参考訳（メタデータ） (2020-07-28T13:19:45Z)
• User-Level Privacy-Preserving Federated Learning: Analysis and Performance Optimization [77.43075255745389]
  フェデレートラーニング(FL)は、データを有用なモデルにトレーニングしながら、モバイル端末(MT)からプライベートデータを保存することができる。 情報理論の観点からは、MTがアップロードした共有モデルから、好奇心の強いサーバがプライベートな情報を推測することが可能である。 サーバにアップロードする前に、共有モデルに人工ノイズを加えることで、ユーザレベルの差分プライバシー(UDP)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-29T10:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。