論文の概要: Revisiting the Provable-Auditable Privacy Gap of DP-SGD

• arxiv url: http://arxiv.org/abs/2608.28934v1
• Date: Fri, 28 Aug 2026 23:07:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.790861
• Title: Revisiting the Provable-Auditable Privacy Gap of DP-SGD
• Title（参考訳）: DP-SGDの予測可能なプライバシーギャップの再検討
• Abstract要約: 機械学習アプリケーションでは、ユーティリティと理論的プライバシの強いトレードオフを達成することは難しい。 プライバシ監査に関する最近の研究は、2つの視点を採用しており、代わりに経験的な区別イベントを構築することでアルゴリズムの真のプライバシの境界を低くしている。 本研究では,アルゴリズムを最適化するための具体的な指標として,経験的プライバシの下限を提案する。
• 参考スコア（独自算出の注目度）: 12.511281140615038
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential privacy (DP) has traditionally been used to provide theoretical upper bounds on an algorithm's stability to changing its training data. In modern private machine learning applications, achieving strong tradeoffs between utility and theoretical privacy is challenging, and thus one may optimistically hope that existing theoretical privacy analyses are loose. Recent work on privacy auditing has adopted a dual viewpoint, instead lower bounding the true privacy of an algorithm by constructing empirical distinguishing events. The auditing literature has thus far yielded a pessimistic outlook on the looseness of theoretical privacy bounds for DP-SGD, the de facto private training method in modern ML, as nearly-matching empirical lower bounds have been achieved under various threat models [NHSBTJCT23, AC24, CBP25]. In this work, we propose the empirical privacy lower bound of an algorithm as a concrete metric to optimize for, complementary to the theoretical upper bound. We give a lightweight defense framework that generically augments optimization methods in the ML pipeline to have significantly-improved empirical privacy on standard benchmarks. Moreover, we show that our framework comes at no theoretical privacy cost when augmenting DP-SGD, unlike previously-proposed defenses against membership inference attacks. We evaluate our defense against a broad range of audit constructions, models, and datasets to demonstrate its flexibility.
• Abstract（参考訳）: 微分プライバシー(DP)は、アルゴリズムの安定性とトレーニングデータの変更に関する理論的上限を提供するために伝統的に用いられてきた。 現代のプライベート機械学習アプリケーションでは、ユーティリティと理論的プライバシの強いトレードオフを達成することは難しいため、既存の理論的プライバシ分析がゆるいことを楽観的に期待する向きもある。 プライバシ監査に関する最近の研究は、2つの視点を採用しており、代わりに経験的な区別イベントを構築することでアルゴリズムの真のプライバシの境界を低くしている。 これまでの監査文献は,様々な脅威モデル(NHSBTJCT23, AC24, CBP25)において, ほぼ一致した実証的下限が達成されているため, DP-SGDの理論的プライバシ境界のゆるさに関する悲観的な展望を得られた。 本研究では,理論上界を補完する具体的な指標として,アルゴリズムの実証的プライバシの下限を提案する。 MLパイプラインの最適化方法を汎用的に強化し、標準ベンチマークにおける経験的プライバシを大幅に改善する軽量な防御フレームワークを提供する。 さらに,DP-SGDの強化には理論的なプライバシコストが伴わないことを示す。 私たちは、その柔軟性を示すために、幅広い監査構造、モデル、データセットに対する防御を評価します。

関連論文リスト

• Contextualized Privacy Defense for LLM Agents [84.30907378390512]
  LLMエージェントはますますユーザーの個人情報に作用するが、既存のプライバシー保護は設計と適応性の両方において制限されている。 我々は,新たなプライバシ防衛パラダイムであるCDI(Contextualized Defense Instructing)を提案する。 我々のCDIは、ベースラインよりもプライバシー保護(94.2%)と有用性(80.6%)のバランスが良好であることを示します。
  論文  参考訳（メタデータ） (2026-03-03T13:35:33Z)
• On the Limits of Test-Time Compute: Sequential Reward Filtering for Better Inference [71.09125259964684]
  テスト時計算(TTC)は、大規模言語モデル(LLM)の拡張のパラダイムとして、ますます顕著になっている。 本稿では,高次世代のみを文脈に選択的に組み込む単純な手順である報酬フィルタシーケンシャル推論について検討する。 理論的には、報酬フィルタによる逐次推論は標準TTCパラダイムよりも厳密な保証が得られることを示す。
  論文  参考訳（メタデータ） (2025-12-04T08:21:33Z)
• How Private is Your Attention? Bridging Privacy with In-Context Learning [4.093582834469802]
  In-context Learning (ICL) - 推論時に提供された例から新しいタスクを実行するトランスフォーマーベースモデルの能力。 線形アテンションヘッドのための差分プライベート事前学習アルゴリズムを提案し、線形回帰におけるICLのプライバシ・正確性トレードオフに関する最初の理論的解析を提示する。
  論文  参考訳（メタデータ） (2025-04-22T16:05:26Z)
• Revisiting Locally Differentially Private Protocols: Towards Better Trade-offs in Privacy, Utility, and Attack Resistance [4.5282933786221395]
  ローカル微分プライバシー(LDP)は、特にデータを収集するサーバが信頼できない設定で、強力なプライバシ保護を提供する。 本稿では, LDPプロトコルを改良するための汎用多目的最適化フレームワークを提案する。 我々のフレームワークは、調整可能なプライバシ・ユーティリティ・トレードオフによるLPP機構のモジュール化とコンテキスト対応のデプロイを可能にする。
  論文  参考訳（メタデータ） (2025-03-03T12:41:01Z)
• Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
  ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。 微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。 これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
  論文  参考訳（メタデータ） (2025-02-13T02:05:45Z)
• The Last Iterate Advantage: Empirical Auditing and Principled Heuristic Analysis of Differentially Private SGD [46.71175773861434]
  ノイズカットされた勾配勾配(DP-SGD)の簡易なプライバシー解析法を提案する。 各種トレーニング手順に適用したプライバシー監査の結果を予測できることを実験的に示す。 既存のプライバシー監査攻撃は、視覚と言語の両方のタスクにおける分析によって制限されていることを実証的に示しています。
  論文  参考訳（メタデータ） (2024-10-08T16:51:10Z)
• Convergent Differential Privacy Analysis for General Federated Learning: the $f$-DP Perspective [57.35402286842029]
  フェデレートラーニング(Federated Learning, FL)は、ローカルプライバシを重視した効率的な協調トレーニングパラダイムである。 ディファレンシャルプライバシ(DP)は、私的保護の信頼性を捕捉し、保証するための古典的なアプローチである。
  論文  参考訳（メタデータ） (2024-08-28T08:22:21Z)
• Theoretically Principled Federated Learning for Balancing Privacy and Utility [61.03993520243198]
  モデルパラメータを歪ませることでプライバシを保護する保護機構の一般学習フレームワークを提案する。 フェデレートされた学習における各コミュニケーションラウンドにおいて、各クライアント上の各モデルパラメータに対して、パーソナライズされたユーティリティプライバシトレードオフを実現することができる。
  論文  参考訳（メタデータ） (2023-05-24T13:44:02Z)
• Antipodes of Label Differential Privacy: PATE and ALIBI [2.2761657094500682]
  我々は、訓練されたモデルが差分プライバシー(DP)を満たす必要がある、プライバシ保護機械学習(ML)の設定について検討する。 本稿では,Laplace メカニズムと PATE フレームワークに基づく2つの新しいアプローチを提案する。 いくつかの体制において、PATEフレームワークを適応させて、非常に強力なプライバシレベルを達成する方法を示します。
  論文  参考訳（メタデータ） (2021-06-07T08:14:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。