論文の概要: Privacy in Theory, Bugs in Practice: Grey-Box Auditing of Differential Privacy Libraries
- arxiv url: http://arxiv.org/abs/2602.17454v1
- Date: Thu, 19 Feb 2026 15:18:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-02-20 15:21:29.125477
- Title: Privacy in Theory, Bugs in Practice: Grey-Box Auditing of Differential Privacy Libraries
- Title（参考訳）: 理論上のプライバシ,実践上のバグ - 差別的なプライバシライブラリのGrey-Box監査
- Authors: Tudor Cebere, David Erb, Damien Desfontaines, Aurélien Bellet, Jack Fitzsimons,
- Abstract要約: DPアルゴリズムの内部状態を検査するグレーボックス監査パラダイムであるRe:cord-playを導入する。
Re:cord-playは、近隣のデータセットで同じランダム性で計測されたアルゴリズムを実行することで、データ依存の制御フローを直接チェックする。
12のオープンソースライブラリを監査することで,新しいテストアプローチが効果的かつ必要であることを示す。
- 参考スコア（独自算出の注目度）: 11.924357290256374
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differential privacy (DP) implementations are notoriously prone to errors, with subtle bugs frequently invalidating theoretical guarantees. Existing verification methods are often impractical: formal tools are too restrictive, while black-box statistical auditing is intractable for complex pipelines and fails to pinpoint the source of the bug. This paper introduces Re:cord-play, a gray-box auditing paradigm that inspects the internal state of DP algorithms. By running an instrumented algorithm on neighboring datasets with identical randomness, Re:cord-play directly checks for data-dependent control flow and provides concrete falsification of sensitivity violations by comparing declared sensitivity against the empirically measured distance between internal inputs. We generalize this to Re:cord-play-sample, a full statistical audit that isolates and tests each component, including untrusted ones. We show that our novel testing approach is both effective and necessary by auditing 12 open-source libraries, including SmartNoise SDK, Opacus, and Diffprivlib, and uncovering 13 privacy violations that impact their theoretical guarantees. We release our framework as an open-source Python package, thereby making it easy for DP developers to integrate effective, computationally inexpensive, and seamless privacy testing as part of their software development lifecycle.
- Abstract（参考訳）: 差分プライバシー(DP)の実装は、しばしば理論的保証を無効にする微妙なバグによってエラーを起こしやすいと悪名高い。
フォーマルなツールが制限されすぎているのに対して、ブラックボックスの統計監査は複雑なパイプラインでは難解であり、バグの原因を特定できない。
本稿では,DPアルゴリズムの内部状態を検査するグレーボックス監査パラダイムであるRe:cord-playを紹介する。
Re:cord-playは、同一のランダム性を持つ隣り合うデータセット上で計測されたアルゴリズムを実行することで、データ依存制御フローを直接チェックし、内部入力間の実験的に測定された距離に対して宣言された感度を比較することで、感度違反の具体的なファルシフィケーションを提供する。
Re:cord-play-sampleは信頼できないコンポーネントを含む各コンポーネントを分離し、テストする完全な統計監査です。
我々は、SmartNoise SDK、Opacus、Diffprivlibを含む12のオープンソースライブラリを監査し、理論上の保証に影響を与える13のプライバシ違反を明らかにすることで、我々の新しいテストアプローチが効果的かつ必要であることを示します。
当社はオープンソースPythonパッケージとしてフレームワークをリリースし、DP開発者がソフトウェア開発ライフサイクルの一部として、効果的で、計算的に安価で、シームレスなプライバシテストを統合するのを容易にします。
関連論文リスト
- Sequential Auditing for f-Differential Privacy [5.7992233755396505]
出力サンプルに基づくアルゴリズムの差分プライバシー(DP)を評価するための新しい監査者を提案する。
私たちは、非常に表現力豊かなプライバシー概念である$f$-DPに焦点を移します。
論文 参考訳（メタデータ） (2026-02-06T09:22:24Z) - Tight and Practical Privacy Auditing for Differentially Private In-Context Learning [11.394805414546903]
大規模言語モデル(LLM)は、しばしばプライベートまたはプロプライエタリなデータを含むプロンプトデモからタスクに適応することで、コンテキスト内学習(ICL)を実行する。
本稿では,DP-ICLシステムに対する厳密で効率的なプライバシ監査フレームワークを提案する。
標準テキスト分類および生成ベンチマークの実験により,我々の経験的リーク推定値が分類タスクの理論的DP予算と密接に一致し,保守的な埋め込み感度境界による生成タスクが一貫して低下していることが示されている。
論文 参考訳（メタデータ） (2025-11-17T15:39:54Z) - Benchmarking Fraud Detectors on Private Graph Data [70.4654745317714]
現在、多くの種類の不正は、グラフ上で動く自動検出アルゴリズムによって部分的に管理されている。
データ保有者が不正検知器の開発を第三者にアウトソースしようとするシナリオを考察する。
サードパーティは、不正検出をデータ保持者に送信し、これらのアルゴリズムをプライベートデータセットで評価し、その結果を公表する。
本システムに対する現実的なプライバシ攻撃を提案し,評価結果のみに基づいて個人データの匿名化を可能にする。
論文 参考訳（メタデータ） (2025-07-30T03:20:15Z) - Privacy Audit as Bits Transmission: (Im)possibilities for Audit by One Run [7.850976675388593]
情報理論の原則に基づくプライバシー監査のための統一フレームワークを提案する。
プライバシ監査の手法を1回実行することで,単一実行監査が実現可能あるいは実現不可能な条件を特定する。
論文 参考訳（メタデータ） (2025-01-29T16:38:51Z) - "What do you want from theory alone?" Experimenting with Tight Auditing of Differentially Private Synthetic Data Generation [11.900523702759598]
差分プライベートな合成データ生成アルゴリズムを監査する。
我々は、識別ゲームやメンバーシップ推論攻撃を行う相手を介して情報漏洩を計算する。
私たちは現在、DP-SDGからのプライバシー漏洩を厳格に見積もるために、ホワイトボックスMIAだけでなく最悪のデータセットも必要としています。
論文 参考訳（メタデータ） (2024-05-16T14:23:48Z) - Tight Auditing of Differentially Private Machine Learning [77.38590306275877]
プライベート機械学習では、既存の監査メカニズムは厳格である。
彼らは不確実な最悪の仮定の下でのみ厳密な見積もりを行う。
我々は、自然(逆向きではない)データセットの厳密なプライバシー推定を得られる改善された監査スキームを設計する。
論文 参考訳（メタデータ） (2023-02-15T21:40:33Z) - Sequential Kernelized Independence Testing [77.237958592189]
我々は、カーネル化依存度にインスパイアされたシーケンシャルなカーネル化独立試験を設計する。
シミュレーションデータと実データの両方にアプローチのパワーを実証する。
論文 参考訳（メタデータ） (2022-12-14T18:08:42Z) - Debugging Differential Privacy: A Case Study for Privacy Auditing [60.87570714269048]
監査は、微分プライベートなスキームの欠陥を見つけるためにも利用できることを示す。
このケーススタディでは、微分プライベートなディープラーニングアルゴリズムの最近のオープンソース実装を監査し、99.9999999999%の信頼を得て、この実装が要求される差分プライバシー保証を満たさないことを発見した。
論文 参考訳（メタデータ） (2022-02-24T17:31:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。