論文の概要: Sliced Rényi Pufferfish Privacy: Directional Additive Noise Mechanism and Private Learning with Gradient Clipping
- arxiv url: http://arxiv.org/abs/2512.01115v1
- Date: Sun, 30 Nov 2025 22:22:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-02 19:46:34.590916
- Title: Sliced Rényi Pufferfish Privacy: Directional Additive Noise Mechanism and Private Learning with Gradient Clipping
- Title（参考訳）: Sliced Rényi Pufferfish Privacy: 指向性付加雑音機構とグラディエント・クリッピングによるプライベート・ラーニング
- Authors: Tao Zhang, Yevgeniy Vorobeychik,
- Abstract要約: 本稿では,Pufferfish ファミリーにおける民営化機構の設計とプライバシ会計について検討する。
Sliced Renyi Pufferfish Privacy (SRPP)を導入し、一組の単位ベクトル上での方向比較を高次元に置き換える。
提案手法は, 静的かつ反復的な設定において, プライバシー利用のトレードオフを良好に実現していることを示す。
- 参考スコア（独自算出の注目度）: 27.430637970345433
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study privatization mechanism design and privacy accounting in the Pufferfish family, addressing two practical gaps of Renyi Pufferfish Privacy (RPP): high-dimensional optimal transport (OT) calibration and the absence of a general, mechanism-agnostic composition rule for iterative learning. We introduce Sliced Renyi Pufferfish Privacy (SRPP), which replaces high-dimensional comparisons by directional ones over a set of unit vectors, enabling geometry-aware and tractable guarantees. To calibrate noise without high-dimensional OT, we propose sliced Wasserstein mechanisms that compute per-direction (1-D) sensitivities, yielding closed-form, statistically stable, and anisotropic calibrations. We further define SRPP Envelope (SRPE) as computable upper bounds that are tightly implementable by these sliced Wasserstein mechanisms. For iterative deep learning algorithms, we develop a decompose-then-compose SRPP-SGD scheme with gradient clipping based on a History-Uniform Cap (HUC), a pathwise bound on one-step directional changes that is uniform over optimization history, and a mean-square variant (ms-HUC) that leverages subsampling randomness to obtain on-average SRPP guarantees with improved utility. The resulting HUC and ms-HUC accountants aggregate per-iteration, per-direction Renyi costs and integrate naturally with moments-accountant style analyses. Finally, when multiple mechanisms are trained and privatized independently under a common slicing geometry, our analysis yields graceful additive composition in both worst-case and mean-square regimes. Our experiments indicate that the proposed SRPP-based methods achieve favorable privacy-utility trade-offs in both static and iterative settings.
- Abstract（参考訳）: 本稿では,プライバタイズ機構の設計とプライバシ会計について検討し,Renyi Pufferfish Privacy(RPP)の2つの実践的ギャップ,すなわち高次元最適輸送(OT)キャリブレーションと,反復学習のための一般的な機構に依存しない構成規則の欠如に対処する。
Sliced Renyi Pufferfish Privacy (SRPP)を導入し、一組の単位ベクトル上での方向比較を高次元比較に置き換え、幾何学的認識とトラクタブルな保証を可能にする。
高次元のOTを使わずにノイズを校正するために,一方向(1-D)の感度を計算し,閉形式,統計的に安定,異方性キャリブレーションを生じさせるスライスワッサースタイン機構を提案する。
さらに、SRPP Envelope (SRPE) を、これらのスライスされたワッサーシュタイン機構によって厳密に実装可能な計算可能な上界として定義する。
逐次的深層学習アルゴリズムでは,ヒストリ・ユニフォーム・キャップ(HUC)に基づく勾配クリッピングによる分解型SRPP-SGDスキーム,最適化履歴に一様である一段階の方向変化を経路的に制限する手法,サブサンプリングランダム性を利用した平均2乗変量(ms-HUC)を改良して平均SRPP保証を得る手法を開発した。
結果として得られたHUCとms-HUCの会計士は、項目ごとの集計、方向ごとのRenyiコストを負担し、モーメント・アカウンダント・スタイルの分析と自然に統合する。
最後に、複数のメカニズムが共通のスライシング幾何の下で独立に訓練され、民営化されると、我々の分析は最悪の場合と平均二乗条件の両方において優雅な加法組成が得られる。
提案手法は, 静的かつ反復的な設定において, プライバシー利用のトレードオフを良好に実現していることを示す。
関連論文リスト
- Differentially Private Two-Stage Gradient Descent for Instrumental Variable Regression [22.733602577854825]
差分プライバシー制約下でのインストゥルメンタル変数回帰(IVaR)について検討する。
勾配更新に慎重に校正された雑音を注入することにより、差分プライバシーを確保するノイズの多い2状態勾配降下アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-09-26T18:02:58Z) - Breaking the Gaussian Barrier: Residual-PAC Privacy for Automatic Privatization [27.430637970345433]
PACプライバシーアルゴリズムによって得られる上限は、摂動機構の出力が独立雑音を伴うガウス的である場合にのみ厳密であることを示す。
本稿では,逆推定後に残るプライバシを定量化するf-divergenceベースの尺度であるResidual-PAC(R-PAC)プライバシーを紹介する。
提案手法は,任意のデータ分布に対する効率的なプライバシ予算利用を実現し,複数のメカニズムがデータセットにアクセスすると自然に構成する。
論文 参考訳（メタデータ） (2025-06-06T20:52:47Z) - Linear-Time User-Level DP-SCO via Robust Statistics [55.350093142673316]
ユーザレベルの差分プライベート凸最適化(DP-SCO)は、マシンラーニングアプリケーションにおけるユーザのプライバシ保護の重要性から、大きな注目を集めている。
微分プライベート勾配勾配(DP-SGD)に基づくような現在の手法は、しばしば高雑音蓄積と準最適利用に苦しむ。
これらの課題を克服するために、ロバストな統計、特に中央値とトリミング平均を利用する新しい線形時間アルゴリズムを導入する。
論文 参考訳（メタデータ） (2025-02-13T02:05:45Z) - On the Convergence of DP-SGD with Adaptive Clipping [56.24689348875711]
勾配クリッピングによるグラディエントDescentは、微分プライベート最適化を実現するための強力な技術である。
本稿では,量子クリッピング(QC-SGD)を用いたSGDの総合収束解析について述べる。
本稿では,QC-SGDが一定閾値クリッピングSGDに類似したバイアス問題にどのように悩まされているかを示す。
論文 参考訳（メタデータ） (2024-12-27T20:29:47Z) - Improved Communication-Privacy Trade-offs in $L_2$ Mean Estimation under Streaming Differential Privacy [47.997934291881414]
既存の平均推定スキームは、通常、$L_infty$幾何に最適化され、ランダムな回転や、$L$幾何に適応するカシンの表現に依存する。
本稿では,スパシフィケーションに固有のランダム性をDPに組み込んだ,スパシフィケーションガウシアン機構の新たなプライバシ会計手法を提案する。
従来の手法とは異なり、我々の会計アルゴリズムは直接$L$幾何で動作し、ガウスの機構に迅速に収束するMSEが得られる。
論文 参考訳（メタデータ） (2024-05-02T03:48:47Z) - Provable Guarantees for Generative Behavior Cloning: Bridging Low-Level
Stability and High-Level Behavior [51.60683890503293]
生成モデルを用いた複雑な専門家による実演の行動クローニングに関する理論的枠組みを提案する。
任意の専門的軌跡の時間ごとのステップ分布に一致するトラジェクトリを生成することができることを示す。
論文 参考訳（メタデータ） (2023-07-27T04:27:26Z) - Differentially Private Learning with Per-Sample Adaptive Clipping [8.401653565794353]
非単調適応重み関数に基づくDP-PSACアルゴリズムを提案する。
DP-PSACは,複数のメインストリームビジョンや言語タスクにおいて,最先端の手法よりも優れ,あるいは適合していることを示す。
論文 参考訳（メタデータ） (2022-12-01T07:26:49Z) - An automatic differentiation system for the age of differential privacy [65.35244647521989]
Tritiumは、微分プライベート(DP)機械学習(ML)のための自動微分ベース感度分析フレームワークである
我々は、微分プライベート(DP)機械学習(ML)のための自動微分に基づく感度分析フレームワークTritiumを紹介する。
論文 参考訳（メタデータ） (2021-09-22T08:07:42Z) - Doubly Robust Off-Policy Actor-Critic: Convergence and Optimality [131.45028999325797]
ディスカウント型MDPのための2倍堅牢なオフポリチックAC(DR-Off-PAC)を開発した。
DR-Off-PACは、俳優と批評家の両方が一定のステップで同時に更新される単一のタイムスケール構造を採用しています。
有限時間収束速度を研究し, dr-off-pac のサンプル複雑性を特徴とし, $epsilon$-accurate optimal policy を得る。
論文 参考訳（メタデータ） (2021-02-23T18:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。