論文の概要: Deep Learning under Fractional-Order Differential Privacy

• arxiv url: http://arxiv.org/abs/2605.09890v1
• Date: Mon, 11 May 2026 02:29:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.474909
• Title: Deep Learning under Fractional-Order Differential Privacy
• Title（参考訳）: 分数次差分プライバシーに基づく深層学習
• Authors: Mohammad Partohaghighi, Roummel Marcia,
• Abstract要約: 個人差分勾配降下(DP-SGD)は、プライバシ重み学習の標準的なアプローチである。 ガウスノイズが付加される前に、この現在のみのクエリを置き換えるメカニズムを提案する。 FO-DP-SGDは、プライベート最適化における長期記憶効果を研究するためのフレームワークを提供する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentially private stochastic gradient descent (DP-SGD) is a standard approach to privacy-preserving learning based on per-example clipping, subsampling, Gaussian perturbation, and privacy accounting. Classical DP-SGD releases a noisy version of the current clipped subsampled gradient sum. We propose Fractional-Order Differentially Private Stochastic Gradient Descent (\textbf{FO-DP-SGD}), a mechanism-level extension that replaces this current-only query, before Gaussian noise is added, with a fractional recursive query combining the current clipped sum with a finite-window, power-law-weighted aggregation of previously released private sum-level outputs. This injects fractional memory into the release mechanism while preserving the standard \emph{sum-then-noise-then-divide} structure. Under add/remove adjacency with Poisson subsampling, the current-step sensitivity analysis shows that the only newly data-dependent term is the scaled current clipped sum. Hence, conditioned on the private history, the effective \(\ell_2\)-sensitivity is at most \(βC\), where \(C\) is the clipping threshold and \(β\in(0,1]\) controls the current-step contribution. Thus, FO-DP-SGD admits standard per-step Rényi differential privacy accounting via a Poisson-subsampled Gaussian mechanism with effective noise-to-sensitivity ratio \(σ/β\), and composes to yield overall \((\varepsilon,δ)\)-differential privacy guarantees. FO-DP-SGD provides a framework for studying long-memory effects in private optimization. The fractional order, memory window, and mixing coefficient govern the trade-off among current-step sensitivity, signal retention, and private-history influence. Experiments on SVHN, CIFAR-10, and CIFAR-100 show improved test accuracy and privacy--utility performance over DP-SGD and private baselines including DP-Adam, DP-IS, SA-DP-SGD, ADP-AdamW, DP-SAT, and DP-Adam-AC.
• Abstract（参考訳）: Differentially private stochastic gradient descent (DP-SGD) は、サンプルごとのクリッピング、サブサンプリング、ガウス摂動、プライバシー会計に基づくプライバシー保護学習の標準的アプローチである。 古典的なDP-SGDは、現在のカットされたサブサンプル勾配和のノイズバージョンをリリースする。 本稿では、ガウスノイズが付加される前に、この現在のみのクエリを置き換えるメカニズムレベルの拡張であるF Fractional-Order Differentially Private Stochastic Gradient Descent (\textbf{FO-DP-SGD})を提案する。 これは、標準の \emph{sum-then-noise-then-divide} 構造を保持しながら、解放機構に分数メモリを注入する。 ポアソン部分サンプリングの付加/除去の下で、現在のステップ感度分析は、新たにデータに依存した用語がスケールされた電流カット和であることを示している。 したがって、実効的な \(\ell_2\) 感度は、少なくとも \(βC\) であり、そこで \(C\) はクリッピングしきい値であり、 \(β\in(0,1]\) は現在のステップ寄与を制御する。 したがって、FO-DP-SGDは、Poisson-subsampled Gaussian機構を有効ノイズ対感度比 \(σ/β\) で実現し、全体的な \(\varepsilon,δ)\)-差分プライバシー保証を得る。 FO-DP-SGDは、プライベート最適化における長期記憶効果を研究するためのフレームワークを提供する。 分数次、メモリウインドウ、混合係数は、現在のステップ感度、信号保持、私的歴史の影響の間のトレードオフを管理する。 SVHN, CIFAR-10, CIFAR-100の実験では、DP-Adam, DP-IS, SA-DP-SGD, ADP-AdamW, DP-SAT, DP-Adam-ACを含むDP-SGDおよびプライベートベースラインに対するテスト精度とプライバシユーティリティの性能が改善された。

関連論文リスト

• Scalable DP-SGD: Shuffling vs. Poisson Subsampling [61.19794019914523]
  バッチサンプリングをシャッフルしたマルチエポック適応線形クエリ(ABLQ)機構のプライバシ保証に対する新たな下位境界を提供する。 ポアソンのサブサンプリングと比較すると大きな差がみられ, 以前の分析は1つのエポックに限られていた。 本稿では,大規模な並列計算を用いて,Poissonサブサンプリングを大規模に実装する実践的手法を提案する。
  論文  参考訳（メタデータ） (2024-11-06T19:06:16Z)
• Differentially Private Stochastic Gradient Descent with Fixed-Size Minibatches: Tighter RDP Guarantees with or without Replacement [6.494759487261151]
  固定サイズサブサンプリングシステムにおけるDP-SGD勾配は、メモリ使用率のメリットに加えて、実際的なばらつきが低い。 広範に使われているPoissonサブサンプリングとFSwoRが置き換え1つの隣接性を持つことが、サンプリング確率の上位に同じプライバシを持つことを示す。
  論文  参考訳（メタデータ） (2024-08-19T23:57:31Z)
• Privacy of the last iterate in cyclically-sampled DP-SGD on nonconvex composite losses [2.532202013576547]
  微分プライベート勾配(DP-SGD)は、微分プライベートモデルパラメータの列を生成するために反復する反復機械学習アルゴリズムのファミリーである。 最終段階の会計は困難であり、既存の作業はほとんどの実装で満たされていない強い仮定を必要とする。 損失関数の小さなステップサイズとリプシッツ滑らかさの現実的な仮定の下で、最後のイテレーションに対して新しいRenyi差分プライバシー(R)上限を提供する。
  論文  参考訳（メタデータ） (2024-07-07T02:35:55Z)
• Noise Variance Optimization in Differential Privacy: A Game-Theoretic Approach Through Per-Instance Differential Privacy [7.264378254137811]
  差分プライバシー(DP)は、個人をターゲットデータセットに含めることによる分布の変化を観察することにより、プライバシー損失を測定することができる。 DPは、AppleやGoogleのような業界巨人の機械学習におけるデータセットの保護において際立っている。 本稿では,PDPを制約として提案し,各データインスタンスのプライバシ損失を測定し,個々のインスタンスに適したノイズを最適化する。
  論文  参考訳（メタデータ） (2024-04-24T06:51:16Z)
• How Private are DP-SGD Implementations? [61.19794019914523]
  2種類のバッチサンプリングを使用する場合、プライバシ分析の間に大きなギャップがあることが示される。 その結果,2種類のバッチサンプリングでは,プライバシ分析の間に大きなギャップがあることが判明した。
  論文  参考訳（メタデータ） (2024-03-26T13:02:43Z)
• On the Privacy of Selection Mechanisms with Gaussian Noise [44.577599546904736]
  ガウス雑音によるReport Noisy MaxとAbove Thresholdの分析を再検討する。 その結果,Report Noisy Max の純元 DP 境界と Above Threshold の純元 DP 境界を提供することが可能であることがわかった。
  論文  参考訳（メタデータ） (2024-02-09T02:11:25Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。