論文の概要: Rényi Differential Privacy for Heavy-Tailed SDEs via Fractional Poincaré Inequalities

• arxiv url: http://arxiv.org/abs/2511.15634v1
• Date: Wed, 19 Nov 2025 17:18:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-20 15:51:28.921414
• Title: Rényi Differential Privacy for Heavy-Tailed SDEs via Fractional Poincaré Inequalities
• Title（参考訳）: 分数ポアンカレ不等式による重り付きSDEのレーニ微分プライバシー
• Authors: Benjamin Dupuis, Mert Gürbüzbalaban, Umut Şimşekli, Jian Wang, Sinan Yildirim, Lingjiong Zhu,
• Abstract要約: 近年, 重み付き勾配降下に対するDP保証値が得られた。 DPと重み付きSGDの差分リンクに新しい光を流すが、これらの結果はパラメータ数に強く依存する。 我々のフレームワークは、新しいレニイフロー計算と、確立された分数的ポアンカレ不等式の使用に基づいている。
• 参考スコア（独自算出の注目度）: 14.760162530695661
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Characterizing the differential privacy (DP) of learning algorithms has become a major challenge in recent years. In parallel, many studies suggested investigating the behavior of stochastic gradient descent (SGD) with heavy-tailed noise, both as a model for modern deep learning models and to improve their performance. However, most DP bounds focus on light-tailed noise, where satisfactory guarantees have been obtained but the proposed techniques do not directly extend to the heavy-tailed setting. Recently, the first DP guarantees for heavy-tailed SGD were obtained. These results provide $(0,δ)$-DP guarantees without requiring gradient clipping. Despite casting new light on the link between DP and heavy-tailed algorithms, these results have a strong dependence on the number of parameters and cannot be extended to other DP notions like the well-established Rényi differential privacy (RDP). In this work, we propose to address these limitations by deriving the first RDP guarantees for heavy-tailed SDEs, as well as their discretized counterparts. Our framework is based on new Rényi flow computations and the use of well-established fractional Poincaré inequalities. Under the assumption that such inequalities are satisfied, we obtain DP guarantees that have a much weaker dependence on the dimension compared to prior art.
• Abstract（参考訳）: 近年,学習アルゴリズムの差分プライバシー(DP)の特徴付けが大きな課題となっている。 並行して、多くの研究は、現代のディープラーニングモデルのモデルとそれらの性能を改善するために、重尾雑音を伴う確率勾配降下(SGD)の挙動を調査することを提案した。 しかし、ほとんどのDP境界は、良好な保証が得られているが、提案手法が直接重み付け設定に拡張されない光尾雑音に焦点をあてている。 近年,大口径SGDの最初のDP保証が得られた。 これらの結果は、勾配クリッピングを必要としない$(0,δ)$-DP保証を提供する。 DPと重み付きアルゴリズムのリンクに新たな光を当てているにもかかわらず、これらの結果はパラメータの数に強く依存しており、確立されたRényi差分プライバシー(RDP)のような他のDP概念に拡張することはできない。 本研究では、重み付きSDEと識別されたSDEに対する最初のRDP保証を導出することにより、これらの制限に対処することを提案する。 我々のフレームワークは、新しいレニイフロー計算と、確立された分数的ポアンカレ不等式の使用に基づいている。 このような不等式が満たされるという仮定の下で、従来の技術に比べて寸法にかなり依存しないDP保証を得る。

関連論文リスト

• Differentially Private Policy Gradient [48.748194765816955]
  本研究では,プライバシノイズと信頼領域サイズとの間の適切なトレードオフを見出すことができ,性能的にプライベートなポリシー勾配アルゴリズムが得られることを示す。 この結果と課題の複雑さは,オンラインRLにおける既存のDPアルゴリズムよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-01-31T12:11:13Z)
• Privacy of SGD under Gaussian or Heavy-Tailed Noise: Guarantees without Gradient Clipping [15.348717323408652]
  重み付きノイズの理論的利点と経験的利益のギャップを、最適化とプライバシー保護のために橋渡しする。 ヘビーテールのノイズ発生スキームは、ライトテールのノイズの代替となる可能性があることを示す。
  論文  参考訳（メタデータ） (2024-03-04T13:53:41Z)
• Differentially Private SGD Without Clipping Bias: An Error-Feedback Approach [62.000948039914135]
  Differentially Private Gradient Descent with Gradient Clipping (DPSGD-GC) を使用して、差分プライバシ(DP)がモデルパフォーマンス劣化の犠牲となることを保証する。 DPSGD-GCに代わる新しいエラーフィードバック(EF)DPアルゴリズムを提案する。 提案アルゴリズムに対するアルゴリズム固有のDP解析を確立し,R'enyi DPに基づくプライバシ保証を提供する。
  論文  参考訳（メタデータ） (2023-11-24T17:56:44Z)
• Towards the Flatter Landscape and Better Generalization in Federated Learning under Client-level Differential Privacy [67.33715954653098]
  本稿では,DPの負の影響を軽減するために勾配摂動を利用するDP-FedSAMという新しいDPFLアルゴリズムを提案する。 具体的には、DP-FedSAM は Sharpness Aware of Minimization (SAM) を統合し、安定性と重みのある局所平坦度モデルを生成する。 より優れた性能を保ちながら、さらにマグニチュードランダムノイズを低減するために、ローカル更新スペーシフィケーション手法を用いてDP-FedSAM-$top_k$を提案する。
  論文  参考訳（メタデータ） (2023-05-01T15:19:09Z)
• Normalized/Clipped SGD with Perturbation for Differentially Private Non-Convex Optimization [94.06564567766475]
  DP-SGDとDP-NSGDは、センシティブなトレーニングデータを記憶する大規模モデルのリスクを軽減する。 DP-NSGD は DP-SGD よりも比較的チューニングが比較的容易であるのに対して,これらの2つのアルゴリズムは同様の精度を実現する。
  論文  参考訳（メタデータ） (2022-06-27T03:45:02Z)
• On Private Online Convex Optimization: Optimal Algorithms in $\ell_p$-Geometry and High Dimensional Contextual Bandits [9.798304879986604]
  本研究では,分散分布からサンプリングしたストリーミングデータを用いてDPの凸最適化問題について検討し,逐次到着する。 また、プライベート情報に関連するパラメータを更新し、新しいデータ(しばしばオンラインアルゴリズム)に基づいてリリースする連続リリースモデルについても検討する。 提案アルゴリズムは,1pleq 2$のときの最適余剰リスクと,2pleqinfty$のときの非プライベートな場合の最先端の余剰リスクを線形時間で達成する。
  論文  参考訳（メタデータ） (2022-06-16T12:09:47Z)
• Smoothed Differential Privacy [55.415581832037084]
  微分プライバシー(DP)は、最悪のケース分析に基づいて広く受け入れられ、広く適用されているプライバシーの概念である。 本稿では, 祝賀されたスムーズな解析の背景にある最悪の平均ケースのアイデアに倣って, DPの自然な拡張を提案する。 サンプリング手順による離散的なメカニズムはDPが予測するよりもプライベートであるのに対して,サンプリング手順による連続的なメカニズムはスムーズなDP下では依然としてプライベートではないことが証明された。
  論文  参考訳（メタデータ） (2021-07-04T06:55:45Z)
• Three Variants of Differential Privacy: Lossless Conversion and Applications [13.057076084452016]
  本稿では,3種類の差分プライバシー(DP),すなわち近似DP,R'enyi RDP,仮説テストについて考察する。 まず, 2 つの$f$-divergences の結合範囲に基づいて, DP と反復を関連付ける機械を開発する。 アプリケーションとして、ノイズ勾配勾配のプライバシー保証を特徴付けるモーメントフレームワークに適用する。
  論文  参考訳（メタデータ） (2020-08-14T18:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。