論文の概要: Privacy Risk for anisotropic Langevin dynamics using relative entropy bounds

• arxiv url: http://arxiv.org/abs/2302.00766v1
• Date: Wed, 1 Feb 2023 21:32:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-03 16:07:58.367598
• Title: Privacy Risk for anisotropic Langevin dynamics using relative entropy bounds
• Title（参考訳）: 相対エントロピー境界を用いた異方性ランゲヴィンダイナミクスのプライバシーリスク
• Authors: Anastasia Borovykh, Nikolas Kantas, Panos Parpas, Greg Pavliotis
• Abstract要約: 加法的等方性雑音をもつランゲヴィン力学のプライバシー保存特性について、広範囲に研究されている。 我々は、異なる文脈におけるプライバシーリスクに関連する制約の実践的含意について論じる。 異方性雑音の利点は、損失やニューラルネットワークを最適化する数値結果を用いて示される。
• 参考スコア（独自算出の注目度）: 1.911678487931003
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The privacy preserving properties of Langevin dynamics with additive isotropic noise have been extensively studied. However, the isotropic noise assumption is very restrictive: (a) when adding noise to existing learning algorithms to preserve privacy and maintain the best possible accuracy one should take into account the relative magnitude of the outputs and their correlations; (b) popular algorithms such as stochastic gradient descent (and their continuous time limits) appear to possess anisotropic covariance properties. To study the privacy risks for the anisotropic noise case, one requires general results on the relative entropy between the laws of two Stochastic Differential Equations with different drifts and diffusion coefficients. Our main contribution is to establish such a bound using stability estimates for solutions to the Fokker-Planck equations via functional inequalities. With additional assumptions, the relative entropy bound implies an $(\epsilon,\delta)$-differential privacy bound. We discuss the practical implications of our bound related to privacy risk in different contexts.Finally, the benefits of anisotropic noise are illustrated using numerical results on optimising a quadratic loss or calibrating a neural network.
• Abstract（参考訳）: 付加的等方性ノイズを伴うランジュバンダイナミクスのプライバシー保護特性は広く研究されている。 しかし、等方性ノイズの仮定は非常に制限的です。 (a) 既存の学習アルゴリズムに雑音を加えることで、プライバシーを保ち、出力の相対的な大きさとその相関性を考慮して可能な限りの精度を維持すること。 (b)確率勾配降下(およびその連続時間限界)のような一般的なアルゴリズムは異方性共分散特性を持つように見える。 異方性雑音の場合のプライバシーリスクを調べるには、ドリフトと拡散係数の異なる2つの確率微分方程式の法則間の相対エントロピーに関する一般的な結果が必要である。 我々の主な貢献は、関数的不等式によるフォッカー・プランク方程式の解に対する安定性推定を用いてそのような境界を確立することである。 追加の仮定では、相対エントロピー境界は$(\epsilon,\delta)$-differential privacy boundを意味する。 本稿では,2次損失の最適化やニューラルネットワークの校正において,異方性雑音の利点を数値計算により示す。

関連論文リスト

• Federated Nonparametric Hypothesis Testing with Differential Privacy Constraints: Optimal Rates and Adaptive Tests [5.3595271893779906]
  フェデレート学習は、さまざまな場所でデータが収集され分析される広範囲な設定で適用可能であることから、近年大きな注目を集めている。 分散差分プライバシー(DP)制約下でのホワイトノイズ・ウィズ・ドリフトモデルにおける非パラメトリック適合性試験について検討した。
  論文  参考訳（メタデータ） (2024-06-10T19:25:19Z)
• Towards stable real-world equation discovery with assessing differentiating quality influence [52.2980614912553]
  一般的に用いられる有限差分法に代わる方法を提案する。 我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
  論文  参考訳（メタデータ） (2023-11-09T23:32:06Z)
• Amplitude-Varying Perturbation for Balancing Privacy and Utility in Federated Learning [86.08285033925597]
  本稿では,フェデレート学習のプライバシを保護するため,時変雑音振幅を持つ新しいDP摂動機構を提案する。 我々は、FLの過度な摂動ノイズによる早期収束を防止するために、シリーズのオンラインリファインメントを導出した。 新しいDP機構のプライバシ保存FLの収束と精度への寄与は、持続的な雑音振幅を持つ最先端のガウスノイズ機構と比較して相関する。
  論文  参考訳（メタデータ） (2023-03-07T22:52:40Z)
• Optimal scheduling of entropy regulariser for continuous-time linear-quadratic reinforcement learning [9.779769486156631]
  ここで、エージェントは最適な緩和ポリシーに従って分散されたノイズ制御を生成することで環境と相互作用する。 この探索-探索トレードオフはエントロピー正則化の強さによって決定される。 どちらの学習アルゴリズムも、$mathcalO(sqrtN)$(対数係数まで)を$N$のエピソードよりも高く、文献から最もよく知られた結果と一致することを証明している。
  論文  参考訳（メタデータ） (2022-08-08T23:36:40Z)
• High-Order Qubit Dephasing at Sweet Spots by Non-Gaussian Fluctuators: Symmetry Breaking and Floquet Protection [55.41644538483948]
  非ガウスゆらぎによるqubit dephasingについて検討した。 非ガウス雑音に特有の対称性破壊効果を予測する。
  論文  参考訳（メタデータ） (2022-06-06T18:02:38Z)
• Clipped Stochastic Methods for Variational Inequalities with Heavy-Tailed Noise [64.85879194013407]
  単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。 この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。 さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-06-02T15:21:55Z)
• Frequency estimation under non-Markovian spatially correlated quantum noise: Restoring superclassical precision scaling [0.0]
  本研究では,非古典雑音の存在下でのエンタングルメントエンハンス干渉法によるラムゼー推定精度について検討した。 熱環境からのスピンボソンデファソヴィアンノイズのパラダイム的場合、プローブの位置をランダム化することにより、平均して相関効果を抑えることができる。
  論文  参考訳（メタデータ） (2022-04-22T16:25:16Z)
• Analyzing and Improving the Optimization Landscape of Noise-Contrastive Estimation [50.85788484752612]
  ノイズコントラスト推定(NCE)は、非正規化確率モデルを学習するための統計的に一貫した手法である。 ノイズ分布の選択がNCEの性能に不可欠であることが実験的に観察されている。 本研究では,不適切な雑音分布を用いた場合,NCEの性能低下の原因を正式に指摘する。
  論文  参考訳（メタデータ） (2021-10-21T16:57:45Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• On the Role of Entropy-based Loss for Learning Causal Structures with Continuous Optimization [27.613220411996025]
  因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。 ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。 より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
  論文  参考訳（メタデータ） (2021-06-05T08:29:51Z)
• Efficient choice of coloured noises in stochastic dynamics of open quantum systems [0.0]
  リウヴィル・フォン・ノイマン方程式は、非マルコフ調和環境と結合した密度行列の力学を記述する。 本稿では, 雑音振幅低減法に基づいて, この種の色付きノイズを生成できるスキームを多数提示する。 使用するパラメータに最適であるスキームを同定し、等級の収束を改善し、シミュレーションにより利用できる時間を増大させる。
  論文  参考訳（メタデータ） (2020-06-02T18:23:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。