論文の概要: Privacy Risk for anisotropic Langevin dynamics using relative entropy
bounds
- arxiv url: http://arxiv.org/abs/2302.00766v1
- Date: Wed, 1 Feb 2023 21:32:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-03 16:07:58.367598
- Title: Privacy Risk for anisotropic Langevin dynamics using relative entropy
bounds
- Title(参考訳): 相対エントロピー境界を用いた異方性ランゲヴィンダイナミクスのプライバシーリスク
- Authors: Anastasia Borovykh, Nikolas Kantas, Panos Parpas, Greg Pavliotis
- Abstract要約: 加法的等方性雑音をもつランゲヴィン力学のプライバシー保存特性について、広範囲に研究されている。
我々は、異なる文脈におけるプライバシーリスクに関連する制約の実践的含意について論じる。
異方性雑音の利点は、損失やニューラルネットワークを最適化する数値結果を用いて示される。
- 参考スコア(独自算出の注目度): 1.911678487931003
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The privacy preserving properties of Langevin dynamics with additive
isotropic noise have been extensively studied. However, the isotropic noise
assumption is very restrictive: (a) when adding noise to existing learning
algorithms to preserve privacy and maintain the best possible accuracy one
should take into account the relative magnitude of the outputs and their
correlations; (b) popular algorithms such as stochastic gradient descent (and
their continuous time limits) appear to possess anisotropic covariance
properties. To study the privacy risks for the anisotropic noise case, one
requires general results on the relative entropy between the laws of two
Stochastic Differential Equations with different drifts and diffusion
coefficients. Our main contribution is to establish such a bound using
stability estimates for solutions to the Fokker-Planck equations via functional
inequalities. With additional assumptions, the relative entropy bound implies
an $(\epsilon,\delta)$-differential privacy bound. We discuss the practical
implications of our bound related to privacy risk in different
contexts.Finally, the benefits of anisotropic noise are illustrated using
numerical results on optimising a quadratic loss or calibrating a neural
network.
- Abstract(参考訳): 付加的等方性ノイズを伴うランジュバンダイナミクスのプライバシー保護特性は広く研究されている。
しかし、等方性ノイズの仮定は非常に制限的です。
(a) 既存の学習アルゴリズムに雑音を加えることで、プライバシーを保ち、出力の相対的な大きさとその相関性を考慮して可能な限りの精度を維持すること。
(b)確率勾配降下(およびその連続時間限界)のような一般的なアルゴリズムは異方性共分散特性を持つように見える。
異方性雑音の場合のプライバシーリスクを調べるには、ドリフトと拡散係数の異なる2つの確率微分方程式の法則間の相対エントロピーに関する一般的な結果が必要である。
我々の主な貢献は、関数的不等式によるフォッカー・プランク方程式の解に対する安定性推定を用いてそのような境界を確立することである。
追加の仮定では、相対エントロピー境界は$(\epsilon,\delta)$-differential privacy boundを意味する。
本稿では,2次損失の最適化やニューラルネットワークの校正において,異方性雑音の利点を数値計算により示す。
関連論文リスト
- Causal Discovery under Identifiable Heteroscedastic Noise Model [50.23769985430187]
因果DAG学習は、最近精度と効率の両面で有望な性能を達成した。
本稿では,変数間のノイズ分散の変動を考慮したDAG学習のための新しい定式化を提案する。
次に、最適化の難しさに対処する効果的な2相反復DAG学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-20T08:51:58Z) - Towards stable real-world equation discovery with assessing
differentiating quality influence [52.2980614912553]
一般的に用いられる有限差分法に代わる方法を提案する。
我々は,これらの手法を実問題と類似した問題に適用可能であること,および方程式発見アルゴリズムの収束性を確保する能力の観点から評価する。
論文 参考訳(メタデータ) (2023-11-09T23:32:06Z) - Variational Nonlinear Kalman Filtering with Unknown Process Noise
Covariance [24.23243651301339]
本稿では,近似ベイズ推定原理に基づく非線形状態推定とモデルパラメータの同定手法を提案する。
シミュレーションおよび実世界のデータを用いて,レーダ目標追尾法の性能を検証した。
論文 参考訳(メタデータ) (2023-05-06T03:34:39Z) - Optimal scheduling of entropy regulariser for continuous-time
linear-quadratic reinforcement learning [9.779769486156631]
ここで、エージェントは最適な緩和ポリシーに従って分散されたノイズ制御を生成することで環境と相互作用する。
この探索-探索トレードオフはエントロピー正則化の強さによって決定される。
どちらの学習アルゴリズムも、$mathcalO(sqrtN)$(対数係数まで)を$N$のエピソードよりも高く、文献から最もよく知られた結果と一致することを証明している。
論文 参考訳(メタデータ) (2022-08-08T23:36:40Z) - High-Order Qubit Dephasing at Sweet Spots by Non-Gaussian Fluctuators:
Symmetry Breaking and Floquet Protection [55.41644538483948]
非ガウスゆらぎによるqubit dephasingについて検討した。
非ガウス雑音に特有の対称性破壊効果を予測する。
論文 参考訳(メタデータ) (2022-06-06T18:02:38Z) - Clipped Stochastic Methods for Variational Inequalities with
Heavy-Tailed Noise [64.85879194013407]
単調なVIPと非単調なVIPの解法における信頼度に対数的依存を持つ最初の高確率結果が証明された。
この結果は光尾の場合で最もよく知られたものと一致し,非単調な構造問題に新鮮である。
さらに,多くの実用的な定式化の勾配雑音が重く,クリッピングによりSEG/SGDAの性能が向上することを示す。
論文 参考訳(メタデータ) (2022-06-02T15:21:55Z) - Frequency estimation under non-Markovian spatially correlated quantum
noise: Restoring superclassical precision scaling [0.0]
本研究では,非古典雑音の存在下でのエンタングルメントエンハンス干渉法によるラムゼー推定精度について検討した。
熱環境からのスピンボソンデファソヴィアンノイズのパラダイム的場合、プローブの位置をランダム化することにより、平均して相関効果を抑えることができる。
論文 参考訳(メタデータ) (2022-04-22T16:25:16Z) - Analyzing and Improving the Optimization Landscape of Noise-Contrastive
Estimation [50.85788484752612]
ノイズコントラスト推定(NCE)は、非正規化確率モデルを学習するための統計的に一貫した手法である。
ノイズ分布の選択がNCEの性能に不可欠であることが実験的に観察されている。
本研究では,不適切な雑音分布を用いた場合,NCEの性能低下の原因を正式に指摘する。
論文 参考訳(メタデータ) (2021-10-21T16:57:45Z) - Near-Optimal High Probability Complexity Bounds for Non-Smooth
Stochastic Optimization with Heavy-Tailed Noise [63.304196997102494]
アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。
既存の非滑らか凸最適化法は、負のパワーまたは対数的な信頼度に依存する境界の複雑さを持つ。
クリッピングを用いた2つの勾配法に対して, 新たなステップサイズルールを提案する。
論文 参考訳(メタデータ) (2021-06-10T17:54:21Z) - On the Role of Entropy-based Loss for Learning Causal Structures with
Continuous Optimization [27.613220411996025]
因果構造学習問題を最小二乗損失を用いた連続最適化問題として定式化する。
ガウス雑音の仮定に違反すると因果方向の同定が妨げられることを示す。
より一般的なエントロピーに基づく損失は、任意の雑音分布下での確率スコアと理論的に一致している。
論文 参考訳(メタデータ) (2021-06-05T08:29:51Z) - Efficient choice of coloured noises in stochastic dynamics of open
quantum systems [0.0]
リウヴィル・フォン・ノイマン方程式は、非マルコフ調和環境と結合した密度行列の力学を記述する。
本稿では, 雑音振幅低減法に基づいて, この種の色付きノイズを生成できるスキームを多数提示する。
使用するパラメータに最適であるスキームを同定し、等級の収束を改善し、シミュレーションにより利用できる時間を増大させる。
論文 参考訳(メタデータ) (2020-06-02T18:23:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。