論文の概要: Differential Privacy for Pairwise Learning: Non-convex Analysis

• arxiv url: http://arxiv.org/abs/2105.03033v1
• Date: Fri, 7 May 2021 02:20:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-10 12:13:51.706143
• Title: Differential Privacy for Pairwise Learning: Non-convex Analysis
• Title（参考訳）: ペアワイズ学習におけるディファレンシャルプライバシ:非凸解析
• Authors: Yilin Kang, Yong Liu, Jian Li, Weiping Wang
• Abstract要約: ペアワイズ学習は、ペアワイズ損失関数との学習関係に焦点を当てる。 ペアワイズ学習のプライバシを分析し,摂動に対する新しい差分プライバシパラダイムを提案する。
• 参考スコア（独自算出の注目度）: 16.815470316398326
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pairwise learning focuses on learning tasks with pairwise loss functions, which depend on pairs of training instances, and naturally fits for modeling relationships between pairs of samples. In this paper, we focus on the privacy of pairwise learning and propose a new differential privacy paradigm for pairwise learning, based on gradient perturbation. We analyze the privacy guarantees from two points of view: the $\ell_2$-sensitivity and the moments accountant method. We further analyze the generalization error, the excess empirical risk, and the excess population risk of our proposed method and give corresponding bounds. By introducing algorithmic stability theory to pairwise differential privacy, our theoretical analysis does not require convex pairwise loss functions, which means that our method is general to both convex and non-convex conditions. Under these circumstances, the utility bounds are better than previous bounds under convexity or strongly convexity assumption, which is an attractive result.
• Abstract（参考訳）: ペアワイズ学習は、ペアのトレーニングインスタンスに依存し、ペアのサンプル間の関係をモデル化するのに自然に適合するペアワイズ損失関数による学習タスクに焦点を当てる。 本稿では,ペアワイズ学習のプライバシに着目し,勾配摂動に基づくペアワイズ学習のための新たな差分プライバシーパラダイムを提案する。 我々は、$\ell_2$-sensitivity と moments accountant の2つの視点からプライバシー保証を分析する。 さらに,提案手法の一般化誤差,過剰な経験的リスク,過剰な集団リスクを解析し,対応する限界を与える。 ペアワイズ微分プライバシーにアルゴリズム的安定性理論を導入することで、この理論解析では凸対損失関数は不要となり、これは凸条件と非凸条件の両方に一般化することを意味する。 このような状況下では、ユーティリティ境界は凸性や強い凸性仮定の下での以前の境界よりも優れており、これは魅力的な結果である。

関連論文リスト

• Likelihood Ratio Confidence Sets for Sequential Decision Making [51.66638486226482]
  確率に基づく推論の原理を再検討し、確率比を用いて妥当な信頼シーケンスを構築することを提案する。 本手法は, 精度の高い問題に特に適している。 提案手法は,オンライン凸最適化への接続に光を当てることにより,推定器の最適シーケンスを確実に選択する方法を示す。
  論文  参考訳（メタデータ） (2023-11-08T00:10:21Z)
• Fine-grained analysis of non-parametric estimation for pairwise learning [9.676007573960383]
  ペアワイズ学習における非パラメトリック推定の一般化性能について検討する。 我々の結果は、ランキング、AUC、ペアワイズ回帰、メートル法、類似性学習など、幅広いペアワイズ学習問題に対処するために利用できる。
  論文  参考訳（メタデータ） (2023-05-31T08:13:14Z)
• Optimal variance-reduced stochastic approximation in Banach spaces [114.8734960258221]
  可分バナッハ空間上で定義された収縮作用素の定点を推定する問題について検討する。 演算子欠陥と推定誤差の両方に対して漸近的でない境界を確立する。
  論文  参考訳（メタデータ） (2022-01-21T02:46:57Z)
• Efficient Performance Bounds for Primal-Dual Reinforcement Learning from Demonstrations [1.0609815608017066]
  本稿では,コスト関数の不明な大規模マルコフ決定プロセスについて考察し,限られた専門家による実証から政策を学習する問題に対処する。 既存の逆強化学習法には強力な理論的保証があるが、計算上は高価である。 ラグランジアン双対性を利用して理論と実践のギャップを埋める新しい双線型サドルポイントフレームワークを導入する。
  論文  参考訳（メタデータ） (2021-12-28T05:47:24Z)
• Learning Rates for Nonconvex Pairwise Learning [7.33244617309908]
  人口規模に基づいて多くの重要な学習タスクを改善するため、ペアワイズ学習が注目されている。 モチベーションされた非賢明な学習は、学習率を改善する。
  論文  参考訳（メタデータ） (2021-11-09T16:12:20Z)
• Adversarial Robustness with Semi-Infinite Constrained Learning [177.42714838799924]
  入力に対する深い学習は、安全クリティカルなドメインでの使用に関して深刻な疑問を提起している。 本稿では,この問題を緩和するために,Langevin Monte Carlo のハイブリッドトレーニング手法を提案する。 当社のアプローチは、最先端のパフォーマンスと堅牢性の間のトレードオフを軽減することができることを示す。
  論文  参考訳（メタデータ） (2021-10-29T13:30:42Z)
• High Probability Complexity Bounds for Non-Smooth Stochastic Optimization with Heavy-Tailed Noise [51.31435087414348]
  アルゴリズムが高い確率で小さな客観的残差を与えることを理論的に保証することが不可欠である。 非滑らか凸最適化の既存の方法は、信頼度に依存した複雑性境界を持つ。 そこで我々は,勾配クリッピングを伴う2つの手法に対して,新たなステップサイズルールを提案する。
  論文  参考訳（メタデータ） (2021-06-10T17:54:21Z)
• Learner-Private Online Convex Optimization [24.204781914017758]
  オンライン凸最適化において,学習者のクエリを最適に難読化する方法について検討する。 本結果は,全次フィードバックを持つ一般凸関数のよりリッチなファミリに適用できる。
  論文  参考訳（メタデータ） (2021-02-23T23:00:44Z)
• Outlier-Robust Learning of Ising Models Under Dobrushin's Condition [57.89518300699042]
  本研究では, サンプルの一定割合が逆向きに破壊されるような外乱条件下で, ドブルシンの条件を満たすIsingモデルの学習問題について検討する。 我々の主な成果は、ほぼ最適誤差保証を伴うこの問題に対して、計算効率のよい最初の頑健な学習アルゴリズムを提供することである。
  論文  参考訳（メタデータ） (2021-02-03T18:00:57Z)
• Learning while Respecting Privacy and Robustness to Distributional Uncertainties and Adversarial Data [66.78671826743884]
  分散ロバストな最適化フレームワークはパラメトリックモデルのトレーニングのために検討されている。 目的は、逆操作された入力データに対して頑健なトレーニングモデルを提供することである。 提案されたアルゴリズムは、オーバーヘッドがほとんどない堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-07-07T18:25:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。