論文の概要: Smoothed Analysis of Online and Differentially Private Learning

• arxiv url: http://arxiv.org/abs/2006.10129v1
• Date: Wed, 17 Jun 2020 20:00:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 20:37:47.579545
• Title: Smoothed Analysis of Online and Differentially Private Learning
• Title（参考訳）: オンラインおよび微分プライベート学習の平滑化分析
• Authors: Nika Haghtalab, Tim Roughgarden, Abhishek Shetty
• Abstract要約: より強い後悔と誤りの保証は、スムーズな敵に対して可能であることを示す。 特に、VC次元と仮説クラスのブラッケング数にのみ依存する、後悔とプライバシのエラー境界を得る。
• 参考スコア（独自算出の注目度）: 25.784569036912117
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Practical and pervasive needs for robustness and privacy in algorithms have inspired the design of online adversarial and differentially private learning algorithms. The primary quantity that characterizes learnability in these settings is the Littlestone dimension of the class of hypotheses [Ben-David et al., 2009, Alon et al., 2019]. This characterization is often interpreted as an impossibility result because classes such as linear thresholds and neural networks have infinite Littlestone dimension. In this paper, we apply the framework of smoothed analysis [Spielman and Teng, 2004], in which adversarially chosen inputs are perturbed slightly by nature. We show that fundamentally stronger regret and error guarantees are possible with smoothed adversaries than with worst-case adversaries. In particular, we obtain regret and privacy error bounds that depend only on the VC dimension and the bracketing number of a hypothesis class, and on the magnitudes of the perturbations.
• Abstract（参考訳）: アルゴリズムにおける堅牢性とプライバシに対する実践的で普及したニーズは、オンラインの敵対的および微分プライベートな学習アルゴリズムの設計に影響を与えた。 これらの設定における学習可能性の特徴を特徴づける主要な量は、仮説のクラスのリトルストーン次元[Ben-David et al., 2009 Alon et al., 2019]である。 この特徴付けは、線形しきい値やニューラルネットワークのようなクラスが無限小石の次元を持つため、しばしば不可能であると解釈される。 本稿では,spielman and teng, 2004) を平滑化分析の枠組みに適用する。 我々は、最悪の場合よりも、スムーズな敵に対して、根本的な後悔と誤りの保証が可能であることを示した。 特に、VC次元と仮説クラスのブラッキング数、および摂動の大きさにのみ依存する後悔とプライバシのエラー境界を得る。

関連論文リスト

• Adversarially Robust Learning: A Generic Minimax Optimal Learner and Characterization [39.51923275855131]
  本研究では,テスト時間における逆例に頑健な予測器の学習問題に対して,最小限の最適学習器を提案する。 特に、強い否定的な意味で、モンタッサー、ハネケ、スレブロによって提案された頑健な学習者の亜最適性を示す。
  論文  参考訳（メタデータ） (2022-09-15T15:32:42Z)
• Learning to be adversarially robust and differentially private [42.7930886063265]
  我々は、頑健で微分プライベートな最適化から生じる学習の難しさについて研究する。 プライベート最適化によって導入されたデータ次元依存用語は、堅牢なモデルを学ぶのが困難である。 差分プライバシーにおける敵の一般化とクリッピング規範の大きさは、損失景観の曲率を増大させ、性能の低下を示唆する。
  論文  参考訳（メタデータ） (2022-01-06T22:33:06Z)
• A Low Rank Promoting Prior for Unsupervised Contrastive Learning [108.91406719395417]
  提案手法は,従来の低階の促進をコントラスト学習の枠組みに効果的に組み込む新しい確率的グラフィカルモデルを構築する。 我々の仮説は、同じインスタンスクラスに属するすべてのサンプルが、小さな次元の同じ部分空間上にあることを明示的に要求する。 実証的な証拠は、提案アルゴリズムが複数のベンチマークにおける最先端のアプローチを明らかに上回っていることを示している。
  論文  参考訳（メタデータ） (2021-08-05T15:58:25Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Robustness Threats of Differential Privacy [70.818129585404]
  我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。 本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
  論文  参考訳（メタデータ） (2020-12-14T18:59:24Z)
• Attribute-Guided Adversarial Training for Robustness to Natural Perturbations [64.35805267250682]
  本稿では,属性空間への分類器の露出を最大化するために,新しいサンプルを生成することを学習する逆学習手法を提案する。 我々のアプローチは、ディープニューラルネットワークが自然に発生する摂動に対して堅牢であることを可能にする。
  論文  参考訳（メタデータ） (2020-12-03T10:17:30Z)
• An Analysis of Robustness of Non-Lipschitz Networks [35.64511156980701]
  小さな入力摂動は、しばしばネットワークの最終層の特徴空間において大きな動きを引き起こす。 我々のモデルでは、敵対者は特徴空間において任意の距離でデータを移動することができるが、ランダムな低次元部分空間においてのみである。 データ駆動方式を用いて,アルゴリズムパラメータの設定を精度保持トレードオフよりも最適化するための理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-10-13T03:56:39Z)
• Differentially Private and Fair Deep Learning: A Lagrangian Dual Approach [54.32266555843765]
  本稿では,個人の機密情報のプライバシを保護するとともに,非差別的予測器の学習を可能にするモデルについて検討する。 この方法は、微分プライバシーの概念と、公正性制約を満たすニューラルネットワークの設計にラグランジアン双対性(Lagrangian duality)を用いることに依存している。
  論文  参考訳（メタデータ） (2020-09-26T10:50:33Z)
• Hidden Cost of Randomized Smoothing [72.93630656906599]
  本稿では、現在のランダム化平滑化による副作用を指摘する。 具体的には,1)スムーズな分類器の決定境界が小さくなり,クラスレベルでの精度の相違が生じること,2)学習過程における雑音増強の適用は,一貫性のない学習目的による縮小問題を必ずしも解決しない,という2つの主要なポイントを具体化し,証明する。
  論文  参考訳（メタデータ） (2020-03-02T23:37:42Z)
• Privately Learning Markov Random Fields [44.95321417724914]
  我々は、差分プライバシーの制約の下でランダムフィールド(イジングモデルを含む)を学習する問題を考察する。 私たちは、さまざまなプライバシー制約の下で、両方の問題に対してアルゴリズムと低いバウンダリを提供します。
  論文  参考訳（メタデータ） (2020-02-21T18:30:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。