論文の概要: Stability, Generalization and Privacy: Precise Analysis for Random and NTK Features

• arxiv url: http://arxiv.org/abs/2305.12100v1
• Date: Sat, 20 May 2023 05:27:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 00:35:44.883080
• Title: Stability, Generalization and Privacy: Precise Analysis for Random and NTK Features
• Title（参考訳）: 安定性、一般化、プライバシ:ランダムおよびNTK機能の精密解析
• Authors: Simone Bombari, Marco Mondelli
• Abstract要約: 本稿では,強力なブラックボックス攻撃群に対するディープラーニングモデルの安全性について検討する。 本分析では, この安全性を, (i) 個々のトレーニングサンプルに対するモデルの安定性, (ii) 攻撃者クエリと元のデータとの間の特徴的整合性という2つの異なる用語で定量化する。
• 参考スコア（独自算出の注目度）: 16.759797540118665
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning models can be vulnerable to recovery attacks, raising privacy concerns to users, and widespread algorithms such as empirical risk minimization (ERM) often do not directly enforce safety guarantees. In this paper, we study the safety of ERM-trained models against a family of powerful black-box attacks. Our analysis quantifies this safety via two separate terms: (i) the model stability with respect to individual training samples, and (ii) the feature alignment between the attacker query and the original data. While the first term is well established in learning theory and it is connected to the generalization error in classical work, the second one is, to the best of our knowledge, novel. Our key technical result provides a precise characterization of the feature alignment for the two prototypical settings of random features (RF) and neural tangent kernel (NTK) regression. This proves that privacy strengthens with an increase in the generalization capability, unveiling also the role of the activation function. Numerical experiments show a behavior in agreement with our theory not only for the RF and NTK models, but also for deep neural networks trained on standard datasets (MNIST, CIFAR-10).
• Abstract（参考訳）: ディープラーニングモデルは、リカバリ攻撃やユーザに対するプライバシの懸念の高まりに対して脆弱であり、経験的リスク最小化(ERM)のような広範なアルゴリズムは、安全保証を直接強制しないことが多い。 本稿では,強力なブラックボックス攻撃群に対するERM訓練モデルの安全性について検討する。 当社の分析では、この安全性を2つの異なる用語で定量化しています。 (i)個別のトレーニングサンプルに対するモデルの安定性、 (ii)攻撃者クエリと元のデータとの間の特徴的アライメント。 第1項は学習理論においてよく確立されており、古典的作品における一般化誤差と結びついているが、第2項は、我々の知る限りでは、小説である。 我々の重要な技術的成果は、ランダム特徴(rf)と神経接核(ntk)回帰の2つの原型的設定に対する特徴的アライメントの正確な特徴付けを提供する。 これにより、プライバシは一般化機能の増加とともに強化され、アクティベーション機能の役割も明らかにされる。 数値実験は、RFモデルとNTKモデルだけでなく、標準データセット(MNIST, CIFAR-10)で訓練されたディープニューラルネットワークに対しても、我々の理論と一致した振る舞いを示す。

関連論文リスト

• A Random Matrix Theory Perspective on the Spectrum of Learned Features and Asymptotic Generalization Capabilities [30.737171081270322]
  完全に接続された2層ニューラルネットワークは、単一だが攻撃的な勾配降下ステップの後、ターゲット関数にどのように適応するかを検討する。 これは、2層ニューラルネットワークの一般化における特徴学習の影響を、ランダムな特徴や遅延トレーニング体制を超えて、はっきりと説明してくれる。
  論文  参考訳（メタデータ） (2024-10-24T17:24:34Z)
• Complexity Matters: Dynamics of Feature Learning in the Presence of Spurious Correlations [13.119576365743624]
  突発的な相関の下で特徴学習のダイナミクスを考察する。 以上の結果から, 最終層の再トレーニングの成功を正当化し, 急激な相関を除去できることが示唆された。 また、突発的特徴の早期学習を利用する一般的なデバイアスアルゴリズムの限界も特定する。
  論文  参考訳（メタデータ） (2024-03-05T23:54:00Z)
• On the Foundations of Shortcut Learning [20.53986437152018]
  予測と可用性が形状モデルの特徴的利用とどのように相互作用するかを考察する。 線形モデルは比較的偏りがないが、ReLUやTanhの単位を持つ単一の隠蔽層を導入するとバイアスが生じる。
  論文  参考訳（メタデータ） (2023-10-24T22:54:05Z)
• On the Joint Interaction of Models, Data, and Features [82.60073661644435]
  本稿では,データとモデル間の相互作用を実験的に解析する新しいツールであるインタラクションテンソルを紹介する。 これらの観測に基づいて,特徴学習のための概念的枠組みを提案する。 この枠組みの下では、一つの仮説に対する期待された精度と一対の仮説に対する合意はどちらも閉形式で導出することができる。
  論文  参考訳（メタデータ） (2023-06-07T21:35:26Z)
• Multi-scale Feature Learning Dynamics: Insights for Double Descent [71.91871020059857]
  一般化誤差の「二重降下」現象について検討する。 二重降下は、異なるスケールで学習される異なる特徴に起因する可能性がある。
  論文  参考訳（メタデータ） (2021-12-06T18:17:08Z)
• Towards Open-World Feature Extrapolation: An Inductive Graph Learning Approach [80.8446673089281]
  グラフ表現と学習を伴う新しい学習パラダイムを提案する。 本フレームワークは,1) 下位モデルとしてのバックボーンネットワーク(フィードフォワードニューラルネットなど)が,予測ラベルの入力および出力として機能を取り,2) 上位モデルとしてのグラフニューラルネットワークが,観測データから構築された特徴データグラフをメッセージパッシングすることで,新機能の埋め込みを外挿することを学ぶ。
  論文  参考訳（メタデータ） (2021-10-09T09:02:45Z)
• More data or more parameters? Investigating the effect of data structure on generalization [17.249712222764085]
  データの特性は、トレーニング例の数とトレーニングパラメータの数の関数としてテストエラーに影響を与えます。 ラベル内のノイズや入力データの強い異方性がテストエラーと同じような役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T16:08:41Z)
• Don't Just Blame Over-parametrization for Over-confidence: Theoretical Analysis of Calibration in Binary Classification [58.03725169462616]
  理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。 我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。 おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
  論文  参考訳（メタデータ） (2021-02-15T21:38:09Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Can Temporal-Difference and Q-Learning Learn Representation? A Mean-Field Theory [110.99247009159726]
  時間差とQ-ラーニングは、ニューラルネットワークのような表現力のある非線形関数近似器によって強化される深層強化学習において重要な役割を担っている。 特に時間差学習は、関数近似器が特徴表現において線形であるときに収束する。
  論文  参考訳（メタデータ） (2020-06-08T17:25:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。