論文の概要: Stability, Generalization and Privacy: Precise Analysis for Random and
NTK Features
- arxiv url: http://arxiv.org/abs/2305.12100v2
- Date: Sun, 11 Jun 2023 09:01:41 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-13 23:52:20.926670
- Title: Stability, Generalization and Privacy: Precise Analysis for Random and
NTK Features
- Title(参考訳): 安定性、一般化、プライバシ:ランダムおよびNTK機能の精密解析
- Authors: Simone Bombari, Marco Mondelli
- Abstract要約: 本稿では,強力なブラックボックス攻撃群に対するディープラーニングモデルの安全性について検討する。
本分析では, この安全性を, (i) 個々のトレーニングサンプルに対するモデルの安定性, (ii) 攻撃者クエリと元のデータとの間の特徴的整合性という2つの異なる用語で定量化する。
- 参考スコア(独自算出の注目度): 16.759797540118665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep learning models can be vulnerable to recovery attacks, raising privacy
concerns to users, and widespread algorithms such as empirical risk
minimization (ERM) often do not directly enforce safety guarantees. In this
paper, we study the safety of ERM-trained models against a family of powerful
black-box attacks. Our analysis quantifies this safety via two separate terms:
(i) the model stability with respect to individual training samples, and (ii)
the feature alignment between the attacker query and the original data. While
the first term is well established in learning theory and it is connected to
the generalization error in classical work, the second one is, to the best of
our knowledge, novel. Our key technical result provides a precise
characterization of the feature alignment for the two prototypical settings of
random features (RF) and neural tangent kernel (NTK) regression. This proves
that privacy strengthens with an increase in the generalization capability,
unveiling also the role of the activation function. Numerical experiments show
a behavior in agreement with our theory not only for the RF and NTK models, but
also for deep neural networks trained on standard datasets (MNIST, CIFAR-10).
- Abstract(参考訳): ディープラーニングモデルは、リカバリ攻撃やユーザに対するプライバシの懸念の高まりに対して脆弱であり、経験的リスク最小化(ERM)のような広範なアルゴリズムは、安全保証を直接強制しないことが多い。
本稿では,強力なブラックボックス攻撃群に対するERM訓練モデルの安全性について検討する。
当社の分析では、この安全性を2つの異なる用語で定量化しています。
(i)個別のトレーニングサンプルに対するモデルの安定性、
(ii)攻撃者クエリと元のデータとの間の特徴的アライメント。
第1項は学習理論においてよく確立されており、古典的作品における一般化誤差と結びついているが、第2項は、我々の知る限りでは、小説である。
我々の重要な技術的成果は、ランダム特徴(rf)と神経接核(ntk)回帰の2つの原型的設定に対する特徴的アライメントの正確な特徴付けを提供する。
これにより、プライバシは一般化機能の増加とともに強化され、アクティベーション機能の役割も明らかにされる。
数値実験は、RFモデルとNTKモデルだけでなく、標準データセット(MNIST, CIFAR-10)で訓練されたディープニューラルネットワークに対しても、我々の理論と一致した振る舞いを示す。
関連論文リスト
- The Surprising Harmfulness of Benign Overfitting for Adversarial
Robustness [13.120373493503772]
根拠的真理そのものが敵の例に対して堅牢であるとしても、標準のアウト・オブ・サンプルのリスク目標の観点から見れば、明らかに過適合なモデルは良性である、という驚くべき結果が証明されます。
我々の発見は、実際に観察されたパズリング現象に関する理論的洞察を与え、真の標的関数(例えば、人間)は副次的攻撃に対して堅牢であり、一方、当初過適合のニューラルネットワークは、堅牢でないモデルに導かれる。
論文 参考訳(メタデータ) (2024-01-19T15:40:46Z) - Low-Cost High-Power Membership Inference Attacks [17.128537906121355]
メンバシップ推論攻撃は、機械学習モデルのトレーニングに特定のデータポイントを使用したかどうかを検出することを目的としている。
近年の強力な攻撃は計算コストが高く、様々な条件下では不整合性があり、実際のプライバシーリスク評価には信頼性が低い。
我々は,計算オーバーヘッドを最小限に抑えながら,人口データとモデルのトレーニングデータとを正確に区別する,新しい,効率的で堅牢なメンバシップ推論攻撃(RMIA)を設計する。
論文 参考訳(メタデータ) (2023-12-06T03:18:49Z) - TWINS: A Fine-Tuning Framework for Improved Transferability of
Adversarial Robustness and Generalization [89.54947228958494]
本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。
本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。
TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
論文 参考訳(メタデータ) (2023-03-20T14:12:55Z) - Explicit Tradeoffs between Adversarial and Natural Distributional
Robustness [48.44639585732391]
実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。
本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
論文 参考訳(メタデータ) (2022-09-15T19:58:01Z) - Policy Smoothing for Provably Robust Reinforcement Learning [109.90239627115336]
入力のノルム有界対向摂動に対する強化学習の証明可能な堅牢性について検討する。
我々は、スムーズなポリシーによって得られる全報酬が、入力の摂動のノルムバウンドな逆数の下で一定の閾値以下に収まらないことを保証した証明書を生成する。
論文 参考訳(メタデータ) (2021-06-21T21:42:08Z) - Adaptive Feature Alignment for Adversarial Training [56.17654691470554]
CNNは通常、敵攻撃に対して脆弱であり、セキュリティに敏感なアプリケーションに脅威をもたらす。
任意の攻撃強度の特徴を生成するための適応的特徴アライメント(AFA)を提案する。
本手法は任意の攻撃強度の特徴を自動的に整列するように訓練されている。
論文 参考訳(メタデータ) (2021-05-31T17:01:05Z) - Federated Learning with Unreliable Clients: Performance Analysis and
Mechanism Design [76.29738151117583]
Federated Learning(FL)は、分散クライアント間で効果的な機械学習モデルをトレーニングするための有望なツールとなっている。
しかし、低品質のモデルは信頼性の低いクライアントによってアグリゲータサーバにアップロードすることができ、劣化やトレーニングの崩壊につながる。
クライアントの信頼できない振る舞いをモデル化し、このようなセキュリティリスクを軽減するための防御メカニズムを提案する。
論文 参考訳(メタデータ) (2021-05-10T08:02:27Z) - Robustness Threats of Differential Privacy [70.818129585404]
我々は、いくつかの設定で差分プライバシーをトレーニングしたネットワークが、非プライベートバージョンに比べてさらに脆弱であることを実験的に実証した。
本研究では,勾配クリッピングや雑音付加などのニューラルネットワークトレーニングの主成分が,モデルの堅牢性に与える影響について検討する。
論文 参考訳(メタデータ) (2020-12-14T18:59:24Z) - Trust but Verify: Assigning Prediction Credibility by Counterfactual
Constrained Learning [123.3472310767721]
予測信頼性尺度は統計学と機械学習において基本的なものである。
これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。
この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
論文 参考訳(メタデータ) (2020-11-24T19:52:38Z) - Systematic Evaluation of Privacy Risks of Machine Learning Models [41.017707772150835]
メンバーシップ推論攻撃に対する事前の取り組みは、プライバシーリスクを著しく過小評価する可能性があることを示す。
まず、既存の非ニューラルネットワークベースの推論攻撃を改善することで、メンバーシップ推論のプライバシリスクをベンチマークする。
次に、プライバシリスクスコアと呼ばれる新しい指標を定式化し、導出することで、詳細なプライバシ分析のための新しいアプローチを導入する。
論文 参考訳(メタデータ) (2020-03-24T00:53:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。