論文の概要: A High Dimensional Statistical Model for Adversarial Training: Geometry and Trade-Offs

• arxiv url: http://arxiv.org/abs/2402.05674v3
• Date: Fri, 27 Dec 2024 22:42:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:02:26.030091
• Title: A High Dimensional Statistical Model for Adversarial Training: Geometry and Trade-Offs
• Title（参考訳）: 逆行訓練のための高次元統計モデル:幾何と貿易オフ
• Authors: Kasimir Tanner, Matteo Vilucchio, Bruno Loureiro, Florent Krzakala,
• Abstract要約: 本稿では,データと敵の攻撃的ジオメトリ間の相互作用を研究することのできる,引き込み可能な数学的モデルを提案する。 我々の主な理論的貢献は、敵の経験的リスク最小化のための十分な統計の正確な記述である。 我々は,複数の異なる特徴型が存在することが,逆行訓練の複雑度向上に不可欠であることを示す。
• 参考スコア（独自算出の注目度）: 23.132536217316073
• License:
• Abstract: This work investigates adversarial training in the context of margin-based linear classifiers in the high-dimensional regime where the dimension $d$ and the number of data points $n$ diverge with a fixed ratio $\alpha = n / d$. We introduce a tractable mathematical model where the interplay between the data and adversarial attacker geometries can be studied, while capturing the core phenomenology observed in the adversarial robustness literature. Our main theoretical contribution is an exact asymptotic description of the sufficient statistics for the adversarial empirical risk minimiser, under generic convex and non-increasing losses for a Block Feature Model. Our result allow us to precisely characterise which directions in the data are associated with a higher generalisation/robustness trade-off, as defined by a robustness and a usefulness metric. We show that the the presence of multiple different feature types is crucial to the high sample complexity performances of adversarial training. In particular, we unveil the existence of directions which can be defended without penalising accuracy. Finally, we show the advantage of defending non-robust features during training, identifying a uniform protection as an inherently effective defence mechanism.
• Abstract（参考訳）: 本研究は、次元$d$とデータポイント数$n$が固定比$\alpha = n / d$で発散する高次元状態におけるマージンベースの線形分類器の文脈における逆トレーニングについて検討する。 本研究では, 対向的ロバスト性文学において観測される中核現象を捉えるとともに, データと対向的アタッカージオメトリーの相互作用を研究することのできる, トラクタブルな数学的モデルを提案する。 我々の主な理論的貢献は、ブロック特徴モデルにおける一般的な凸と非増加損失の下で、敵の経験的リスク最小化のための十分な統計量の正確な漸近的記述である。 その結果、ロバストネスと有用度測定値によって定義されるように、データのどの方向が高次一般化/ロバストネストレードオフと関連しているかを正確に特徴づけることができた。 本研究は,複数種類の特徴型が存在することが,逆行訓練における高サンプリング複雑性性能に不可欠であることを示す。 特に、精度を損なうことなく防御できる方向の存在を明らかにする。 最後に、トレーニング中に非破壊的特徴を防御する利点を示し、一様保護を本質的に効果的な防御機構として同定する。

関連論文リスト

• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks [58.718697580177356]
  悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。 データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。 ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
  論文  参考訳（メタデータ） (2023-06-28T17:59:35Z)
• Explicit Tradeoffs between Adversarial and Natural Distributional Robustness [48.44639585732391]
  実際、モデルは信頼性を確保するために両方のタイプの堅牢さを享受する必要があります。 本研究では, 対角線と自然分布の強靭性の間には, 明らかなトレードオフが存在することを示す。
  論文  参考訳（メタデータ） (2022-09-15T19:58:01Z)
• Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
  また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。 本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:34Z)
• Formalizing and Estimating Distribution Inference Risks [11.650381752104298]
  プロパティ推論攻撃の形式的および一般的な定義を提案する。 以上の結果から,安価なメタクラス化攻撃は高価なメタクラス化攻撃と同じくらい効果的であることが示唆された。 我々は、最先端のプロパティ推論攻撃を畳み込みニューラルネットワークに拡張する。
  論文  参考訳（メタデータ） (2021-09-13T14:54:39Z)
• Adversarially Robust Estimate and Risk Analysis in Linear Regression [17.931533943788335]
  反対に堅牢な学習は、入力変数の小さな反対の摂動に対して堅牢なアルゴリズムを設計することを目指している。 逆ロバストな推定器の収束率を統計的に最小化することで,モデル情報の導入の重要性を強調する。 本研究では, モデル構造情報を活用することで, 素直な2段階の対人学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-18T14:55:55Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
  敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。 実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。 2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
  論文  参考訳（メタデータ） (2020-10-26T01:44:20Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。