論文の概要: A High Dimensional Statistical Model for Adversarial Training: Geometry and Trade-Offs

• arxiv url: http://arxiv.org/abs/2402.05674v2
• Date: Mon, 10 Jun 2024 07:24:37 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-12 03:39:46.089193
• Title: A High Dimensional Statistical Model for Adversarial Training: Geometry and Trade-Offs
• Title（参考訳）: 逆行訓練のための高次元統計モデル:幾何と貿易オフ
• Authors: Kasimir Tanner, Matteo Vilucchio, Bruno Loureiro, Florent Krzakala,
• Abstract要約: 本稿では,データと敵の攻撃的ジオメトリ間の相互作用を研究することのできる,引き込み可能な数学的モデルを提案する。 我々の主な理論的貢献は、敵の経験的リスク最小化のための十分な統計の正確な記述である。 トレーニング中に非破壊的特徴を防御する利点を示し、一様保護を本質的に効果的な防御機構として同定する。
• 参考スコア（独自算出の注目度）: 23.132536217316073
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work investigates adversarial training in the context of margin-based linear classifiers in the high-dimensional regime where the dimension $d$ and the number of data points $n$ diverge with a fixed ratio $\alpha = n / d$. We introduce a tractable mathematical model where the interplay between the data and adversarial attacker geometries can be studied, while capturing the core phenomenology observed in the adversarial robustness literature. Our main theoretical contribution is an exact asymptotic description of the sufficient statistics for the adversarial empirical risk minimiser, under generic convex and non-increasing losses. Our result allow us to precisely characterise which directions in the data are associated with a higher generalisation/robustness trade-off, as defined by a robustness and a usefulness metric. In particular, we unveil the existence of directions which can be defended without penalising accuracy. Finally, we show the advantage of defending non-robust features during training, identifying a uniform protection as an inherently effective defence mechanism.
• Abstract（参考訳）: 本研究は、次元$d$とデータポイント数$n$が固定比$\alpha = n / d$で発散する高次元状態におけるマージンベースの線形分類器の文脈における逆トレーニングについて検討する。 本研究では, 対向的ロバスト性文学において観測される中核現象を捉えるとともに, データと対向的アタッカージオメトリーの相互作用を研究することのできる, トラクタブルな数学的モデルを提案する。 我々の主要な理論的貢献は、一般的な凸と非増加損失の下で、敵の経験的リスク最小化のための十分な統計量の正確な漸近的記述である。 その結果、ロバストネスと有用度測定値によって定義されるように、データのどの方向が高次一般化/ロバストネストレードオフと関連しているかを正確に特徴づけることができた。 特に、精度を損なうことなく防御できる方向の存在を明らかにする。 最後に、トレーニング中に非破壊的特徴を防御する利点を示し、一様保護を本質的に効果的な防御機構として同定する。

関連論文リスト

• Perturbation-Invariant Adversarial Training for Neural Ranking Models: Improving the Effectiveness-Robustness Trade-Off [107.35833747750446]
  正統な文書に不可避な摂動を加えることで 敵の例を作れます この脆弱性は信頼性に関する重大な懸念を生じさせ、NRMの展開を妨げている。 本研究では,NRMにおける有効・損耗トレードオフに関する理論的保証を確立する。
  論文  参考訳（メタデータ） (2023-12-16T05:38:39Z)
• Doubly Robust Instance-Reweighted Adversarial Training [107.40683655362285]
  本稿では,2重のインスタンス再重み付き対向フレームワークを提案する。 KL偏差正規化損失関数の最適化により重みを求める。 提案手法は, 平均ロバスト性能において, 最先端のベースライン法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2023-08-01T06:16:18Z)
• On Practical Aspects of Aggregation Defenses against Data Poisoning Attacks [58.718697580177356]
  悪意のあるトレーニングサンプルを持つディープラーニングモデルに対する攻撃は、データ中毒として知られている。 データ中毒に対する防衛戦略の最近の進歩は、認証された毒性の堅牢性を達成するためのアグリゲーション・スキームの有効性を強調している。 ここでは、Deep Partition Aggregation(ディープ・パーティション・アグリゲーション・アグリゲーション)、代表的アグリゲーション・ディフェンス(アグリゲーション・ディフェンス)に焦点を当て、効率、性能、堅牢性など、その実践的側面を評価する。
  論文  参考訳（メタデータ） (2023-06-28T17:59:35Z)
• Robust Transferable Feature Extractors: Learning to Defend Pre-Trained Networks Against White Box Adversaries [69.53730499849023]
  また, 予測誤差を誘導するために, 逆例を独立に学習した別のモデルに移すことが可能であることを示す。 本稿では,頑健な伝達可能な特徴抽出器(RTFE)と呼ばれる,ディープラーニングに基づく事前処理機構を提案する。
  論文  参考訳（メタデータ） (2022-09-14T21:09:34Z)
• Adversarially Robust Estimate and Risk Analysis in Linear Regression [17.931533943788335]
  反対に堅牢な学習は、入力変数の小さな反対の摂動に対して堅牢なアルゴリズムを設計することを目指している。 逆ロバストな推定器の収束率を統計的に最小化することで,モデル情報の導入の重要性を強調する。 本研究では, モデル構造情報を活用することで, 素直な2段階の対人学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-12-18T14:55:55Z)
• Trust but Verify: Assigning Prediction Credibility by Counterfactual Constrained Learning [123.3472310767721]
  予測信頼性尺度は統計学と機械学習において基本的なものである。 これらの措置は、実際に使用される多種多様なモデルを考慮に入れるべきである。 この研究で開発されたフレームワークは、リスクフィットのトレードオフとして信頼性を表現している。
  論文  参考訳（メタデータ） (2020-11-24T19:52:38Z)
• Asymptotic Behavior of Adversarial Training in Binary Classification [41.7567932118769]
  敵の訓練は、敵の攻撃に対する防衛の最先端の方法と考えられている。 実際に成功したにもかかわらず、敵の訓練のパフォーマンスを理解する上でのいくつかの問題は未解決のままである。 2進分類における対角訓練の最小化のための正確な理論的予測を導出する。
  論文  参考訳（メタデータ） (2020-10-26T01:44:20Z)
• On the Generalization Properties of Adversarial Training [21.79888306754263]
  本稿では,汎用的対数学習アルゴリズムの一般化性能について検討する。 滑らかさとL1のペナル化がモデルの対向的堅牢性をどのように改善するかを示すために、一連の数値的研究が行われた。
  論文  参考訳（メタデータ） (2020-08-15T02:32:09Z)
• Precise Tradeoffs in Adversarial Training for Linear Regression [55.764306209771405]
  本稿では,ガウス的特徴を伴う線形回帰の文脈における対人訓練の役割を,正確かつ包括的に理解する。 我々は,同時代のミニマックス対逆訓練手法によって達成された標準/ロバスト精度とそれに対応するトレードオフを正確に特徴づける。 逆行訓練アルゴリズムの理論は、様々な要因(トレーニングデータのサイズや品質、モデルの過度化など)がこれらの2つの競合するアキュラシー間のトレードオフにどのように影響するかを厳密に研究する上で役立ちます。
  論文  参考訳（メタデータ） (2020-02-24T19:01:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。