論文の概要: The Uncanny Valley: Exploring Adversarial Robustness from a Flatness Perspective

• arxiv url: http://arxiv.org/abs/2405.16918v1
• Date: Mon, 27 May 2024 08:10:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 16:31:14.607662
• Title: The Uncanny Valley: Exploring Adversarial Robustness from a Flatness Perspective
• Title（参考訳）: 不安定な谷 - 平坦性の観点からの敵対的ロバスト性を探る
• Authors: Nils Philipp Walter, Linara Adilova, Jilles Vreeken, Michael Kamp,
• Abstract要約: 損失面の平坦性は、一般化と正の相関を持つだけでなく、対向的堅牢性にも関係している。 本稿では,1層のパラメータに対する逆例と相対平坦度の関係を実証的に解析する。
• 参考スコア（独自算出の注目度）: 34.55229189445268
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Flatness of the loss surface not only correlates positively with generalization but is also related to adversarial robustness, since perturbations of inputs relate non-linearly to perturbations of weights. In this paper, we empirically analyze the relation between adversarial examples and relative flatness with respect to the parameters of one layer. We observe a peculiar property of adversarial examples: during an iterative first-order white-box attack, the flatness of the loss surface measured around the adversarial example first becomes sharper until the label is flipped, but if we keep the attack running it runs into a flat uncanny valley where the label remains flipped. We find this phenomenon across various model architectures and datasets. Our results also extend to large language models (LLMs), but due to the discrete nature of the input space and comparatively weak attacks, the adversarial examples rarely reach a truly flat region. Most importantly, this phenomenon shows that flatness alone cannot explain adversarial robustness unless we can also guarantee the behavior of the function around the examples. We theoretically connect relative flatness to adversarial robustness by bounding the third derivative of the loss surface, underlining the need for flatness in combination with a low global Lipschitz constant for a robust model.
• Abstract（参考訳）: 損失面の平坦性は一般化と正に相関するだけでなく、入力の摂動は重みの摂動に非直線的に関係するため、逆の堅牢性にも関係する。 本稿では,1層のパラメータに対する逆例と相対平坦度の関係を実証的に解析する。 反復的な一階のホワイトボックス攻撃において, ラベルが反転するまでは, ラベルの周囲で測定された損失面の平坦度は, ラベルが反転するまでシャープになるが, 攻撃を継続すると, ラベルが反転し続ける平らな谷にぶつかる。 この現象は、さまざまなモデルアーキテクチャやデータセットで見られます。 実験結果は大規模言語モデル (LLM) にも拡張されるが, 入力空間の離散性や比較的弱い攻撃により, 敵対例が真に平坦な領域に到達することは滅多にない。 最も重要なことに、この現象は平坦性だけでは、例の周りの函数の挙動を保証できない限り、逆の強靭性を説明することができないことを示している。 我々は、ロバストモデルに対する低大域リプシッツ定数と組み合わさって、損失曲面の第3微分をバウンドすることで、相対平坦性と対向ロバスト性とを理論的に結合する。

関連論文リスト

• Effect of Ambient-Intrinsic Dimension Gap on Adversarial Vulnerability [13.196433643727792]
  オフマンフォールド攻撃の存在は、データの内在次元と周囲次元の間の次元ギャップの自然な結果であると主張する。 2層ReLUネットワークの場合、次元ギャップが観測データ空間から引き出されたサンプルの一般化性能に影響を与えないにもかかわらず、クリーントレーニングされたモデルはオフマンフォールド方向の摂動に対してより脆弱であることを示す。
  論文  参考訳（メタデータ） (2024-03-06T15:41:21Z)
• A High Dimensional Statistical Model for Adversarial Training: Geometry and Trade-Offs [23.132536217316073]
  本稿では,データと敵の攻撃的ジオメトリ間の相互作用を研究することのできる,引き込み可能な数学的モデルを提案する。 我々の主な理論的貢献は、敵の経験的リスク最小化のための十分な統計の正確な記述である。 トレーニング中に非破壊的特徴を防御する利点を示し、一様保護を本質的に効果的な防御機構として同定する。
  論文  参考訳（メタデータ） (2024-02-08T13:52:35Z)
• Benign Overfitting in Adversarially Robust Linear Classification [91.42259226639837]
  分類器がノイズの多いトレーニングデータを記憶しながらも、優れた一般化性能を達成している「双曲オーバーフィッティング」は、機械学習コミュニティにおいて大きな注目を集めている。 本研究は, 対人訓練において, 対人訓練において, 良心過剰が実際に発生することを示し, 対人訓練に対する防御の原則的アプローチを示す。
  論文  参考訳（メタデータ） (2021-12-31T00:27:31Z)
• A Frequency Perspective of Adversarial Robustness [72.48178241090149]
  理論的および経験的知見を参考に,周波数に基づく対向例の理解について述べる。 分析の結果,逆転例は高周波でも低周波成分でもないが,単にデータセット依存であることがわかった。 本稿では、一般に観測される精度対ロバスト性トレードオフの周波数に基づく説明法を提案する。
  論文  参考訳（メタデータ） (2021-10-26T19:12:34Z)
• Classification and Adversarial examples in an Overparameterized Linear Model: A Signal Processing Perspective [10.515544361834241]
  最先端のディープラーニング分類器は、無限の逆境摂動に非常に敏感である。 学習されたモデルは、分類が一般化するが回帰はしない中間体制の敵に感受性がある。 敵対的感受性にもかかわらず、これらの特徴による分類は、より一般的に研究されている「非依存的特徴」モデルよりも容易である。
  論文  参考訳（メタデータ） (2021-09-27T17:35:42Z)
• The Interplay Between Implicit Bias and Benign Overfitting in Two-Layer Linear Networks [51.1848572349154]
  ノイズの多いデータに完全に適合するニューラルネットワークモデルは、見当たらないテストデータにうまく一般化できる。 我々は,2層線形ニューラルネットワークを2乗損失の勾配流で補間し,余剰リスクを導出する。
  論文  参考訳（メタデータ） (2021-08-25T22:01:01Z)
• Relating Adversarially Robust Generalization to Flat Minima [138.59125287276194]
  対戦訓練(AT)は、敵の例に対して堅牢なモデルを得るためのデファクトスタンダードとなっている。 重み空間におけるロバスト一般化とロバスト損失景観の平坦性の関係について検討した。
  論文  参考訳（メタデータ） (2021-04-09T15:55:01Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。