論文の概要: When Flatness Does (Not) Guarantee Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2510.14231v1
• Date: Thu, 16 Oct 2025 02:15:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-17 21:15:14.679315
• Title: When Flatness Does (Not) Guarantee Adversarial Robustness
• Title（参考訳）: フラットネスが逆境ロバスト性を保証するとき(ノー)
• Authors: Nils Philipp Walter, Linara Adilova, Jilles Vreeken, Michael Kamp,
• Abstract要約: 長期にわたる仮説は、損失ランドスケープの低曲率領域である平坦なミニマは、ロバスト性を高めることを示唆している。 平坦性は局所性を意味するが、大域的対角強靭性は含まない。 局所的な近傍を超えて堅牢性を維持するためには、損失はデータ多様体から急激に遠ざかる必要がある。
• 参考スコア（独自算出の注目度）: 36.37081978915738
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite their empirical success, neural networks remain vulnerable to small, adversarial perturbations. A longstanding hypothesis suggests that flat minima, regions of low curvature in the loss landscape, offer increased robustness. While intuitive, this connection has remained largely informal and incomplete. By rigorously formalizing the relationship, we show this intuition is only partially correct: flatness implies local but not global adversarial robustness. To arrive at this result, we first derive a closed-form expression for relative flatness in the penultimate layer, and then show we can use this to constrain the variation of the loss in input space. This allows us to formally analyze the adversarial robustness of the entire network. We then show that to maintain robustness beyond a local neighborhood, the loss needs to curve sharply away from the data manifold. We validate our theoretical predictions empirically across architectures and datasets, uncovering the geometric structure that governs adversarial vulnerability, and linking flatness to model confidence: adversarial examples often lie in large, flat regions where the model is confidently wrong. Our results challenge simplified views of flatness and provide a nuanced understanding of its role in robustness.
• Abstract（参考訳）: 経験的な成功にもかかわらず、ニューラルネットワークは小さな対向的な摂動に弱いままである。 長期にわたる仮説は、損失ランドスケープの低曲率領域である平坦なミニマは、ロバスト性を高めることを示唆している。 直感的ではあるが、この接続はほとんど非公式で不完全なままである。 関係を厳密に定式化することによって、この直観は部分的に正しいことしか示さない:平坦性は局所的ではあるが大域的対向的強靭性を意味する。 この結果に到達するために、まず、垂直層内の相対平坦性を表す閉形式式を導出し、次に入力空間における損失の変動を制限するためにこれを利用することを示す。 これにより,ネットワーク全体の対角的ロバスト性を解析することが可能となる。 次に、局所的な近傍を超えてロバスト性を維持するためには、損失はデータ多様体から急激に遠ざかる必要があることを示す。 我々は、アーキテクチャやデータセット間で実証的な理論予測を検証し、敵の脆弱性を支配する幾何学的構造を明らかにし、フラットネスをモデル信頼性にリンクする: 敵の例は、モデルが確実に間違っている大きな平坦な領域にしばしば存在する。 結果は平坦性の簡易な見方に挑戦し、頑健性におけるその役割の微妙な理解を提供する。

関連論文リスト

• Flatness After All? [6.977444416330261]
  我々は、ヘッセンの柔らかいランク測度を用いて平坦度を測定することで一般化を評価することができると論じる。 非校正モデルでは、ソフトランクに基づく平坦度尺度をよく知られた竹内情報基準に接続する。
  論文  参考訳（メタデータ） (2025-06-21T20:33:36Z)
• The Uncanny Valley: Exploring Adversarial Robustness from a Flatness Perspective [34.55229189445268]
  損失面の平坦性は、一般化と正の相関を持つだけでなく、対向的堅牢性にも関係している。 本稿では,1層のパラメータに対する逆例と相対平坦度の関係を実証的に解析する。
  論文  参考訳（メタデータ） (2024-05-27T08:10:46Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• On the Robustness of Neural Collapse and the Neural Collapse of Robustness [6.227447957721122]
  ニューラル・コラプス(Neural Collapse)は、ニューラルネットワークのトレーニングの終盤において、特徴ベクトルと分類重みが非常に単純な幾何学的配置(単純度)に収束する奇妙な現象を指す。 これらの単純さの安定性について検討し、単純な構造は小さな対角攻撃によって消失することを示した。 我々は、ロバストな機械学習モデルと非ロバストな機械学習モデルの斬新な特性を識別し、以前の階層とは異なり、摂動データに対する信頼性の高い単純化を維持していることを示す。
  論文  参考訳（メタデータ） (2023-11-13T16:18:58Z)
• On the (Un-)Avoidability of Adversarial Examples [4.822598110892847]
  ディープラーニングモデルの逆例は、その信頼性に大きな懸念を引き起こしている。 小摂動下でのモデルラベルの変更が正当化されるかどうかを決定するためのフレームワークを提供する。 適応的なデータ拡張は、決定論的ラベルの下で1-アレスト近傍の分類の整合性を維持していることを示す。
  論文  参考訳（メタデータ） (2021-06-24T21:35:25Z)
• Relating Adversarially Robust Generalization to Flat Minima [138.59125287276194]
  対戦訓練(AT)は、敵の例に対して堅牢なモデルを得るためのデファクトスタンダードとなっている。 重み空間におけるロバスト一般化とロバスト損失景観の平坦性の関係について検討した。
  論文  参考訳（メタデータ） (2021-04-09T15:55:01Z)
• Adversarial Robustness under Long-Tailed Distribution [93.50792075460336]
  敵対的ロバスト性はディープネットワークの脆弱性と本質的特徴を明らかにすることで近年広く研究されている。 本研究では,長尾分布下における敵対的脆弱性と防御について検討する。 我々は、スケール不変とデータ再分散という2つの専用モジュールからなるクリーンで効果的なフレームワークであるRoBalを提案する。
  論文  参考訳（メタデータ） (2021-04-06T17:53:08Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Bridging Mode Connectivity in Loss Landscapes and Adversarial Robustness [97.67477497115163]
  我々は、モード接続を用いて、ディープニューラルネットワークの対角的堅牢性を研究する。 実験では、異なるネットワークアーキテクチャやデータセットに適用される様々な種類の敵攻撃について取り上げる。 以上の結果から,モード接続は,敵の強靭性を評価・改善するための総合的なツールであり,実用的な手段であることが示唆された。
  論文  参考訳（メタデータ） (2020-04-30T19:12:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。