論文の概要: Improving Adversarial Robustness of Attribution via Implicit Regularization

• arxiv url: http://arxiv.org/abs/2605.29983v1
• Date: Thu, 28 May 2026 14:19:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.384595
• Title: Improving Adversarial Robustness of Attribution via Implicit Regularization
• Title（参考訳）: 帰納規則化による属性の逆ロバスト性の改善
• Authors: Amir Mehrpanah, Matteo Gamba, Hossein Azizpour,
• Abstract要約: 属性の敵対的堅牢性は、深層学習における信頼性説明可能性の基本的な要件である。 我々は、標準勾配降下の学習力学から頑健性が暗黙的に生じることを示した。 本研究は,ロバストな説明可能性のための原理的かつ実践的なメカニズムとして,学習力学を強調した。
• 参考スコア（独自算出の注目度）: 9.78455276849371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The adversarial robustness of attributions is a fundamental requirement for reliable explainability in deep learning, yet existing approaches typically rely on computationally expensive explicit regularization. In this work, we show that attribution robustness can arise implicitly from the learning dynamics of standard stochastic gradient descent. We theoretically motivate this effect through connections between parameter-space and input-space curvature, and validate it across architectures, datasets, and attribution methods, with negligible computational overhead. In contrast, we prove that such robustness gains often does not transfer to attention-based attribution under softmax normalization, due to inherent entropy constraints, and we validate this limitation experimentally. Finally, we show that replacing softmax attention with kernel-based attention restores the robustness gains in transformer models. Our results highlight learning dynamics as a principled and practical mechanism for robust explainability, and reveal fundamental limitations of attention-based attribution under normalization.
• Abstract（参考訳）: 属性の逆の堅牢性は深層学習における信頼性説明可能性の基本的な要件であるが、既存のアプローチは一般に計算に高価な明示的な正規化に依存している。 本研究では,標準確率勾配降下の学習力学から帰属ロバスト性が暗黙的に生じることを示す。 理論的には、パラメータ空間と入力空間の曲率の接続を通じてこの効果を動機付け、アーキテクチャ、データセット、帰属メソッドにまたがって、無視可能な計算オーバーヘッドで検証する。 対照的に、このようなロバスト性ゲインは、固有エントロピー制約により、ソフトマックス正規化の下で注意に基づく属性に遷移しないことが多いことを証明し、この制限を実験的に検証する。 最後に,ソフトマックスアテンションをカーネルベースアテンションに置き換えることで,トランスフォーマモデルにおけるロバスト性向上が回復することを示す。 本研究は,学習力学をロバストな説明可能性の原理的かつ実践的なメカニズムとして強調し,正規化下での注意に基づく帰属の基本的な限界を明らかにする。

関連論文リスト

• Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
  ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。 トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
  論文  参考訳（メタデータ） (2026-04-22T12:45:51Z)
• Transformers Learn Faster with Semantic Focus [57.97235825738412]
  学習性と一般化の観点からスパース変圧器について検討する。 入力依存のスパースアテンションモデルは、標準アテンションモデルよりも早く収束し、より一般化しているように見える。
  論文  参考訳（メタデータ） (2025-06-17T01:19:28Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
  逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。