論文の概要: Improving Adversarial Robustness of Attribution via Implicit Regularization

• arxiv url: http://arxiv.org/abs/2605.29983v1
• Date: Thu, 28 May 2026 14:19:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.384595
• Title: Improving Adversarial Robustness of Attribution via Implicit Regularization
• Title（参考訳）: 帰納規則化による属性の逆ロバスト性の改善
• Abstract要約: 属性の敵対的堅牢性は、深層学習における信頼性説明可能性の基本的な要件である。 我々は、標準勾配降下の学習力学から頑健性が暗黙的に生じることを示した。 本研究は,ロバストな説明可能性のための原理的かつ実践的なメカニズムとして,学習力学を強調した。
• 参考スコア（独自算出の注目度）: 9.78455276849371
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The adversarial robustness of attributions is a fundamental requirement for reliable explainability in deep learning, yet existing approaches typically rely on computationally expensive explicit regularization. In this work, we show that attribution robustness can arise implicitly from the learning dynamics of standard stochastic gradient descent. We theoretically motivate this effect through connections between parameter-space and input-space curvature, and validate it across architectures, datasets, and attribution methods, with negligible computational overhead. In contrast, we prove that such robustness gains often does not transfer to attention-based attribution under softmax normalization, due to inherent entropy constraints, and we validate this limitation experimentally. Finally, we show that replacing softmax attention with kernel-based attention restores the robustness gains in transformer models. Our results highlight learning dynamics as a principled and practical mechanism for robust explainability, and reveal fundamental limitations of attention-based attribution under normalization.
• Abstract（参考訳）: 属性の逆の堅牢性は深層学習における信頼性説明可能性の基本的な要件であるが、既存のアプローチは一般に計算に高価な明示的な正規化に依存している。 本研究では,標準確率勾配降下の学習力学から帰属ロバスト性が暗黙的に生じることを示す。 理論的には、パラメータ空間と入力空間の曲率の接続を通じてこの効果を動機付け、アーキテクチャ、データセット、帰属メソッドにまたがって、無視可能な計算オーバーヘッドで検証する。 対照的に、このようなロバスト性ゲインは、固有エントロピー制約により、ソフトマックス正規化の下で注意に基づく属性に遷移しないことが多いことを証明し、この制限を実験的に検証する。 最後に,ソフトマックスアテンションをカーネルベースアテンションに置き換えることで,トランスフォーマモデルにおけるロバスト性向上が回復することを示す。 本研究は,学習力学をロバストな説明可能性の原理的かつ実践的なメカニズムとして強調し,正規化下での注意に基づく帰属の基本的な限界を明らかにする。

関連論文リスト

• Explicit Dropout: Deterministic Regularization for Transformer Architectures [55.09895958546215]
  ドロップアウトはディープラーニングにおいて広く使われている正規化手法であるが、その効果は一般的にマスキングによって実現される。 トレーニング損失に直接組み込まれた加算正則化器としてドロップアウトを表現する決定論的定式化を提案する。
  論文  参考訳（メタデータ） (2026-04-22T12:45:51Z)
• Transformer Is Inherently a Causal Learner [27.79148022495734]
  自己回帰的に訓練されたトランスフォーマーは,時間遅れの因果構造を自然に符号化することを示す。 この関係を理論的に標準的な識別可能性条件下で証明する。 このアプローチは最先端の発見アルゴリズムの性能を大幅に上回る。
  論文  参考訳（メタデータ） (2026-01-09T09:10:04Z)
• Transformers Learn Faster with Semantic Focus [57.97235825738412]
  学習性と一般化の観点からスパース変圧器について検討する。 入力依存のスパースアテンションモデルは、標準アテンションモデルよりも早く収束し、より一般化しているように見える。
  論文  参考訳（メタデータ） (2025-06-17T01:19:28Z)
• In-Context Linear Regression Demystified: Training Dynamics and Mechanistic Interpretability of Multi-Head Softmax Attention [52.159541540613915]
  本研究では,マルチヘッド型ソフトマックスアテンションモデルを用いて,線形データを用いたコンテキスト内学習を行う方法について検討する。 この結果から,学習内容の学習能力は,そのアーキテクチャと基礎となるデータ分布の集約的効果として,訓練されたトランスフォーマーから出現することが明らかとなった。
  論文  参考訳（メタデータ） (2025-03-17T02:00:49Z)
• Regularization for Adversarial Robust Learning [18.46110328123008]
  我々は,$phi$-divergence正規化を分散ロバストなリスク関数に組み込む,対角訓練のための新しい手法を開発した。 この正規化は、元の定式化と比較して計算の顕著な改善をもたらす。 本研究では,教師付き学習,強化学習,文脈学習において提案手法の有効性を検証し,様々な攻撃に対して最先端の性能を示す。
  論文  参考訳（メタデータ） (2024-08-19T03:15:41Z)
• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
  逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)
• On the Robustness of Removal-Based Feature Attributions [17.679374058425346]
  我々は、除去に基づく特徴属性のロバスト性の特性を理論的に特徴づける。 具体的には、このような手法を統一的に分析し、無害な帰属と摂動した帰属の差について上界を導出する。 合成および実世界のデータによる結果から理論的結果が検証され,その実用的意義が実証された。
  論文  参考訳（メタデータ） (2023-06-12T23:33:13Z)
• Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
  強靭性と精度のトレードオフは、敵文学において広く研究されている。 局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。 定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
  論文  参考訳（メタデータ） (2022-02-21T10:36:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。