論文の概要: Understanding Sensitivity of Differential Attention through the Lens of Adversarial Robustness

• arxiv url: http://arxiv.org/abs/2510.00517v1
• Date: Wed, 01 Oct 2025 05:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-03 16:59:20.391908
• Title: Understanding Sensitivity of Differential Attention through the Lens of Adversarial Robustness
• Title（参考訳）: 対向性ロバスト性レンズによる差分注意の感度の理解
• Authors: Tsubasa Takahashi, Shojiro Yamabe, Futa Waseda, Kento Sasaki,
• Abstract要約: 差分注意(DA)は、標準的注意を喚起するための改良として提案されている。 DAは対向性摂動下での構造的不安定性を示す。 ViT/DiffViTの系統実験と事前学習したCLIP/DiffCLIPの評価により,このFragile原則を実証的に検証した。
• 参考スコア（独自算出の注目度）: 5.716454975957338
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differential Attention (DA) has been proposed as a refinement to standard attention, suppressing redundant or noisy context through a subtractive structure and thereby reducing contextual hallucination. While this design sharpens task-relevant focus, we show that it also introduces a structural fragility under adversarial perturbations. Our theoretical analysis identifies negative gradient alignment-a configuration encouraged by DA's subtraction-as the key driver of sensitivity amplification, leading to increased gradient norms and elevated local Lipschitz constants. We empirically validate this Fragile Principle through systematic experiments on ViT/DiffViT and evaluations of pretrained CLIP/DiffCLIP, spanning five datasets in total. These results demonstrate higher attack success rates, frequent gradient opposition, and stronger local sensitivity compared to standard attention. Furthermore, depth-dependent experiments reveal a robustness crossover: stacking DA layers attenuates small perturbations via depth-dependent noise cancellation, though this protection fades under larger attack budgets. Overall, our findings uncover a fundamental trade-off: DA improves discriminative focus on clean inputs but increases adversarial vulnerability, underscoring the need to jointly design for selectivity and robustness in future attention mechanisms.
• Abstract（参考訳）: 差分注意(DA)は、標準的な注意の洗練として提案され、抽出構造を介して冗長またはノイズの文脈を抑え、文脈幻覚を減少させる。 この設計はタスク関連焦点を鋭くするが、対向的摂動下での構造的不安定性ももたらしていることを示す。 我々の理論解析では、DAの減算によって促進される負の勾配アライメントAを感度増幅のキードライバとして同定し、勾配ノルムの増大と局所リプシッツ定数の上昇につながった。 ViT/DiffViTの系統実験と事前学習したCLIP/DiffCLIPの評価を通じて、このFragile Principleを実証的に検証し、合計5つのデータセットにまたがる。 これらの結果から, 攻撃成功率の上昇, 頻繁な緩やかな反対, 局所感度の低下が認められた。 DA層を積み重ねることによって、奥行き依存ノイズキャンセリングによって小さな摂動が減衰するが、この保護はより大きな攻撃予算の下では失われる。 DAは、クリーンな入力に対する差別的焦点を改善するが、敵の脆弱性を増大させ、将来の注意機構における選択性と堅牢性を共同で設計する必要性を浮き彫りにする。

関連論文リスト

• Curriculum-Guided Antifragile Reinforcement Learning for Secure UAV Deconfliction under Observation-Space Attacks [6.367978467906828]
  強化学習政策は、観測空間における敵の攻撃に対して脆弱である。 本稿では,段階的対向摂動のカリキュラムに適応するために設計された反フレジブルなRLフレームワークを提案する。 その結果, 反フランジ政策は標準およびロバストなRLベースラインよりも一貫して優れていた。
  論文  参考訳（メタデータ） (2025-06-26T10:10:41Z)
• Dynamic Attention-Guided Context Decoding for Mitigating Context Faithfulness Hallucinations in Large Language Models [26.51079570548107]
  大型言語モデル (LLM) は、しばしば文脈に忠実な幻覚を示す。 単一パスデコーディングにおける注意分布と不確実性信号を利用する軽量なフレームワークである動的注意誘導コンテキストデコーディング(DAGCD)を提案する。
  論文  参考訳（メタデータ） (2025-01-02T05:07:06Z)
• Breaking the Bias: Recalibrating the Attention of Industrial Anomaly Detection [20.651257973799527]
  RAAD(Recalibrating Attention of Industrial Anomaly Detection)は、アテンションマップを系統的に分解・再分類するフレームワークである。 HQSは、アテンションマップの階層性に基づいてビット幅を動的に調整する。 一つの3090tiを用いて,32データセットに対するRAADの有効性を検証した。
  論文  参考訳（メタデータ） (2024-12-11T08:31:47Z)
• Source-Free Domain Adaptive Object Detection with Semantics Compensation [54.00183496587841]
  Weak-to-strong Semantics Compensation (WSCo)を導入する。 WSCoは、クラス関連セマンティクスを補う。 WSCoは一般的なプラグインとして実装することができ、既存のSFODパイプラインと容易に統合できます。
  論文  参考訳（メタデータ） (2024-10-07T23:32:06Z)
• Layer-Aware Analysis of Catastrophic Overfitting: Revealing the Pseudo-Robust Shortcut Dependency [61.394997313144394]
  カタストロフィックオーバーフィッティング(CO)は単段階逆行訓練(AT)において重要な課題となる また,CO中において,前層はより感受性が高く,より早く,より歪みが強く,後者層は相対的不感度を示した。 提案手法であるLayer-Aware Adversarial Weight Perturbation (LAP)は,COを効果的に防止し,ロバスト性を高める。
  論文  参考訳（メタデータ） (2024-05-25T14:56:30Z)
• Preventing Collapse in Contrastive Learning with Orthonormal Prototypes (CLOP) [0.0]
  CLOPは、クラス埋め込み間の線形部分空間の形成を促進することにより、神経崩壊を防止するために設計された、新しい半教師付き損失関数である。 CLOPは性能を向上し,学習速度やバッチサイズにまたがる安定性が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-27T15:48:16Z)
• Soft ascent-descent as a stable and flexible alternative to flooding [6.527016551650139]
  我々は,軟化・ポイントワイド機構であるSoftADを提案する。この機構は,降水量と降水量の影響を制限し,洪水の上昇・昇華効果を維持できる。 我々は,より小さな損失一般化ギャップとモデル規範を享受しながら,浸水と競合する分類精度をSoftADが実現できることを実証する。
  論文  参考訳（メタデータ） (2023-10-16T02:02:56Z)
• Calibrating Undisciplined Over-Smoothing in Transformer for Weakly Supervised Semantic Segmentation [51.14107156747967]
  弱教師付きセマンティックセマンティックセマンティクス(WSSS)は、完全な教師付きアプローチよりもアノテーションが少ないため、かなりの注目を集めている。 本研究では,非学際的な過密化に対する深い注意を抑えるための適応的再活性化機構 (AReAM) を提案する。 AReAMは既存のWSSS手法と比較してセグメンテーション性能を大幅に改善し、ノイズを低減し、関連するセマンティック領域に焦点を絞る。
  論文  参考訳（メタデータ） (2023-05-04T19:11:33Z)
• Exploring Robustness of Unsupervised Domain Adaptation in Semantic Segmentation [74.05906222376608]
  クリーンな画像とそれらの逆の例との一致を、出力空間における対照的な損失によって最大化する、逆向きの自己スーパービジョンUDA(ASSUDA)を提案する。 i) セマンティックセグメンテーションにおけるUDA手法のロバスト性は未解明のままであり, (ii) 一般的に自己スーパービジョン(回転やジグソーなど) は分類や認識などのイメージタスクに有効であるが, セグメンテーションタスクの識別的表現を学習する重要な監視信号の提供には失敗している。
  論文  参考訳（メタデータ） (2021-05-23T01:50:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。