論文の概要: Transformer Interpretability from Perspective of Attention and Gradient

• arxiv url: http://arxiv.org/abs/2605.11392v1
• Date: Tue, 12 May 2026 01:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.512378
• Title: Transformer Interpretability from Perspective of Attention and Gradient
• Title（参考訳）: 注意とグラディエントの観点からの変圧器の解釈可能性
• Authors: Yongjin Cui, Xiaohui Fan, Huajun Chen,
• Abstract要約: グラディエントはトランスフォーマーの解釈で広く利用されている。 そこで我々は,勾配方向,あるいはより正確には注意方向を導くことによって,それを実現する方法を提案する。
• 参考スコア（独自算出の注目度）: 47.816447130827555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although researchers' attention is more focused on the performance of Transformer models, the interpretation of Transformer can never be ignored. Gradient is widely utilized in Transformer interpretation. From the perspective of attention and gradient, we conduct an in-depth study of Transformer interpretation and propose a method to achieve it by guiding the gradient direction, or more precisely, the attention direction. The method enables more comprehensive interpretation of feature regions, offers detail interpretation, and helps to better understand Transformer mechanism. Leveraging the difference in how Vision Transformer (ViT) and humans perceive images, we alter the class of an image in a way that is almost imperceptible to the human eye. This class rewriting phenomenon may potentially pose security risks in certain scenarios.
• Abstract（参考訳）: 研究者の注意はトランスフォーマーモデルの性能に向けられているが、トランスフォーマーの解釈は無視できない。 グラディエントはトランスフォーマーの解釈で広く利用されている。 注意と勾配の観点から、トランスフォーマーの解釈の詳細な研究を行い、より正確には注意方向を導くことによってそれを実現する方法を提案する。 この方法は、機能領域のより包括的な解釈を可能にし、詳細解釈を提供し、Transformerメカニズムをよりよく理解するのに役立つ。 視覚変換器(ViT)と人間のイメージ知覚の違いを利用して、画像のクラスを人間の目にはほとんど知覚できない方法で変更する。 このクラス書き換え現象は、特定のシナリオでセキュリティリスクを引き起こす可能性がある。

関連論文リスト

• Disentangling Visual Transformers: Patch-level Interpretability for Image Classification [2.899118947717404]
  Hindered Transformer (HiT) を提案する。 HiTはパッチレベルの情報の線形結合と解釈できる。 説明可能性の観点から、我々のアプローチの利点は、パフォーマンスにおいて合理的なトレードオフをもたらすことを示しています。
  論文  参考訳（メタデータ） (2025-02-24T14:30:29Z)
• Inspecting Explainability of Transformer Models with Additional Statistical Information [24.064325847615546]
  Cheferらは、各イメージパッチの重要性を示すために注意層を組み合わせることで、視覚およびマルチモーダルタスク上のトランスフォーマーを効果的に可視化することができる。 しかし、Swin Transformerのような他の変種のTransformerに適用する場合、この方法は予測対象に集中できない。 本手法は,Swin Transformer と ViT が持つ説明可能性の理解に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-19T17:22:50Z)
• A Light Touch Approach to Teaching Transformers Multi-view Geometry [80.35521056416242]
  視覚変換器の多視点幾何学習を支援する「ライトタッチ」手法を提案する。 本研究では,トランスフォーマーのクロスアテンションマップの導出にエピポーラ線を用いる。 従来の方法とは異なり、我々の提案ではテスト時にカメラのポーズ情報を必要としない。
  論文  参考訳（メタデータ） (2022-11-28T07:54:06Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• A Survey on Visual Transformer [126.56860258176324]
  Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。 本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
  論文  参考訳（メタデータ） (2020-12-23T09:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。