論文の概要: Transformer Interpretability from Perspective of Attention and Gradient

• arxiv url: http://arxiv.org/abs/2605.11392v1
• Date: Tue, 12 May 2026 01:28:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.512378
• Title: Transformer Interpretability from Perspective of Attention and Gradient
• Title（参考訳）: 注意とグラディエントの観点からの変圧器の解釈可能性
• Abstract要約: グラディエントはトランスフォーマーの解釈で広く利用されている。 そこで我々は,勾配方向,あるいはより正確には注意方向を導くことによって,それを実現する方法を提案する。
• 参考スコア（独自算出の注目度）: 47.816447130827555
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Although researchers' attention is more focused on the performance of Transformer models, the interpretation of Transformer can never be ignored. Gradient is widely utilized in Transformer interpretation. From the perspective of attention and gradient, we conduct an in-depth study of Transformer interpretation and propose a method to achieve it by guiding the gradient direction, or more precisely, the attention direction. The method enables more comprehensive interpretation of feature regions, offers detail interpretation, and helps to better understand Transformer mechanism. Leveraging the difference in how Vision Transformer (ViT) and humans perceive images, we alter the class of an image in a way that is almost imperceptible to the human eye. This class rewriting phenomenon may potentially pose security risks in certain scenarios.
• Abstract（参考訳）: 研究者の注意はトランスフォーマーモデルの性能に向けられているが、トランスフォーマーの解釈は無視できない。 グラディエントはトランスフォーマーの解釈で広く利用されている。 注意と勾配の観点から、トランスフォーマーの解釈の詳細な研究を行い、より正確には注意方向を導くことによってそれを実現する方法を提案する。 この方法は、機能領域のより包括的な解釈を可能にし、詳細解釈を提供し、Transformerメカニズムをよりよく理解するのに役立つ。 視覚変換器(ViT)と人間のイメージ知覚の違いを利用して、画像のクラスを人間の目にはほとんど知覚できない方法で変更する。 このクラス書き換え現象は、特定のシナリオでセキュリティリスクを引き起こす可能性がある。

関連論文リスト

• Disentangling Visual Transformers: Patch-level Interpretability for Image Classification [2.899118947717404]
  Hindered Transformer (HiT) を提案する。 HiTはパッチレベルの情報の線形結合と解釈できる。 説明可能性の観点から、我々のアプローチの利点は、パフォーマンスにおいて合理的なトレードオフをもたらすことを示しています。
  論文  参考訳（メタデータ） (2025-02-24T14:30:29Z)
• Inspecting Explainability of Transformer Models with Additional Statistical Information [24.064325847615546]
  Cheferらは、各イメージパッチの重要性を示すために注意層を組み合わせることで、視覚およびマルチモーダルタスク上のトランスフォーマーを効果的に可視化することができる。 しかし、Swin Transformerのような他の変種のTransformerに適用する場合、この方法は予測対象に集中できない。 本手法は,Swin Transformer と ViT が持つ説明可能性の理解に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-19T17:22:50Z)
• Vision Transformers for Computer Go [4.111084095218968]
  本研究では,視覚におけるトランスフォーマーの分析に焦点をあてる。 予測精度,勝利率,メモリ,スピード,サイズ,さらには学習率など,多数のポイントの詳細な分析を通じて,トランスフォーマーがGoのゲームで果たす重要な役割を明らかにすることができた。
  論文  参考訳（メタデータ） (2023-09-22T07:35:37Z)
• Image Deblurring by Exploring In-depth Properties of Transformer [86.7039249037193]
  我々は、事前訓練された視覚変換器(ViT)から抽出した深い特徴を活用し、定量的な測定値によって測定された性能を犠牲にすることなく、回復した画像のシャープ化を促進する。 得られた画像と対象画像の変換器特徴を比較することにより、事前学習された変換器は、高解像度のぼやけた意味情報を提供する。 特徴をベクトルとみなし、抽出された画像から抽出された表現とユークリッド空間における対象表現との差を計算する。
  論文  参考訳（メタデータ） (2023-03-24T14:14:25Z)
• Are More Layers Beneficial to Graph Transformers? [97.05661983225603]
  現在のグラフ変換器は、深さの増大によるパフォーマンス向上のボトルネックに悩まされている。 ディープグラフ変換器は、グローバルな注目の消滅能力によって制限されている。 本稿では,符号化表現に部分構造トークンを明示的に用いたDeepGraphという新しいグラフトランスフォーマーモデルを提案する。
  論文  参考訳（メタデータ） (2023-03-01T15:22:40Z)
• A Light Touch Approach to Teaching Transformers Multi-view Geometry [80.35521056416242]
  視覚変換器の多視点幾何学習を支援する「ライトタッチ」手法を提案する。 本研究では,トランスフォーマーのクロスアテンションマップの導出にエピポーラ線を用いる。 従来の方法とは異なり、我々の提案ではテスト時にカメラのポーズ情報を必要としない。
  論文  参考訳（メタデータ） (2022-11-28T07:54:06Z)
• XAI for Transformers: Better Explanations through Conservative Propagation [60.67748036747221]
  変換器の勾配は局所的にのみ関数を反映しており、入力特徴の予測への寄与を確実に識別できないことを示す。 我々の提案は、よく確立されたLPP法のトランスフォーマーへの適切な拡張と見なすことができる。
  論文  参考訳（メタデータ） (2022-02-15T10:47:11Z)
• Transformer visualization via dictionary learning: contextualized embedding as a linear superposition of transformer factors [15.348047288817478]
  我々は,変圧器因子の線形重ね合わせとして,辞書学習を用いて「ブラックボックス」を開くことを提案する。 可視化により,変換因子によって得られた階層的意味構造を実演する。 この視覚化ツールによって、トランスフォーマーネットワークの動作に関するさらなる知識と理解が得られればと思っています。
  論文  参考訳（メタデータ） (2021-03-29T20:51:33Z)
• A Survey on Visual Transformer [126.56860258176324]
  Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。 本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
  論文  参考訳（メタデータ） (2020-12-23T09:37:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。