論文の概要: The Explainability Illusion: Must ViTs Exhibit Patch-Decoding Interpretability?
- arxiv url: http://arxiv.org/abs/2610.25289v1
- Date: Sun, 18 Oct 2026 14:10:50 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:05:14.552272
- Title: The Explainability Illusion: Must ViTs Exhibit Patch-Decoding Interpretability?
- Title（参考訳）: 説明可能性のイラシオン: Vit ViTs Exhibit Patch-Decoding Interpretability?
- Abstract要約: 各種視覚変換器(ViT)設定におけるトークン・デコード説明可能性について系統的に検討する。
整合性と解釈可能なトークンデコーディングを示すモデルもあるが、逆説明可能性マップや画像意味論との相関の完全な欠如を示すモデルもある。
- 参考スコア（独自算出の注目度）: 38.56192053844462
- License:
- Abstract: Transformers are widely assumed to exhibit token-decoding explainability. In particular, in vision transformer (ViT) classifiers, decoding individual patch tokens has become a common diagnostic tool due to its tendency to yield human-interpretable outputs. In light of the increasing popularity of this approach, an important question is whether token-decoding explainability is an inherent property of transformers that should be expected to hold across architectures, scales, and training objectives, or merely an artifact of some implicit bias. In this paper we systematically study token-decoding explainability across diverse ViT settings, spanning architectures, scales, and training objectives, using both controlled experiments and real-world models. We find that while some models indeed exhibit aligned and interpretable token decodings, others exhibit either inverted explainability maps or a complete lack of correlation with the image semantics. As we show, these tendencies toward different explainability behaviors are not intrinsic to the architecture and can vary arbitrarily with changes in the optimization landscape. We provide theoretical support for these observations by demonstrating a setting where a single fixed toy transformer architecture can provably implement the optimal classification rule in multiple ways, which differ in their patch-decoding explainability patterns. Our results show that token-decoding explainability is not an inherent property of trained transformers, but rather an outcome contingent on the problem setting and thus should not be a-priori assumed to hold. Code can be found in https://ronensc.github.io/Explainability-Illusion/ .
- Abstract（参考訳）: トランスフォーマーはトークン復号性を示すと広く想定されている。
特に視覚変換器(ViT)分類器では、個々のパッチトークンを復号化することは、人間の解釈可能な出力をもたらす傾向があるため、一般的な診断ツールとなっている。
このアプローチの人気が高まる中で、重要な疑問は、トークンデコーディングの説明可能性が、アーキテクチャ、スケール、トレーニング目標にまたがって保持されるべきトランスフォーマーの固有の特性なのか、それとも単に暗黙のバイアスの成果物なのかである。
本稿では,様々なViT設定,アーキテクチャ,スケール,トレーニング目標を横断するトークン記述性について,制御された実験と実世界のモデルの両方を用いて,体系的に研究する。
整合性と解釈可能なトークンデコーディングを示すモデルもあるが、逆説明可能性マップや画像意味論との相関の完全な欠如を示すモデルもある。
このように、異なる説明可能性行動に対するこれらの傾向は、アーキテクチャに固有のものではなく、最適化の状況の変化と任意に異なる可能性がある。
単一固定玩具変圧器アーキテクチャが複数の方法で最適な分類規則を具現化可能であることを示すことにより,これらの観察を理論的に支援する。
以上の結果から,トークン復号性は訓練されたトランスフォーマーの固有の性質ではなく,問題設定に起因した結果であり,従ってアプリオリが成り立つべきではないことが示唆された。
コードはhttps://ronensc.github.io/Explainability-Illusion/にある。
関連論文リスト
- Pattern Formation in Transformers [29.555581122914727]
変換器の動的ビューは位置を考慮できることを示す。
注意、多面的注意、出力値幾何学。
我々は,どのパターンが増幅され,どのパターンが安定化し,競合し,共存するかを制御する上で,各アーキテクチャコンポーネントの役割を特徴づける。
論文 参考訳（メタデータ） (2026-09-29T16:15:15Z) - Lost in Tokenization: Fundamental Trade-offs in Graph Tokenization for Transformers [50.98108117044413]
グラフ・ツー・トケン写像の選択は変換器の表現性の基本成分であることを示す。
既存の多くのグラフトークン化のためのビルディングブロックとして機能する3つのトークン化(スペクトル、ランダムウォーク、隣接トークン化)について検討する。
論文 参考訳（メタデータ） (2026-05-21T13:32:20Z) - Emergent Semantics Beyond Token Embeddings: Transformer LMs with Frozen Visual Unicode Representations [1.0152838128195467]
埋め込み層が完全に凍結されたTransformerモデルを構築します。
我々の手法は、Unicode中心の新しいトークン化器を含む任意のトークン化器と互換性がある。
トレーニング可能なセマンティックな埋め込みがないにもかかわらず、私たちのモデルは収束し、一貫性のあるテキストを生成します。
論文 参考訳（メタデータ） (2025-07-07T11:17:32Z) - How Transformers Learn Causal Structure with Gradient Descent [44.31729147722701]
自己注意はトランスフォーマーが因果構造をエンコードすることを可能にする。
我々は、潜在因果構造を学習する必要があるコンテキスト内学習タスクを導入する。
我々は、文脈内学習タスクで訓練されたトランスフォーマーが、様々な因果構造を回復できることを示す。
論文 参考訳（メタデータ） (2024-02-22T17:47:03Z) - How Do Transformers Learn Topic Structure: Towards a Mechanistic
Understanding [56.222097640468306]
我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する
数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
論文 参考訳（メタデータ） (2023-03-07T21:42:17Z) - What Makes for Good Tokenizers in Vision Transformer? [62.44987486771936]
変圧器は自己注意を用いて対関係を抽出することができる。
優れたトークンライザとなるものは、コンピュータビジョンではよく理解されていない。
Tokens (MoTo) を横断する変調は、正規化によるトークン間モデリング機能を備えている。
TokenPropの正規化対象は、標準トレーニング体制で採用されている。
論文 参考訳（メタデータ） (2022-12-21T15:51:43Z) - AAformer: Auto-Aligned Transformer for Person Re-Identification [82.45385078624301]
トランスアーキテクチャにおけるアライメント方式を初めて導入する。
本研究では,人体と非人体の両方をパッチレベルで自動的に検出する自動整列トランス (AAformer) を提案する。
AAformerは、部分アライメントを自己アテンションに統合し、出力[PART]を直接検索する機能として使用することができる。
論文 参考訳（メタデータ） (2021-04-02T08:00:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。