論文の概要: Interpreting vision transformers via residual replacement model

• arxiv url: http://arxiv.org/abs/2509.17401v1
• Date: Mon, 22 Sep 2025 07:00:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-23 18:58:16.248488
• Title: Interpreting vision transformers via residual replacement model
• Title（参考訳）: 残差置換モデルによる視覚変換器の解釈
• Authors: Jinyeong Kim, Junhyeok Kim, Yumin Shim, Joohyeok Kim, Sunyoung Jung, Seong Jae Hwang,
• Abstract要約: ビジョントランスフォーマー(ViT)はどのように世界を表現するのか? 本稿は、すべての層にまたがる6.6K機能の最初の体系的解析を通じて、この長年にわたる問題に対処する。 残差ストリームの解釈可能な特徴をViT計算に置き換える残差置換モデルを提案する。
• 参考スコア（独自算出の注目度）: 8.97847158738423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: How do vision transformers (ViTs) represent and process the world? This paper addresses this long-standing question through the first systematic analysis of 6.6K features across all layers, extracted via sparse autoencoders, and by introducing the residual replacement model, which replaces ViT computations with interpretable features in the residual stream. Our analysis reveals not only a feature evolution from low-level patterns to high-level semantics, but also how ViTs encode curves and spatial positions through specialized feature types. The residual replacement model scalably produces a faithful yet parsimonious circuit for human-scale interpretability by significantly simplifying the original computations. As a result, this framework enables intuitive understanding of ViT mechanisms. Finally, we demonstrate the utility of our framework in debiasing spurious correlations.
• Abstract（参考訳）: ビジョントランスフォーマー(ViT)はどのように世界を表現するのか? 本稿では,全層にまたがる6.6Kの機能を解析し,スパースオートエンコーダを用いて抽出し,ViT計算を残差ストリームの解釈可能な特徴に置き換える残差置換モデルを導入することで,この長期的課題に対処する。 我々の分析では、低レベルのパターンから高レベルのセマンティクスへの特徴進化だけでなく、ViTが特殊な特徴型を通して曲線や空間位置をエンコードする方法も明らかにしている。 残余の置換モデルは、元の計算を著しく単純化することにより、人間のスケールで解釈可能な忠実な回路を確実に生成する。 その結果、このフレームワークはViT機構の直感的な理解を可能にする。 最後に,我々のフレームワークが突発的相関性を損なうことを実証する。

関連論文リスト

• Entropy-Lens: The Information Signature of Transformer Computations [14.613982627206884]
  語彙空間におけるトークンレベルの分布の進化を直接研究する。 我々は,各中間予測分布のシャノンエントロピーを計算し,各層に1つの解釈可能なスカラーを与える。 本稿では, 既成の冷凍変圧器からエントロピープロファイルを抽出するモデルに依存しないフレームワークであるEntropy-Lensを紹介する。
  論文  参考訳（メタデータ） (2025-02-23T13:33:27Z)
• ULTra: Unveiling Latent Token Interpretability in Transformer-Based Understanding and Segmentation [14.84547724351634]
  ULTraはトランスフォーマーの埋め込みを解釈し、意味のある意味的パターンを明らかにするためのフレームワークである。 モデルを変更することなく外部変換行列を学習し,セグメンテーション性能を向上する自己教師型トレーニング手法を提案する。 我々は、オブジェクト選択や解釈可能なテキスト要約を含む、合成シナリオと実世界のシナリオの両方において、モデル解釈のためのULTraを検証する。
  論文  参考訳（メタデータ） (2024-11-15T19:36:50Z)
• Learning on Transformers is Provable Low-Rank and Sparse: A One-layer Analysis [63.66763657191476]
  低ランク計算としての効率的な数値学習と推論アルゴリズムはトランスフォーマーに基づく適応学習に優れた性能を持つことを示す。 我々は、等級モデルが適応性を改善しながら一般化にどのように影響するかを分析する。 適切なマグニチュードベースのテストは,テストパフォーマンスに多少依存している,と結論付けています。
  論文  参考訳（メタデータ） (2024-06-24T23:00:58Z)
• Denoising Vision Transformers [43.03068202384091]
  本稿では、DVT(Denoising Vision Transformers)と呼ばれる2段階のDenoisingアプローチを提案する。 第1段階では、画像ごとのニューラルネットワークとの横断的な特徴整合を強制することにより、位置的アーティファクトによって汚染されたものからクリーンな特徴を分離する。 第2段階では、クリーンな特徴を生のViT出力から予測するために軽量なトランスフォーマーブロックを訓練し、クリーンな特徴の導出推定を監督として活用する。
  論文  参考訳（メタデータ） (2024-01-05T18:59:52Z)
• Global Vision Transformer Pruning with Hessian-Aware Saliency [93.33895899995224]
  この研究はヴィジュアルトランスフォーマー(ViT)モデルの共通設計哲学に挑戦する。 遅延を意識した規則化による直接遅延低減を実現し,すべての層や構造に匹敵する新しいヘッセン型構造解析基準を導出する。 DeiT-Baseモデルで反復的なプルーニングを実行すると、NViT(Novel ViT)と呼ばれる新しいアーキテクチャファミリが生まれ、パラメータをより効率的に利用する新しいパラメータが現れる。
  論文  参考訳（メタデータ） (2021-10-10T18:04:59Z)
• Intriguing Properties of Vision Transformers [114.28522466830374]
  視覚変換器(ViT)は、様々なマシンビジョン問題にまたがって印象的な性能を誇示している。 我々は、この問題を広範囲の実験を通して体系的に研究し、高性能畳み込みニューラルネットワーク(CNN)との比較を行った。 ViTsの効果的な特徴は、自己認識機構によって可能なフレキシブルな受容と動的場によるものであることを示す。
  論文  参考訳（メタデータ） (2021-05-21T17:59:18Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Variational Transformers for Diverse Response Generation [71.53159402053392]
  変分変換器(VT)は、変分自己注意フィードフォワードシーケンスモデルである。 VTはトランスフォーマーの並列化性と大域的受容場計算とCVAEの変動特性を組み合わせる。 本稿では,1)大域潜伏変数を用いた談話レベルの多様性のモデル化,2)細粒潜伏変数の列によるトランスフォーマーデコーダの拡張,の2種類のVTについて検討する。
  論文  参考訳（メタデータ） (2020-03-28T07:48:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。