論文の概要: SpIn-ViT: Designing a Sparsity-Induced Vision Transformer That Is Mechanistically Interpretable

• arxiv url: http://arxiv.org/abs/2608.14922v1
• Date: Fri, 14 Aug 2026 22:19:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-18 19:59:03.126016
• Title: SpIn-ViT: Designing a Sparsity-Induced Vision Transformer That Is Mechanistically Interpretable
• Title（参考訳）: SpIn-ViT:機械的に解釈可能なスペーサ駆動型視覚変換器の設計
• Authors: Philip H. Lee, Parth Padalkar,
• Abstract要約: 本研究では、事前訓練されたビジョントランスフォーマー(ViT)と修正されたスパースオートエンコーダ(SAE)をエンドツーエンドにトレーニングするフレームワークであるSpIn-ViTを紹介する。 分類精度,定量的解釈可能性指標,AIに基づく評価,人間評価を用いて,9つの画像分類ベンチマーク間でSpIn-ViTを評価した。 従来の最先端のSAE法と比較すると、SpIn-ViTは平均分類精度8.84%、AIベースの解釈可能性スコアは4倍、人間評価スコアは2倍以上である。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Mechanistic interpretability has recently expanded to Vision Transformers (ViTs), with Sparse Autoencoders (SAEs) increasingly used as post-hoc tools to decompose internal representations into sparse and more interpretable features. However, because post-hoc SAEs are trained on frozen representations after the ViT has already been optimized, their latent features are not directly aligned with the downstream classification objective. We introduce SpIn-ViT, a framework that jointly trains a pretrained ViT and a modified SAE end-to-end, directly aligning sparse patch-level representations with image classification. SpIn-ViT learns semantically coherent neuron activations that localize meaningful image regions while maintaining competitive predictive performance. We evaluate SpIn-ViT across nine image-classification benchmarks using classification accuracy, quantitative interpretability metrics, AI-based and Human evaluations. Compared with the previous state-of-the-art post-hoc SAE method, SpIn-ViT achieves 8.84% higher average classification accuracy, an AI-based interpretability score nearly four times as high, and a human-evaluation score more than twice as high. We further extract interpretable rule-sets using the SAE neurons to create neurosymbolic models which achieve 5.97% higher average classification accuracy while requiring a 58.8\% smaller rule-set than the neurosymbolic models created from the SOTA post-hoc SAE method.
• Abstract（参考訳）: 機械的解釈可能性は最近ViT(Vision Transformers)にまで拡張され、スパースオートエンコーダ(Sparse Autoencoders、SAE)は、内部表現をスパースでより解釈可能な機能に分解するためのポストホックツールとして使われるようになった。 しかし、ポストホックSAEはViTが既に最適化された後、凍結表現で訓練されるため、その潜在機能は下流の分類目標と直接一致しない。 本研究では、事前訓練されたViTと修正されたSAEエンドツーエンドを併用し、スパースパッチレベルの表現と画像分類を直接整列するフレームワークであるSpIn-ViTを紹介する。 SpIn-ViTは、競争力のある予測性能を維持しながら、意味のある画像領域を局在させるセマンティックコヒーレントニューロン活性化を学習する。 分類精度,定量的解釈可能性指標,AIに基づく評価,人間評価を用いて,9つの画像分類ベンチマーク間でSpIn-ViTを評価した。 従来の最先端のSAE法と比較して、SpIn-ViTは平均分類精度8.84%、AIベースの解釈可能性スコアが約4倍、人間評価スコアが2倍以上である。 さらに、SAEニューロンを用いて解釈可能なルールセットを抽出し、SOTAポストホックSAE法から生成されたニューロシンボリックモデルよりも58.8\%小さいルールセットを必要としながら、平均分類精度を5.97%高めるニューロシンボリックモデルを作成する。

関連論文リスト

• Taking Shortcuts for Categorical VQA Using Super Neurons [34.74441491228218]
  SAV(Sparse Attention Vectors)は、視覚言語モデル(VLM)の性能向上のために、教師付き微調整や低ランク適応に代わる優れたトレーニング不要の代替品として登場した。 我々は,VLMの生活性化をスカラー値として直接探索することで,多様な視覚的な下流タスクにおいて正確な分類器が得られることを見出した。 注意ベクトルからスカラーアクティベーションへ焦点を移すと、正確なパラメータの探索空間が劇的に増加し、第1生成トークンからより識別性の高いニューロンを見つけることができる。
  論文  参考訳（メタデータ） (2026-03-11T13:54:45Z)
• End-to-End Implicit Neural Representations for Classification [57.55927378696826]
  Inlicit Neural representations (INRs) は、ニューラルネットワークパラメータの信号を符号化し、信号再構成に優れた結果を示す。 INRをベースとした分類は、CNNのようなピクセルベースの手法に比べて、依然としてかなり低性能である。 本研究は,SIRENを学習段階のスキームとともに初期化するエンド・ツー・エンドの戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-23T16:02:23Z)
• Robustifying Deep Vision Models Through Shape Sensitization [19.118696557797957]
  そこで本研究では,ネットワークの全体像を学習するためのインセンティブを明示的に付与する,シンプルで軽量な対向拡張手法を提案する。 我々の拡張は、ランダムに決定された混合比を用いて、シャッフルパッチで、ある画像から別の画像へのエッジマップを重畳する。 この拡張により,データセットやニューラルアーキテクチャの分類精度とロバストネスが大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-11-14T11:17:46Z)
• Semi-supervised Vision Transformers at Scale [93.0621675558895]
  視覚変換器(ViT)のための半教師あり学習(SSL)について検討する。 我々は、最初のun/self教師付き事前トレーニングと教師付き微調整、そして最後に半教師付き微調整からなる新しいSSLパイプラインを提案する。 提案手法はSemi-ViTと呼ばれ,半教師付き分類設定においてCNNと同等あるいは同等の性能を達成している。
  論文  参考訳（メタデータ） (2022-08-11T08:11:54Z)
• Global Context Vision Transformers [78.5346173956383]
  我々は,コンピュータビジョンのパラメータと計算利用を向上する新しいアーキテクチャであるGC ViT(Global context vision transformer)を提案する。 本稿では,ViTにおける帰納バイアスの欠如に対処し,アーキテクチャにおける可溶性逆残差ブロックを改良して活用することを提案する。 提案したGC ViTは,画像分類,オブジェクト検出,セマンティックセマンティックセグメンテーションタスクにまたがる最先端の処理結果を実現する。
  論文  参考訳（メタデータ） (2022-06-20T18:42:44Z)
• VOLO: Vision Outlooker for Visual Recognition [148.12522298731807]
  視覚変換器 (ViT) はイメージネット分類において自己注意に基づくモデルの可能性を示している。 我々は、新しい展望の展望を導入し、VoLO(Vision Outlooker)と呼ばれる、シンプルで一般的なアーキテクチャを提示する。 グローバルな依存性モデリングを粗いレベルで重視する自己注意とは異なり、展望はより詳細な機能やコンテキストをトークンに効率的にエンコードする。 実験の結果、私たちのVOLOはImageNet-1K分類で87.1%のトップ1の精度を達成しており、これはこの競合ベンチマークで87%以上の精度で最初のモデルである。
  論文  参考訳（メタデータ） (2021-06-24T15:46:54Z)
• Exploring Vision Transformers for Fine-grained Classification [0.0]
  アーキテクチャ変更を必要とせずに情報領域をローカライズする,きめ細かな画像分類タスクのための多段階ViTフレームワークを提案する。 CUB-200-2011,Stanford Cars,Stanford Dogs,FGVC7 Plant Pathologyの4つのベンチマークを用いて,本手法の有効性を実証した。
  論文  参考訳（メタデータ） (2021-06-19T23:57:31Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。