論文の概要: Inside the Visual Mind: Neuroscience-Motivated Concept Circuits for Interpreting and Steering Vision Transformers

• arxiv url: http://arxiv.org/abs/2606.06664v1
• Date: Thu, 04 Jun 2026 19:25:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-08 14:33:29.416749
• Title: Inside the Visual Mind: Neuroscience-Motivated Concept Circuits for Interpreting and Steering Vision Transformers
• Title（参考訳）: 視覚の内面:視覚変換器の解釈とステアリングのための神経科学駆動型概念回路
• Authors: Tang Li, Yanlin Chen, Mengmeng Ma, Xi Peng,
• Abstract要約: ViT(Vision Transformer)予測は、スパイラルなキューによって駆動され、安全なデプロイメント前に内部動作を理解する必要が生じる。 スパースオートエンコーダ(SAE)は、モデル表現を人間の解釈可能な概念に分解するための有望なレンズを提供する。 概念回路を通してViTの内部動作を理解するための機械的解釈可能性ツールボックスViSAEを提案する。
• 参考スコア（独自算出の注目度）: 19.608287596513705
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Despite high accuracy, Vision Transformer (ViT) predictions can be driven by spurious cues, raising the need to understand their inner workings before safe deployment. Sparse autoencoders (SAEs) provide a promising lens for decomposing model representations into human-interpretable concepts, yet adapting SAE-based interpretation to ViTs remains challenging due to limited control over concept coverage and subjective, non-scalable feature interpretation. To fill the gaps, motivated by neuroscience-inspired principles, we propose ViSAE, a mechanistic interpretability toolbox for understanding ViT inner workings through concept circuits. ViSAE consists of three components: (1) A probing suite with 64K images and a 16K visually grounded concept vocabulary, improving concept coverage efficiency by 20x over ImageNet and interpretation accuracy by 28.7% over existing concept sets. (2) Top-down concept reading and Bottom-up circuit tracing algorithms that automatically recover ViT inner workings via concept circuits. (3) Applications for auditing and steering ViT behavior. Through concept editing, ViSAE improves the worst-group accuracy on WaterBirds by 48.2%, outperforming existing methods by 23.8%. Our data and code: https://github.com/deep-real/ViSAE.
• Abstract（参考訳）: 精度が高いにもかかわらず、ViT(Vision Transformer)予測は急激な手がかりによって駆動され、安全な配備前に内部動作を理解する必要が生じる。 スパースオートエンコーダ(SAE)は、モデル表現を人間の解釈可能な概念に分解するための有望なレンズを提供するが、SAEベースの解釈をViTに適用することは、概念カバレッジの制限と主観的でない特徴解釈のために難しいままである。 神経科学に触発された原理に動機づけられたギャップを埋めるため、概念回路を通してViTの内部動作を理解するための機械的解釈可能性ツールボックスViSAEを提案する。 ViSAEは、(1)64K画像と16K視覚的に接頭した概念語彙を備えた探索スイート、イメージネットの20倍のコンセプトカバレッジ効率の向上、および既存の概念セットの28.7%の解釈精度の3つのコンポーネントで構成されている。 2)概念回路を介してViTの内部動作を自動的に復元するトップダウン概念読解とボトムアップ回路トレースアルゴリズム。 (3)ViTの動作監査・操舵の応用 概念編集によって、ViSAEはWaterBirdsの最悪のグループ精度を48.2%改善し、既存の手法を23.8%上回った。 私たちのデータとコード:https://github.com/deep-real/ViSAE。

関連論文リスト

• Interpretable and Steerable Concept Bottleneck Sparse Autoencoders [20.94500960067637]
  本稿では,2つの新しい計算コストの低い解釈可能性とステアビリティ指標を導入し,LVLMの系統解析を行った。 本稿では,低実用性ニューロンを誘発し,ユーザ定義のコンセプトセットに合わせた軽量な概念ボトルネックで潜在空間を拡大する,新しいポストホックフレームワークであるConcept Bottleneck Sparse Autoencoders (CB-SAE)を提案する。 その結果、CB-SAEは解釈可能性を+32.1%改善し、可操性は+14.5%向上した。
  論文  参考訳（メタデータ） (2025-12-11T16:48:07Z)
• ASCENT-ViT: Attention-based Scale-aware Concept Learning Framework for Enhanced Alignment in Vision Transformers [29.932706137805713]
  ASCENT-ViTは、視覚変換器(ViT)のための注意に基づく概念学習フレームワークである。 マルチスケールの特徴ピラミッドとViTパッチの表現から、スケールと位置認識の表現をそれぞれ構成する。 標準的なViTバックボーンの上の分類ヘッドとして利用でき、予測性能を改善し、正確で堅牢な概念説明を行うことができる。
  論文  参考訳（メタデータ） (2025-01-16T00:45:05Z)
• Interpretability-Aware Vision Transformer [12.406960223371959]
  視覚変換器(ViT)は、様々な視覚課題を解決するための顕著なモデルとなっている。 そこで本研究では,モデル解釈可能性を高める新たなトレーニング手法を提案する。 IA-ViTは特徴抽出器、予測器、インタプリタから構成され、解釈可能性を考慮した学習目標と共同で訓練される。
  論文  参考訳（メタデータ） (2023-09-14T21:50:49Z)
• What do Vision Transformers Learn? A Visual Exploration [68.50771218442776]
  視覚変換器(ViT)はコンピュータビジョンのデファクトアーキテクチャとして急速に普及しつつある。 本稿では、ViT上での可視化の障害に対処し、ViTとCNNの根本的な相違について検討する。 また、DeiT、CoaT、ConViT、PiT、Swin、Twinなど、さまざまなViT変種に対して大規模な可視化を行っています。
  論文  参考訳（メタデータ） (2022-12-13T16:55:12Z)
• RelViT: Concept-guided Vision Transformer for Visual Relational Reasoning [139.0548263507796]
  私たちは視覚推論のベースモデルとして視覚変換器(ViT)を使用します。 我々は、ViTの推論能力を改善するために、オブジェクトエンティティとして定義された概念とその関係をよりよく活用する。 HICO と GQA のベンチマークでは,提案モデルである概念誘導型視覚変換器 (略して RelViT ) が従来の手法よりも大幅に優れていたことを示す。
  論文  参考訳（メタデータ） (2022-04-24T02:46:43Z)
• Auto-scaling Vision Transformers without Training [84.34662535276898]
  本研究では,視覚変換器(ViT)の自動スケーリングフレームワークAs-ViTを提案する。 As-ViTは、ViTを効率的かつ原則的に自動的に発見し、スケールアップする。 As-ViTは統合されたフレームワークとして、分類と検出において高いパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-02-24T06:30:55Z)
• Self-slimmed Vision Transformer [52.67243496139175]
  視覚変換器(ViT)は、様々な視覚タスクにおいて一般的な構造となり、CNN(Creative Convolutional Neural Network)よりも優れています。 本稿では,バニラVT,すなわちSiTに対する汎用的な自己スリム学習手法を提案する。 具体的には、まず、ViTの推論効率を向上させる新しいToken Slimming Module (TSM) を設計する。
  論文  参考訳（メタデータ） (2021-11-24T16:48:57Z)
• Emerging Properties in Self-Supervised Vision Transformers [57.36837447500544]
  コンボリューションネットワーク (convnets) と比較して際立つ, 自己監督型 ViT が Vision Transformer (ViT) に新たな特性を提供することを示した。 本研究は,ラベルのない自己蒸留の形態として解釈する,DINOと呼ばれる単純な自己監督方式で実施する。 ViT-Baseを用いた線形評価において、ImageNet上で80.1%のトップ-1を達成し、DINOとViTの相乗効果を示す。
  論文  参考訳（メタデータ） (2021-04-29T12:28:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。