論文の概要: "World Knowledge" in the Weights: Reading Concept Circuits of Vision Transformers
- arxiv url: http://arxiv.org/abs/2609.09055v1
- Date: Tue, 08 Sep 2026 17:11:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 20:27:52.459852
- Title: "World Knowledge" in the Weights: Reading Concept Circuits of Vision Transformers
- Title（参考訳）: 重みの「世界知識」:視覚変換器の概念回路を読む
- Abstract要約: 視覚変換器(ViT)は、視覚領域全体にわたって顕著な一般化を実現しているが、それらが世界構造をどのように内部的に表現しているかは分かっていない。
クロス層トランスコーダ(CLT)を用いて、ViTから概念回路を読み取る。
本手法はモデル行動の相補的な2つの見解を与える。
- 参考スコア（独自算出の注目度）: 16.14441292272522
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision transformers (ViTs) have achieved remarkable generalization across visual domains, yet little is known about how they internally represent the structure of the world. To address this gap, we use Cross-Layer Transcoders (CLTs) to read concept circuits from ViTs: directed graphs whose nodes correspond to sparse, interpretable concepts and edges capture concept interactions across layers. Our method yields two complementary views of model behavior. The global concept circuit is input-invariant and can be recovered directly from learned cross-layer weights, exposing the reusable "world knowledge" encoded in the model. The instance concept circuit is input-dependent and identifies the concepts and pathways actually used for a specific prediction, enabling faithful example-level explanations. We demonstrate the utility of concept circuits in three ways: (1) Automatic spurious correlation discovery: leveraging the statistics of our global concept circuits to identify shortcut dependencies within the model. (2) Spurious correlation removal: intervening on the instance concept circuit to steer the model towards correct predictions. Empirical results show that our method outperforms existing counterparts by 11.0% on the Waterbird dataset. (3) Model comparison: contrasting the global concept circuits of different foundation models (e.g., CLIP vs. DINO) to reveal how supervision paradigms shape representational structure. Our code is available at https://github.com/deep-real/VisionCLT
- Abstract（参考訳）: 視覚変換器(ViT)は、視覚領域全体にわたって顕著な一般化を実現しているが、それらが世界構造をどのように内部的に表現しているかは分かっていない。
このギャップに対処するために、私たちはクロス層トランスコーダ(CLT)を使用して、ViTから概念回路を読み取る:ノードがスパース、解釈可能な概念、エッジに対応する有向グラフは、層間の概念相互作用をキャプチャする。
本手法はモデル行動の相補的な2つの見解を与える。
グローバルな概念回路は入力不変であり、学習されたクロスレイヤーの重みから直接復元することができ、モデルにエンコードされた再利用可能な「世界知識」を露呈する。
インスタンスの概念回路は入力依存であり、特定の予測に実際に使用される概念や経路を特定し、忠実な例レベルの説明を可能にする。
1)大域的概念回路の統計を利用して,モデル内のショートカット依存性を同定する。
2)Spurious correlation removal: intervening on the instance concept circuit tosteer the model to correct predictions。
実験の結果,本手法はWaterbirdデータセット上で既存の手法よりも11.0%優れていた。
モデル比較:異なる基礎モデル(例えば、CLIPとDINO)のグローバルな概念回路を対比し、監督パラダイムがどのように表現構造を形成するかを明らかにする。
私たちのコードはhttps://github.com/deep-real/VisionCLTで利用可能です。
関連論文リスト
- Seeing Through Circuits: Faithful Mechanistic Interpretability for Vision Transformers [54.2202951543048]
視覚変換器の計算グラフから有用なメカニスティック回路を同定できるかどうかを検討する。
分類のためのクラス固有の回路を復元するビジュアル・サーキット・ディスカバリー(Vi-CD)の効果的な手法を提案する。
これらのモデルの内部計算に透明性を加えることで、視覚変換器から洞察に富み、行動可能なエッジベース回路を復元できることが判明した。
論文 参考訳（メタデータ） (2026-04-15T23:25:46Z) - Explaining CLIP Zero-shot Predictions Through Concepts [54.05282304471016]
EZPCを導入し,CLIPのゼロショット予測を人間に理解可能な概念で説明する。
本手法は,言語記述から学習した概念空間にCLIPの合同画像テキスト埋め込みを投影する。
提案手法は,CLIPの強いゼロショット分類精度を維持しつつ,意味のある概念レベルの説明を提供する。
論文 参考訳（メタデータ） (2026-03-30T09:31:33Z) - Fingerprinting Concepts in Data Streams with Supervised and Unsupervised Meta-Information [31.52969462508665]
概念の漂流は、環境条件の変化による時間の経過とともにデータの分布の変化である。
指紋における概念の教師なし行動と教師なし行動の両方を表現するための枠組みを提案する。
FiCSUMは11の現実世界と合成データセットで最先端の手法より優れています。
論文 参考訳（メタデータ） (2026-03-11T07:42:11Z) - What matters for Representation Alignment: Global Information or Spatial Structure? [64.67092609921816]
表現アライメント(REPA)は、強い事前訓練された視覚エンコーダから中間拡散特徴への表現を蒸留することにより、生成訓練を導く。
本稿では,対象表現のどの側面が生成に重要であるか,そのテクスト・グロバル・リビジョン・セマンティック・情報について検討する。
我々はREPAの標準射影層を単純な畳み込み層に置き換え、外部表現のための空間正規化層を導入する。
論文 参考訳（メタデータ） (2025-12-11T16:39:53Z) - FaCT: Faithful Concept Traces for Explaining Neural Network Decisions [56.796533084868884]
ディープネットワークは、幅広いタスクで顕著なパフォーマンスを示しているが、それらの機能に関するグローバルな概念レベルの理解は、依然として重要な課題である。
本稿では,概念に基づく説明の忠実さを強調し,モデル独立な機械的概念説明を用いた新しいモデルを提案する。
私たちの概念はクラス間で共有され、あらゆるレイヤから、ロジットへの貢献と入力-視覚化を忠実にトレースすることができます。
論文 参考訳（メタデータ） (2025-10-29T13:35:46Z) - Granular Concept Circuits: Toward a Fine-Grained Circuit Discovery for Concept Representations [19.50321703079894]
本稿では,各回路が与えられたクエリに関連する概念を表現する,GCC(Granular Concept Circuit)と呼ばれる効果的な回路探索手法を提案する。
複数の回路を自動的に発見し、それぞれがクエリ内の特定の概念をキャプチャすることで、我々のアプローチはモデルの深い概念的解釈を提供する。
我々は,様々な深部画像分類モデルにおけるGCCの汎用性と有効性を検証する。
論文 参考訳（メタデータ） (2025-08-03T11:45:38Z) - Discover-then-Name: Task-Agnostic Concept Bottlenecks via Automated Concept Discovery [52.498055901649025]
ディープニューラルネットワークの「ブラックボックス」問題に対処するために、概念ボトルネックモデル(CBM)が提案されている。
本稿では,典型的なパラダイムを逆転させる新しいCBMアプローチであるDiscover-then-Name-CBM(DN-CBM)を提案する。
我々の概念抽出戦略は、下流のタスクに非依存であり、既にそのモデルに知られている概念を使用するため、効率的である。
論文 参考訳（メタデータ） (2024-07-19T17:50:11Z) - Visual Concept Connectome (VCC): Open World Concept Discovery and their Interlayer Connections in Deep Models [21.245185285617698]
視覚概念接続(VCC)は、人間の解釈可能な概念とその層間接続を、完全に教師なしの方法で発見する。
提案手法は,すべての層にまたがる接続重み付けを同時に実現し,ネットワーク構造のグローバルな解析に有効である。
論文 参考訳（メタデータ） (2024-04-02T18:40:55Z) - Local Concept Embeddings for Analysis of Concept Distributions in Vision DNN Feature Spaces [1.0923877073891446]
学習した潜伏表現に対する洞察は、コンピュータビジョンタスクのディープニューラルネットワーク(DNN)を検証する上で不可欠である。
本稿では,学習した概念分布の探索を可能にする新しいローカル概念分析フレームワークを提案する。
文脈感度にもかかわらず,提案手法のセグメンテーション性能はグローバルベースラインと競合する。
論文 参考訳（メタデータ） (2023-11-24T12:22:00Z) - Navigating Neural Space: Revisiting Concept Activation Vectors to Overcome Directional Divergence [13.618809162030486]
概念活性化ベクトル (Concept Activation Vectors, CAV) は、潜在空間における人間の理解可能な概念をモデル化するための一般的なツールである。
本稿では、そのような分離性指向の解が、概念の方向性を正確にモデル化する実際の目標から逸脱する可能性があることを示す。
パターンベースのCAVを導入し、概念信号のみに着目し、より正確な概念指示を提供する。
論文 参考訳（メタデータ） (2022-02-07T19:40:20Z) - Unsupervised Learning of Compositional Energy Concepts [70.11673173291426]
本稿では,概念を別個のエネルギー関数として発見し,表現するCOMETを提案する。
Cometは、統一されたフレームワークの下でのオブジェクトだけでなく、グローバルな概念も表現します。
論文 参考訳（メタデータ） (2021-11-04T17:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。