論文の概要: Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity

• arxiv url: http://arxiv.org/abs/2609.24379v1
• Date: Mon, 21 Sep 2026 10:15:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:01.252773
• Title: Topographic Training Concentrates Causal Circuits Without Improving Neuron Monosemanticity
• Title（参考訳）: トポグラフィートレーニングはニューロンの単意味性を改善することなく因果回路に集中する
• Abstract要約: 我々は,空間的局所性トレーニングの損失(TopoLoss)が,標準的なメフインタップツールの解釈可能性を改善するための,軽量なトレーニング時間として機能するかどうかを問う。 我々は、アクティベーションパッチによる地形クラスタの因果正当性の測定と、同じ残留ストリームに適合するスパースオートエンコーダによる特徴幾何の測定を行う。 これは、現在のニューロンレベルのモノセマンティリティの指標が、実際の解釈可能性の利得のクラスに無関心であることを示唆している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability of vision transformers seeks to decompose model computation into human-readable units, but learned representations entangle many concepts in each neuron. Feature superposition is widely treated as the central obstacle to this decomposition, yet most mitigations (sparse autoencoders, dictionary learning) are post-hoc and leave the underlying network unchanged. We ask whether a spatial-locality training loss (TopoLoss) can act as a lightweight, training-time prior that improves interpretability of standard mech-interp tools. Training ViT on ImageNet-100 across multiple TopoLoss weights $α$, we measure causal sufficiency of topographic clusters via activation patching and feature geometry via sparse autoencoders fit to the same residual stream. At $α=1.0$, topographic clusters are 2.79$\times$ more causally sufficient than random unit sets of the same size, with the effect increasing monotonically in $α$. SAE L0 sparsity decreases by 11% and dead-feature fraction rises 19-fold, yet standard neuron-level monosemanticity scores are unchanged, indicating that topographic pressure acts at circuit level, concentrating causal mass into spatially local structures without disentangling individual neurons. This dissociation suggests current neuron-level monosemanticity metrics are insensitive to a class of real interpretability gains, and positions cheap architectural priors as a viable training-time complement to post-hoc tooling.
• Abstract（参考訳）: 視覚変換器の機械論的解釈可能性 (Mechanistic interpretability) は、モデル計算を人間の可読単位に分解しようとするが、各ニューロンにおいて多くの概念を絡み合わせる表現を学習した。 特徴重畳は、この分解の中心的障害として広く扱われるが、ほとんどの緩和(スパースオートエンコーダ、辞書学習)はポストホックであり、基礎となるネットワークは変わらない。 我々は,空間的局所性トレーニングの損失(TopoLoss)が,標準的なメフインタップツールの解釈可能性を改善するための,軽量なトレーニング時間として機能するかどうかを問う。 複数のTopoLoss重みにまたがってImageNet-100でViTをトレーニングし、アクティベーションパッチによる地形クラスタの因果正当性を測定し、スパースオートエンコーダによる特徴幾何を同じ残差ストリームに適合させる。 α=1.0$の場合、地形クラスタは2.79$\times$で、同じ大きさのランダムな単位集合よりも因果的に十分であり、その効果はα$で単調に増加する。 SAE L0間隔は11%減少し、致命的な分画は19倍に増加するが、標準のニューロンレベルの単節性スコアは変化せず、地形的な圧力が回路レベルで作用し、因果体を個々のニューロンを遠ざけることなく空間的に局所的な構造に集中させることが示されている。 この解離は、現在のニューロンレベルのモノセマンティリティ指標が、実際の解釈可能性の向上のクラスに無関心であることを示し、安価なアーキテクチャの事前を、ポストホックツールを補完する実行可能なトレーニングタイムとして位置づけている。

関連論文リスト

• Learning Orthogonal Multi-Index Models Beyond Small Initialization: Incremental Learning, Competitive Dynamics and Symmetry [52.75288960194919]
  最近の研究で、シングルインデックスモデルとマルチインデックスモデルに基づいて訓練された浅層ネットワークにおける漸進的な学習が特定されている。 対称性に基づく有限幅近似を,無限幅の極限と直接比較するのではなく,対称性付きネットワークを用いて導入する。
  論文  参考訳（メタデータ） (2026-09-09T22:35:31Z)
• BrainLinear: A Linear Model for Brain Network Analysis in Sparse Tangent Subspaces [26.68112538190199]
  BrainLinearは病気を識別するコネクトームパターンをマイニングするための軽量なフレームワークである。 高いGNNやTransformerのベースラインを、そのコストのごく一部で一致または超える。 ランタイムとピークGPUメモリを、AUCの最も近いベースラインと比較して84.0%$と6.8.4%$に削減する。
  論文  参考訳（メタデータ） (2026-08-15T14:57:48Z)
• Resolving superposition in AI for interpretability and cross-modal alignment in patient-neuronal images [0.26521035057637576]
  ニューラルネットワークにおける重ね合わせは、解釈可能性を妨げることが知られている。 ここでは、患者由来のパーキンソン病と健常ニューロンの10万以上の多重画像に基づいて訓練されたスパースオートエンコーダを用いて、重ね合わせを解決する。 このアプローチは、解釈可能な潜在表現解析に移行することにより、特徴属性の数学的非特異性をバイパスする。
  論文  参考訳（メタデータ） (2026-06-30T09:22:35Z)
• Fundamental Limits of Neural Network Sparsification: Evidence from Catastrophic Interpretability Collapse [7.167095059974211]
  本研究では, 可変オートエンコーダ-スパースオートエンコーダアーキテクチャにおける重大容量制約下での機能生存について検討する。 本稿では,活動ニューロンを500から50以上の訓練エポックに段階的に減少させる適応的空間性スケジューリングフレームワークを提案する。 グローバルな表現の質は安定しているが、局所的な特徴解釈可能性は体系的に崩壊する。
  論文  参考訳（メタデータ） (2026-03-18T00:16:38Z)
• Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
  その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。 この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-01-30T05:41:19Z)
• Scaling Collapse Reveals Universal Dynamics in Compute-Optimally Trained Neural Networks [59.552873049024775]
  計算最適化モデルでは, 極めて高精度な普遍性を示すことを示す。 学習速度が減衰すると、崩壊は非常に厳しくなり、モデル間の正規化曲線の差はノイズフロアより下になる。 これらの現象は、典型的なニューラルスケーリング法則において、崩壊とパワー・ロー構造を結びつけることによって説明される。
  論文  参考訳（メタデータ） (2025-07-02T20:03:34Z)
• NeRF-based CBCT Reconstruction needs Normalization and Initialization [53.58395475423445]
  NeRFベースの手法は、ハッシュエンコーダとニューラルネットワークという2つの主要なコンポーネント間の局所的な訓練ミスマッチに悩まされる。 特徴整合性を高め、ミスマッチを緩和する正規化ハッシュを導入する。 ニューラルネットワークは早期トレーニング中に安定性が向上し、より高速な収束と再構築性能が向上する。
  論文  参考訳（メタデータ） (2025-06-24T16:01:45Z)
• Redundant representations help generalization in wide neural networks [71.38860635025907]
  様々な最先端の畳み込みニューラルネットワークの最後に隠された層表現について検討する。 最後に隠された表現が十分に広ければ、そのニューロンは同一の情報を持つグループに分裂し、統計的に独立したノイズによってのみ異なる傾向にある。
  論文  参考訳（メタデータ） (2021-06-07T10:18:54Z)
• $\sigma^2$R Loss: a Weighted Loss by Multiplicative Factors using Sigmoidal Functions [0.9569316316728905]
  我々は,二乗還元損失(sigma2$R損失)と呼ばれる新たな損失関数を導入する。 我々の損失は明らかな直観と幾何学的解釈を持ち、我々の提案の有効性を実験によって実証する。
  論文  参考訳（メタデータ） (2020-09-18T12:34:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。