論文の概要: Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability
- arxiv url: http://arxiv.org/abs/2608.10172v1
- Date: Mon, 10 Aug 2026 19:42:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.798207
- Title: Intrinsic Structure: Spectral Identifiability for Mechanistic Interpretability
- Title（参考訳）: 固有構造:機械的解釈可能性に対するスペクトル同定可能性
- Abstract要約: 機械論的解釈可能性プリミティブに対する最初の識別可能性定理を証明した。
スペクトルは、正当性分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
- 参考スコア（独自算出の注目度）: 51.56484100374058
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mechanistic interpretability explains models by identifying circuits inside them, but has no way to tell whether a circuit is a property of the model or an artifact of the method that found it. Sparse autoencoders illustrate the problem: different seeds and widths recover materially different features from the same activations, and no theory says whether that variability is incidental or structural. We put dictionary learning for interpretability on an identifiability footing. Treating the forward pass as a controlled dynamical system with depth as time and lifting it with the Koopman operator yields a finite linear realisation whose \emph{spectrum} is a coordinate-free property of the model. We prove the spectrum is recoverable from $M$ calibration samples at rate $M^{-1/2}$ up to permutation - to our knowledge the first identifiability theorem for a mechanistic-interpretability primitive, with a matching minimax lower bound, a median-of-means variant for heavy-tailed activations, and a dissociation theorem: whenever the realisation is non-normal, the directions carrying activation variance and the directions carrying information across depth cannot coincide. The identifiable object and the legible object are not the same object. On GPT-2 small, Gemma-2-2B and Qwen3-8B-Base the spectrum converges everywhere and attains the predicted exponent on Qwen3-8B-Base ($0.506 \pm 0.031$); shortfalls collapse onto one curve against each cell's sample threshold. Koopman modes beat random directions but lose to principal components on indirect-object identification, with the gap decaying $4.1\times$ in depth-distance, as the theorem predicts. The Koopman spectrum is an identifiable, model-intrinsic fingerprint with a stated error bar, not a legible decomposition.
- Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、内部の回路を識別することによってモデルを説明するが、その回路がモデルの性質なのか、それを発見した方法のアーティファクトなのかを判断する方法はない。
異なる種と幅が同じアクティベーションから実質的に異なる特徴を回復し、変動が偶発的か構造的かは定かではない。
我々は、識別可能性の足場に解釈可能性のための辞書学習を施した。
フォワードパスを時間として深度で制御された力学系として扱い、クープマン作用素で持ち上げると、モデルの座標自由性であるような有限線型実現が得られる。
このスペクトルは、M$キャリブレーションの検定値が$M^{-1/2}$から置換までの値から回復可能であることを証明し、機械論的解釈可能性プリミティブに対する最初の識別可能性定理は、一致したミニマックス下限、重み付きアクティベーションの中央値変項、解離定理(英語版)(dissociation theorem)である。
識別可能なオブジェクトと可視なオブジェクトは、同じオブジェクトではありません。
GPT-2 の小さい Gemma-2-2B と Qwen3-8B-Base では、スペクトルは至る所で収束し、Qwen3-8B-Base (0.506 \pm 0.031$) の予測指数に達する。
クープマンモードはランダムな方向を破るが、この定理が予測するように、ギャップは深さ距離で4.1\times$で崩壊する。
クープマンスペクトル(英: Koopman spectrum)は、正統な分解ではなく、記述されたエラーバーを持つ識別可能なモデル固有の指紋である。
関連論文リスト
- How Many Samples Are Needed to Determine Causal Direction? Sharp Minimax Bounds for Bivariate LiNGAM [7.7753818665096945]
本研究では,2つの線形変数間の因果方向を決定するためには,何つの観測が必要であるかを検討する。
急激なサンプルの複雑性は, エッジ強度, ガウス性からの距離, スケールの不確実性のジョイント関数として確立する。
論文 参考訳（メタデータ） (2026-08-16T16:20:19Z) - Is Spurious Correlation Removal Always Learnable? [56.28155520961125]
不変学習は、構造が統計的に識別可能であっても失敗することがある。
ブラックボックスサンプリング可能な教師付きスパースリカバリプリミティブの下では、実証可能な多次元環境が存在する。
合成および実際のデータセットは、予測されたギャップと遷移を示し、単純な多様性診断を動機付ける。
論文 参考訳（メタデータ） (2026-06-11T05:49:43Z) - Self-Attention as Transport: Limits of Symmetric Spectral Diagnostics [0.0]
均一な因果的注意は、$n$に依存しないフロア$ge 1/5$で、最悪のカットは$tast/n approx 0.32$で、ウィンドウアテンションは$O(w/n)$で、フロアは$O(w/n)$である。
結果として生じる2軸の診断は、ファルシブルな極性予測をもたらす。
論文 参考訳（メタデータ） (2026-05-06T13:25:13Z) - Operationally induced preferred basis in unitary quantum mechanics [0.0]
検知器が一元的にモデル化された場合でも、好ましくも好ましくも、測定問題の定値出力面は持続する。
数学的タイプの変化は、グループベースの運動学からセットベースの数え上げまで、構造的に必要不可欠なインターフェイスである「カット」の中核を構成する。
論文 参考訳（メタデータ） (2026-01-26T17:22:03Z) - Phase-space entropy at acquisition reflects downstream learnability [54.4100065023873]
楽器分解位相空間に基づく取得レベルスカラー$S_mathcal B$を提案する。
本稿では, (S_mathcal B) が周期サンプリングの位相空間コヒーレンスを正確に同定できることを理論的に示す。
$|S_mathcal B|$は一貫してサンプリングジオメトリをランク付けし、トレーニングなしで下流での再構築/認識の困難を予測します。
論文 参考訳（メタデータ） (2025-12-22T10:03:51Z) - Transformer Injectivity & Geometric Robustness - Analytic Margins and Bi-Lipschitz Uniformity of Sequence-Level Hidden States [0.0]
離散的プロンプトから終点隠れ状態への写像は、有限プロンプト集合に対して一般射影的であることを示す。
本研究では, 層間, シーケンス長, モデルスケール, 8ビットおよび4ビットのアクティベーション量子化について検討した。
論文 参考訳（メタデータ） (2025-11-17T19:39:15Z) - Robustness of Nonlinear Representation Learning [60.15898117103069]
本研究では,教師なし表現学習の問題を,わずかに不特定な環境で研究する。
混合は線形変換と小さな誤差で識別可能であることを示す。
これらの結果は、実世界のデータに対する教師なし表現学習における識別可能性向上へのステップである。
論文 参考訳（メタデータ） (2025-03-19T15:57:03Z) - Quantum stochastic phase-space theorems lead to hidden causal loops in a model for measurement consistent with macroscopic realism, Bell nonlocality and no-signaling [0.0]
量子計測と非局所性は、マクロ的リアリズムと無信号で一貫して説明できることを示す。
固有状態の重ね合わせで作成したシステム上での$hatx$の測定を解析する。
論文 参考訳（メタデータ） (2022-05-12T13:10:20Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Analytic Signal Phase in $N-D$ by Linear Symmetry Tensor--fingerprint
modeling [69.35569554213679]
解析信号位相とその勾配は2-D$以上の不連続性を持つことを示す。
この欠点は深刻なアーティファクトをもたらす可能性があるが、問題は1-D $シグナルには存在しない。
本稿では,複数のGaborフィルタに頼って線形シンメトリー位相を用いることを提案する。
論文 参考訳（メタデータ） (2020-05-16T21:17:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。