論文の概要: Bridging Singular Learning Theory and Mechanistic Interpretability at the Billion-Parameter Scale

• arxiv url: http://arxiv.org/abs/2611.00640v1
• Date: Sat, 31 Oct 2026 05:06:06 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 20:16:34.564613
• Title: Bridging Singular Learning Theory and Mechanistic Interpretability at the Billion-Parameter Scale
• Title（参考訳）: 数億パラメータスケールでのブリッジング特異学習理論と機械論的解釈可能性
• Abstract要約: 機械的解釈可能性(MI)は、それを実装するコンポーネントと変数を特定することによって、訓練されたネットワーク内の計算を説明する。 特異学習理論(SLT)は、そのパラメータの周りの損失の幾何学を通して同じネットワークを記述する。 どちらもひとつのオブジェクトの関数であり、コンポーネントのパラメータから入力と介入の下でのモデルの予測へのマップであることを示す。
• 参考スコア（独自算出の注目度）: 39.0372691600611
• License:
• Abstract: Mechanistic interpretability (MI) explains a computation in a trained network by identifying the components and variables that implement it and testing them with interventions. Singular learning theory (SLT) describes the same network through the geometry of the loss around its parameters, summarized by the local learning coefficient. In pretrained language models the two have not been compared: SLT's estimates at this scale concern whole models or components whose roles were not independently established, and the estimator, which averages the loss over parameter settings drawn near the trained ones, has had no reference for how far those draws may move the parameters. We show that both are functions of one object, the map from a component's parameters to the model's predictions under inputs and interventions, whose first derivatives determine the Fisher information, the learning coefficient, and intervention effects, and whose higher derivatives add a quartic correction and pairwise terms. We test this correspondence in Pythia-1B on Dyck bracket matching at all 154 training checkpoints, against a five-stage circuit identified by interventions. We measure the local geometry of all 144 components inside the region where predictions are preserved, with the Fisher spectrum at every checkpoint, which gives the quadratic part of the learning-coefficient estimate at every temperature. Changes of the Fisher trace track changes of causal effect (median partial rank correlation 0.51), largely as a trend shared across the model, whereas the gain Fisher of a component's output and the large-temperature count are specific to the component. The count follows causal change across the population but not the growth of a formed circuit component. The quartic part is what a sampler that leaves the region registers beyond curvature. Pairwise interaction curvature tracks joint-ablation interactions.
• Abstract（参考訳）: 機械的解釈可能性(MI)は、それを実装したコンポーネントや変数を特定し、介入でテストすることで、トレーニングされたネットワーク内の計算を説明する。 特異学習理論(SLT)は、局所学習係数によって要約された、そのパラメータのまわりの損失の幾何学を通して、同じネットワークを記述する。 事前訓練された言語モデルでは、このスケールでのSLTの見積もりは、独立した役割が確立されていないモデル全体やコンポーネントを対象としており、トレーニングされた言語モデルの近くに描かれたパラメータ設定の損失を平均化する推定器は、これらのドローがどの程度パラメータを移動できるかについて言及していない。 入力・介入条件下では、入力・介入条件下では、成分パラメータからモデルの予測への写像であり、第一微分がフィッシャー情報、学習係数、介入効果を決定し、上位微分がクォート補正とペアワードを付加する。 我々はこの対応をPythia-1Bで154個のトレーニングチェックポイントでDyck bracketマッチングを行い、介入によって同定された5段階の回路に対して検証した。 我々は,各チェックポイントにおけるフィッシャースペクトルを用いて,予測が保存される領域内の144成分の局所的幾何を測定し,各温度における学習係数推定の二次的な部分を与える。 Fisherのトレーストラックの変化は因果効果の変化(中間部分ランク相関0.51)であり、主にモデル全体で共有される傾向であるのに対して、コンポーネントの出力と大規模温度カウントのゲインFisherはコンポーネントに固有のものである。 この数は人口の因果変化に続くが、形成された回路成分の成長ではない。 クォート部は、領域レジスタを曲率を超えているサンプリング器である。 ペアワイズ相互作用は、共同アブレーション相互作用を追跡する。

関連論文リスト

• Improving the estimation of spin-bath parameters via initial correlations and a two-qubit probe [0.06999740786886534]
  2つの量子ビットのうちの1つしか測定されていない場合、第2の量子ビットがスピン環境パラメータの推定を改善する方法について検討する。 直接イジング結合はそれ自体は役に立たないが、利点は存在し続ける。
  論文  参考訳（メタデータ） (2026-10-16T15:04:18Z)
• Spectral Tail Interventions in Decoder-Only Language Models: Reasoning-Sensitive Weight Structure from Controlled Surgery [5.894992157122175]
  制御介入によるデコーダのみの変圧器におけるスペクトルの集中化について検討した。 ポイントワイズクエリーキー(QK$)の製品テールターゲットを定義し、独立因子手術と製品ターゲット因子化を比較した。 ホルム補正後、18対のコントラストは重要なままであり、2対は方向性だが決定的ではない。
  論文  参考訳（メタデータ） (2026-08-09T10:53:35Z)
• Directional Reasoning Trajectory Change (DRTC): Identifying Critical Trace Segments in Reasoning Models [0.0]
  Directional Reasoning Trajectory Change (DRTC) は、単一のオン政治ロールアウトからロングフォーム推論を解釈するためのプロセス因果的なフレームワークである。 DRTCは不確実性と分布シフト信号を用いてピボット決定点を検出する。 各介入がモデルのログ確率軌道の方向をリダイレクトするかどうかを測定する。
  論文  参考訳（メタデータ） (2026-02-17T03:38:16Z)
• Semiparametric conformal prediction [79.6147286161434]
  ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。 スコアの累積分布関数(CDF)を柔軟に推定する。 提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• Trade-Offs of Diagonal Fisher Information Matrix Estimators [53.35448232352667]
  Fisher情報行列は、ニューラルネットワークのパラメータ空間の局所幾何学を特徴付けるのに使うことができる。 精度とサンプルの複雑さが関連する分散に依存する2つの人気推定器について検討する。 分散のバウンダリを導出し、回帰と分類のためにニューラルネットワークでそれらをインスタンス化する。
  論文  参考訳（メタデータ） (2024-02-08T03:29:10Z)
• Inference for Change Points in High Dimensional Mean Shift Models [10.307668909650449]
  本研究では,高次元平均シフトモデルにおいて,変化点の位置に対する信頼区間を構築することの問題点を考察する。 局所的に再適合した最小二乗推定器を開発し、基礎となる変化点の推定のコンポーネントワイドおよび同時レートを得る。 結果は高次元のスケーリングの下で確立され、変化点の数や指数以下の誤差が生じる。
  論文  参考訳（メタデータ） (2021-07-19T20:56:15Z)
• Eigen Analysis of Self-Attention and its Reconstruction from Partial Computation [58.80806716024701]
  ドット積に基づく自己注意を用いて計算した注意点のグローバルな構造について検討する。 注意点の変動の大部分は低次元固有空間にあることがわかった。 トークンペアの部分的な部分集合に対してのみスコアを計算し、それを用いて残りのペアのスコアを推定する。
  論文  参考訳（メタデータ） (2021-06-16T14:38:42Z)
• More data or more parameters? Investigating the effect of data structure on generalization [17.249712222764085]
  データの特性は、トレーニング例の数とトレーニングパラメータの数の関数としてテストエラーに影響を与えます。 ラベル内のノイズや入力データの強い異方性がテストエラーと同じような役割を担っていることを示す。
  論文  参考訳（メタデータ） (2021-03-09T16:08:41Z)
• Disentangled Representation Learning with Wasserstein Total Correlation [90.44329632061076]
  本稿では,変分オートエンコーダとワッサースタインオートエンコーダの設定に総相関を導入し,非絡み付き潜在表現を学習する。 批評家は、ワッサーシュタインの総相関項を推定する主な目的と共に、敵対的に訓練される。 提案手法は, 再建能力の犠牲が小さく, 絡み合いに匹敵する性能を有することを示す。
  論文  参考訳（メタデータ） (2019-12-30T05:31:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。