論文の概要: Sparse Transformer: a Controlled Testbed for Mechanistic Interpretability

• arxiv url: http://arxiv.org/abs/2610.19907v1
• Date: Wed, 14 Oct 2026 10:03:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.081646
• Title: Sparse Transformer: a Controlled Testbed for Mechanistic Interpretability
• Title（参考訳）: スパース変圧器:機械的解釈性テストベッド
• Abstract要約: Sparse Transformerを使用して、ニューラルネットワークの計算を人間の理解可能な機能に分解する。 その結果,STニューロンはAutoInterpで43%,損失整合密度変換器を43%上回っていることがわかった。 STは多相性(英語版)の制御された研究を可能にし、そのスパースを密度の高いものに蒸留することで、圧縮が如何に特徴重畳をもたらすかを明らかにする。
• 参考スコア（独自算出の注目度）: 9.526380717691774
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mechanistic interpretability aims to decompose neural network computations into human-understandable features, yet progress is limited by the absence of ground-truth units to evaluate against. We address this with a Sparse Transformer (ST): a 5-layer language model trained on TinyStories whose wide, TopK-sparse MLP forces neuron specialization. We show that ST neurons are highly interpretable: they outperform a loss-matched dense transformer by 43% on AutoInterp, and circuits of a median of 12 neurons suffice to reproduce individual model predictions. This testbed allows us to directly compare feature learning methods: Transcoder, which approximates the MLP input-output mapping, recovers ST's neuron vectors with 52.6% higher cosine similarity than Sparse Autoencoder, which only reconstructs outputs. Furthermore, the ST enables a controlled study of polysemanticity: distilling its sparse MLP into a dense counterpart reveals how compression leads to feature superposition. These results show how a known reference basis sharpens evaluation and understanding, a role we hope the ST can serve for the field.
• Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は、ニューラルネットワークの計算を人間の理解可能な特徴に分解することを目的としている。 Sparse Transformer (ST): TinyStoriesで訓練された5層言語モデルで、TopK-Sparse MLPはニューロンの特殊化を強いる。 その結果、STニューロンはAutoInterpにおいて損失整合密度変換器を43%上回り、中央値の12ニューロンの回路は個々のモデル予測を再現するのに十分であることがわかった。 入力出力マッピングを近似したTranscoderは、STのニューロンベクトルをSparse Autoencoderよりも52.6%高いコサイン類似度で復元し、出力を再構成するのみである。 さらに、STは多意味性の制御された研究を可能にし、そのスパースMLPを高密度に蒸留することで、圧縮が如何に特徴重畳をもたらすかを明らかにする。 これらの結果は、既知の基準ベースが評価と理解をいかに深めるかを示し、STがこの分野に役立てることを望む役割である。

関連論文リスト

• The Von-Neumann State-Space Transformer for neural decoding [0.0]
  皮質計算は驚くほど低次元である。 フィードフォワードブロックが低ランクの命令バンクであるメモリ拡張トランスを導入する。 VN-SSTは現代のTransformerよりもはるかにデータ効率が高い。
  論文  参考訳（メタデータ） (2026-08-25T19:28:33Z)
• Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
  その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。 この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-01-30T05:41:19Z)
• TYrPPG: Uncomplicated and Enhanced Learning Capability rPPG for Remote Heart Rate Estimation [51.56484100374058]
  本稿では,効率的なRGBビデオのための革新的なビデオ理解ブロック(GVB)を提案する。 Mamの構造に基づいて、2D-CNNと3D-CNNを統合し、分析のためのビデオ理解を強化する。 実験により、我々のTYrは一般的に使用されるデータセットで最先端のパフォーマンスを達成できることが示された。
  論文  参考訳（メタデータ） (2025-11-08T03:46:58Z)
• Structural Inference: Interpreting Small Language Models with Susceptibilities [0.5242869847419834]
  本研究では,ニューラルネットワークをベイズ統計力学系として扱う線形応答フレームワークを開発した。 データ分散の小さな摂動は、ネットワークの選択されたコンポーネントに局在した観測可能領域の後方期待の1次変化を誘導する。 結果として生じる感受性は、局所的なSGLDサンプルで効率的に推定され、署名された個々のコントリビューションに分解される。
  論文  参考訳（メタデータ） (2025-04-25T11:39:32Z)
• Partially Rewriting a Transformer in Natural Language [0.7234862895932991]
  簡単な自然言語の説明を用いて,大規模な言語モデルを部分的に書き直そうと試みる。 我々は、このスパースの最初の層を、各ニューロンの活性化を予測するLCMベースのシミュレーターで置き換える。 これらの修正がモデルの最終出力を歪める程度を測定する。
  論文  参考訳（メタデータ） (2025-01-31T01:12:50Z)
• Transcoders Find Interpretable LLM Feature Circuits [1.4254279830438588]
  サブレイヤを通して回路解析を行うためにトランスコーダを用いる新しい手法を提案する。 120M, 410M, 1.4Bパラメータを持つ言語モデル上でトランスコーダを訓練し, 疎さ, 忠実さ, 人間の解釈可能性の観点から, 少なくともSAEに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T17:49:00Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• The Lazy Neuron Phenomenon: On Emergence of Activation Sparsity in Transformers [59.87030906486969]
  本稿では,Transformer アーキテクチャを用いた機械学習モデルにおいて,アクティベーションマップが疎いという興味深い現象について考察する。 本稿では, 自然言語処理と視覚処理の両方において, スパーシリティが顕著な現象であることを示す。 本稿では,変換器のFLOP数を大幅に削減し,効率を向上する手法について論じる。
  論文  参考訳（メタデータ） (2022-10-12T15:25:19Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。