論文の概要: Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise

• arxiv url: http://arxiv.org/abs/2610.24521v1
• Date: Sat, 17 Oct 2026 07:31:51 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 11:43:11.649464
• Title: Comparing Sparsified MLPs and Transcoders: Many Transcoder Features Are Neurons in Disguise
• Title（参考訳）: スパシファイドMLPとトランスコーダの比較:多くのトランスコーダの特徴はニューロンである
• Abstract要約: 最近の研究は、神経細胞がスパースで解釈可能な回路の回復に利用できることを示している。 これにより、回路解析にトランスコーダが必要なのかという疑問が提起される。
• 参考スコア（独自算出の注目度）: 0.3355807112941848
• License:
• Abstract: MLP neurons in transformer language models are widely understood to be polysemantic, motivating transcoders - sparse, learned approximations of MLP layers - as interpretable replacement models for mechanistic analysis. However, recent work shows that MLP neurons can be used to recover sparse, interpretable circuits (Arora et al. 2026, Ye et al. 2025), raising the question of whether transcoders are necessary for circuit analysis. We define neuron features as transcoder features whose weights are strongly aligned with individual MLP neurons, and show that they account for a substantial fraction of active features in late layers across 13 open-source transcoders. Only neuron features have a stable correspondence with something in the underlying MLP: other features vary more between training runs, do not match the MLP's Jacobian, and change less significantly from their random initialization. Our findings reframe MLP neurons as a stronger basis for interpretability than commonly assumed, and call for better methods of attributing the non-neuron structure that is used by the model.
• Abstract（参考訳）: トランスフォーマー言語モデルにおけるMLPニューロンは、機械的解析の解釈可能な代替モデルとしてポリセマンティック(polysemantic)、モチベーショントランスコーダ(sparse, learned approximations of MLP layer)と広く理解されている。 しかし、近年の研究では、MLPニューロンはスパースで解釈可能な回路(Arora et al 2026, Ye et al 2025)の回復に利用でき、回路解析にトランスコーダが必要であるかどうかという疑問が提起されている。 我々は、ニューロンの特徴を、個々のMLPニューロンと重みが強く一致しているトランスコーダの特徴として定義し、これらが13個のオープンソーストランスコーダの後期層における活性な特徴のかなりの部分を占めていることを示す。 ニューロンの特徴だけが、基礎となるMLPの何かと安定した対応を持ち、他の特徴はトレーニング実行の間、MLPのヤコビアンと一致せず、ランダムな初期化から著しく変化しない。 本研究は,MLPニューロンを,一般的に想定されるより強い解釈可能性の基盤として再編成し,モデルで使用される非ニューロン構造に寄与するより良い方法を求めるものである。

関連論文リスト

• Sparse Transformer: a Controlled Testbed for Mechanistic Interpretability [9.526380717691774]
  Sparse Transformerを使用して、ニューラルネットワークの計算を人間の理解可能な機能に分解する。 その結果,STニューロンはAutoInterpで43%,損失整合密度変換器を43%上回っていることがわかった。 STは多相性(英語版)の制御された研究を可能にし、そのスパースを密度の高いものに蒸留することで、圧縮が如何に特徴重畳をもたらすかを明らかにする。
  論文  参考訳（メタデータ） (2026-10-14T10:03:12Z)
• Disentangling MLP Neuron Weights in Vocabulary Space [24.015614062970247]
  ROTATEは、フォワードパスを必要としないデータフリーの手法で、重み空間でニューロンを直接巻き付ける。 我々のアプローチは重要な統計観測に依存しており、コヒーレントで単意味的な概念をコードするニューロンは、モデルの語彙に投影されたときに高い曲率を示す。 Llama-3.1-8B-InstructとGemma-2-2B-itの実験は、ROTATEがニューロンの行動に忠実な語彙チャネルを一貫して回復することを示した。
  論文  参考訳（メタデータ） (2026-04-07T15:39:45Z)
• Language Model Circuits Are Sparse in the Neuron Basis [50.460651620833055]
  その結果, textbfMLP ニューロンは SAE と同様の機能的基盤であることがわかった。 この作業は、追加のトレーニングコストなしで言語モデルの自動解釈可能性を向上させる。
  論文  参考訳（メタデータ） (2026-01-30T05:41:19Z)
• SAFR: Neuron Redistribution for Interpretability [7.756342860929851]
  重ね合わせ(英: superposition)とは、単一ニューロン内の複数の特徴の表現を符号化することである。 期待された性能にもかかわらず、モデルの解釈可能性は低下している。 本稿では,特徴重畳を正規化することによってモデル解釈可能性を高める新しい手法を提案する。
  論文  参考訳（メタデータ） (2025-01-23T06:20:33Z)
• Transcoders Find Interpretable LLM Feature Circuits [1.4254279830438588]
  サブレイヤを通して回路解析を行うためにトランスコーダを用いる新しい手法を提案する。 120M, 410M, 1.4Bパラメータを持つ言語モデル上でトランスコーダを訓練し, 疎さ, 忠実さ, 人間の解釈可能性の観点から, 少なくともSAEに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2024-06-17T17:49:00Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Neural Functional Transformers [99.98750156515437]
  本稿では,ニューラルファンクショナルトランスフォーマー (NFT) と呼ばれる新しい変分同変量空間層を定義するために,アテンション機構を用いる。 NFTは重み空間の置換対称性を尊重し、注意の利点を取り入れ、複数の領域で顕著な成功を収めた。 Inr2Arrayは暗黙的ニューラル表現(INR)の重みから置換不変表現を計算する新しい方法である。
  論文  参考訳（メタデータ） (2023-05-22T23:38:27Z)
• Benchmarking Compositionality with Formal Languages [64.09083307778951]
  我々は,NLPにおける大規模ニューラルモデルが,データから学習しながら,原始概念をより大規模な新しい組み合わせに組み込むことができるかどうかを検討する。 多くのトランスデューサをランダムにサンプリングすることにより、ニューラルネットワークによる合成関係の学習性に寄与する特性を探索する。 モデルは完全に関係を学習するか全く学習しないかが分かる。鍵となるのはトランジッションカバレッジであり、トランジッション毎に400の例でソフトな学習可能性制限を設定する。
  論文  参考訳（メタデータ） (2022-08-17T10:03:18Z)
• Efficient Language Modeling with Sparse all-MLP [53.81435968051093]
  すべてのMLPは、言語モデリングにおいてTransformerと一致するが、下流タスクではまだ遅れている。 特徴量と入力量の両方でMoE(Mix-of-Experts)を混合したスパースオールMLPを提案する。 6つの下流タスクにおいて、ゼロショットのインコンテキスト学習性能を評価し、トランスフォーマーベースのMoEや高密度トランスフォーマーを上回る結果を得た。
  論文  参考訳（メタデータ） (2022-03-14T04:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。