論文の概要: Are Causal Neuron Circuits Unique and Transferable?
- arxiv url: http://arxiv.org/abs/2611.13885v2
- Date: Wed, 11 Nov 2026 05:53:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:32.910565
- Title: Are Causal Neuron Circuits Unique and Transferable?
- Title(参考訳): 因果ニューロン回路は特異で伝達可能か?
- Abstract要約: 解釈可能性の実証は、ニューロンのグループへの介入がモデルの答えを変えることをしばしば示している。
ニューロンのグループに介入することで、モデルの答えが変わるとき、そのグループのどれ程が実際に必要か?
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Interpretability demonstrations often show that intervening on a group of neurons changes a model's answer. A recent example removes an 18-neuron group in Qwen3-32B and the model answers "Simba" instead of "Scar" to a two-hop Lion King riddle. Such a demonstration establishes that the group matters, but not how much of it is necessary, whether other groups could do the same, or whether the effect carries over to other inputs. We ask: when intervening on a group of neurons changes a model's answer, how much of that group is actually necessary? For every selected group we measure all 4,096 subsets of 12 MLP neurons. On a two-alternative capital task (Qwen3-0.6B), zero-ablating 12 selected neurons lowers the answer margin by 27% while random neurons barely change it, yet replacing the same neurons with their values from other questions also barely changes it: their activations are nearly constant across questions, and we find no evidence that they carry question-specific content. On two-hop relation chains, patching 12 neurons with activations from the first-hop question shifts the answer to the bridge entity (from Scar to Simba): the greedy answer starts with the bridge in 9/11 chains for Qwen3-1.7B, 9/11 for Llama-3.2-1B and 8/10 for Gemma-3-1B; random neurons never do. The full group is rarely necessary: a few neurons often suffice, and in many chains disjoint subsets each flip the answer on their own, in an exploratory analysis most often when the model is less confident. Group effects transfer to rephrasings of the same chain but are much weaker on other tested chains. We study neuron-level causal interventions and alternative subsets; we do not recover the full connectivity of circuits.
- Abstract(参考訳): 解釈可能性の実証は、ニューロンのグループへの介入がモデルの答えを変えることをしばしば示している。
最近の例では、Qwen3-32Bの18ニューロン群を除去し、モデルが「Scar」の代わりに「Simba」と答えて、2ホップのライオンキングの滑走に応答する。
このようなデモンストレーションは、その群がどれほど必要か、他の群が同じことをできるかどうか、あるいはその効果が他の入力に受け継がれるかどうか、といったことを証明している。
ニューロンのグループに介入することで、モデルの答えが変わるとき、そのグループのどれ程が実際に必要か?
選択されたグループ毎に、12個のMLPニューロンの4,096個のサブセットを全て測定する。
2-alternative capital task (Qwen3-0.6B)では、0-ablating 12のニューロンが解答マージンを27%下げる一方、ランダムニューロンはわずかに変化しないが、同じニューロンを他の質問から値に置き換えることはほとんどない。
2つのホップ関係鎖では、最初のホップ質問からの活性化で12のニューロンにパッチを当てると、応答がブリッジエンティティ(ScarからSimbaへ)にシフトする: グリーディ応答は、Qwen3-1.7Bの9/11鎖、Llama-3.2-1Bの9/11、Gemma-3-1Bの8/10鎖の9/11鎖のブリッジから始まる。
完全な群はめったに必要とされない: 少数のニューロンは、しばしば十分であり、多くの鎖では、モデルの信頼性が低い場合の探索的分析において、各サブセットがそれぞれ単独で解答を反転する。
群効果は、同じ鎖の言い換えに転移するが、他の試験鎖よりも弱い。
ニューロンレベルの因果介入と代替サブセットについて検討し、回路の完全な接続性は回復しない。
関連論文リスト
- Representational drift in a code model: behaviour settles, which neurons carry it does not [0.0]
神経科学において、表現的ドリフト(英: representational drift)とは、行動が同じ状態にある間、ニューロンが表現を運ぶ変化である。
プレトレーニング中のOpenCoder-1.5Bでは,2兆トークン以上を一定の学習速度で構成するPythonの169に対して,その類似度を測定した。
169のうち16は、文法が次のトークンを固定するものであり、それらの位置における損失は、最初の4%のトレーニングで床に達する。
論文 参考訳(メタデータ) (2026-11-06T09:24:13Z) - Weakening Neurons: An Input-Output Functionality in Transformers with Outsize Influence [61.04955764026749]
大規模言語モデルにおけるGLUベースニューロンの入力出力挙動を解析する。
弱いニューロンは驚くべき行動を示す。
論文 参考訳(メタデータ) (2026-09-16T13:03:12Z) - Neuron Level Analysis of Large Language Model in Legal Domain Reasoning [27.57551296522159]
ニューロンの属性スコアを用いて、影響力のあるニューロンのランク付けと抑制を行い、同定されたニューロンの抑制が目標タスクの精度を低下させることを示す。
法的な領域内では、3つのベンチマークは比較的高いニューロン重複を示し、共同で影響を受ける傾向があり、司法管轄領域にまたがる法的な成分ニューロンを示唆している。
論文 参考訳(メタデータ) (2026-06-14T16:06:35Z) - Tiny Brains, Giant Impact: Uncovering the Keystone Neurons of LLM with Just a Few Prompts [57.98275914877019]
広い範囲のオープンウェイトトランスフォーマーにおいて、ニューロンのサブセットは、複数の能力次元のタスクをまたいだ推論において、常に高度に活性化されることが示される。
クロスタスク活性化強度に沿って探索することにより、非常にスパースなサブセットが分離され、その除去はモデル挙動の崩壊を引き起こす。
解析の結果,キーストーンニューロンは,前訓練中にほぼ確立されたモデルの安定で内在的なニューロンサブセットであることが明らかとなった。
論文 参考訳(メタデータ) (2026-05-24T03:31:07Z) - Do Hallucination Neurons Generalize? Evidence from Cross-Domain Transfer in LLMs [0.0]
最近の研究は「幻覚ニューロン」(Hニューロン)の集合を同定している
これらのニューロンは、いつ大きな言語モデルが幻覚するかを確実に予測する。
我々はHニューロンが知識領域をまたいで一般化するかという自然なフォローアップ質問を問う。
論文 参考訳(メタデータ) (2026-03-27T00:34:15Z) - Confidence Regulation Neurons in Language Models [91.90337752432075]
本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。
エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。
ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
論文 参考訳(メタデータ) (2024-06-24T01:31:03Z) - Universal Neurons in GPT2 Language Models [4.9892471449871305]
異なる初期ランダムシードから学習したGPT2モデルにおける個々のニューロンの普遍性について検討した。
ニューロンの1-5%が普遍的、すなわち、同じ入力で一貫して活性化されるニューロンのペアであることがわかった。
論文 参考訳(メタデータ) (2024-01-22T18:11:01Z) - MixQG: Neural Question Generation with Mixed Answer Types [54.23205265351248]
このギャップを埋めるために、ニューラル質問生成器MixQGを提案する。
yes/no, multiple-choice, extractive, abstractive answerなど,9つの質問応答データセットと多様な回答タイプを組み合わせる。
私たちのモデルは、目に見えない領域と見えない領域の両方で、既存の作業より優れています。
論文 参考訳(メタデータ) (2021-10-15T16:03:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。