論文の概要: Grammatical "grandmother neurons" are rare in LLMs

• arxiv url: http://arxiv.org/abs/2609.29328v1
• Date: Thu, 24 Sep 2026 10:04:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:09.829141
• Title: Grammatical "grandmother neurons" are rare in LLMs
• Title（参考訳）: LLMでは、文法上の「グランドマザーニューロン」は稀である
• Abstract要約: 本稿では,個々のニューロンレベルでの言語選択性をローカライズするためのプローブフリーフレームワークを提案する。 パラメータ更新なしで文法的構造と文法的構造をいかに区別するかを直接的確に定量化する指標であるニューロン分離性指数(NSI)を提案する。
• 参考スコア（独自算出の注目度）: 16.704937458649272
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Understanding how Large Language Models (LLMs) encode linguistic structures remains a fundamental challenge in interpretability research. While diagnostic classifiers (or "probes") are widely used for this task, they face significant methodological criticism: training auxiliary classifiers introduces capacity confounds and calibration issues, often making it difficult to distinguish the model's intrinsic representations from the probe's ability to learn the task. To address these limitations, we introduce a probe-free framework for localizing linguistic selectivity at the individual neuron level. Leveraging the controlled contrasts of linguistic minimal pairs, we propose a Neuron Separability Index (NSI), a metric that directly quantifies how reliably single neurons differentiate grammatical from ungrammatical constructions without parameter updates. Applying NSI across 68 linguistic paradigms and seven checkpoints reveals three main patterns: 1) raw separability reaches near-peak levels earlier for morphological and syntactic distinctions than for syntax-semantics interface and conceptual distinctions. 2) after permutation normalization, single-unit selectivity is sparse, weak, and narrowly tuned: only a small fraction of units are sensitive to an average paradigm, and strongly selective "grandmother neurons" are rare. 3) whole-vector linear separability, single-neuron selectivity, and behavioral competence are largely dissociated, and targeted ablations further separate activation selectivity from causal reliance.
• Abstract（参考訳）: 大言語モデル(LLM)がどのように言語構造を符号化するかを理解することは、解釈可能性研究の根本的な課題である。 補助分類器の訓練はキャパシティ・コンファウンドとキャリブレーションの問題を導入し、しばしばモデルの本質的な表現とタスクを学習する能力の区別を困難にする。 これらの制約に対処するために、個々のニューロンレベルで言語選択性をローカライズするためのプローブフリーフレームワークを導入する。 言語的最小対の制御されたコントラストを利用して、パラメータ更新なしで文法的構造と文法的構造をいかに確実に区別するかを直接的確に評価する指標であるニューロン分離性指数(NSI)を提案する。 68の言語パラダイムと7つのチェックポイントにNSIを適用すると、3つの主要なパターンが明らかになる。 1) 生の分離性は, 文法・セマンティック・インタフェースや概念的区別よりも, 形態的・統語的区別において, ほぼピークレベルに達する。 2) 置換正規化後, 単ユニット選択性は狭く, 弱く, 狭く調整され, 平均的パラダイムに敏感な単位はごくわずかであり, 強い選択性を持つ「グランドマザーニューロン」は稀である。 3) 全ベクター線形分離性, 単一ニューロン選択性, 行動能力はおおむね二分され, 目的は, 因果依存からさらに分離された活性化選択性である。

関連論文リスト

• Multilingual Emotion Neurons in Large Audio-Language Models [15.987865011030387]
  感情は人間のコミュニケーションの中心であり、その表現は言語によって異なる。 大規模音声言語モデル(LALM)が言語固有の相関や言語に依存しない表現を通じて感情を符号化するかどうかは不明である。 本研究は,神経レベルでの解釈可能性に関する最初の研究である。
  論文  参考訳（メタデータ） (2026-08-09T15:42:55Z)
• Can Dialects Be Steered Like Languages? Sparse Neurons and Distributed Directions in Arabic LLMs [60.9510933247844]
  アラビア語NLPの主な課題は、現代標準アラビア語(MSA)と比較して方言データの不足である。 解釈可能性の観点からすると、これは基本的な疑問を提起する。 本研究では,解釈可能性プローブと制御機構を兼ね備えた2つの相補的推論時間アプローチについて検討した。
  論文  参考訳（メタデータ） (2026-07-04T16:04:44Z)
• Revisiting Modality Invariance in a Multilingual Speech-Text Model via Neuron-Level Analysis [15.638379666159127]
  言語とモダリティの情報を符号化した場所、選択的ニューロンがデコードにどのように影響するか、そしてこの影響がネットワーク全体にどの程度集中しているかについて検討する。 我々は,平均精度ランキングを用いて言語選択性ニューロンとモダリティ選択性ニューロンを同定し,その機能的役割を推定時に中心的置換介入を用いて検討し,言語とモダリティ間のアクティベーション・マグニチュードの不平等を解析した。
  論文  参考訳（メタデータ） (2026-01-24T09:22:18Z)
• CRANE: Causal Relevance Analysis of Language-Specific Neurons in Multilingual Large Language Models [0.021485350418225243]
  言語能力がニューロンレベルでどのように組織されるかは、いまだに理解されていない。 機能的必要度の観点から言語特異性を再定義する関連性に基づく分析フレームワークであるCRANEを提案する。
  論文  参考訳（メタデータ） (2026-01-08T07:21:13Z)
• Far from the Shallow: Brain-Predictive Reasoning Embedding through Residual Disentanglement [43.96899536703126]
  現代の大規模言語モデル(LLM)は、言語に対する神経反応をモデル化するためにますます使われている。 彼らの内部表現は極めて「絡み合っている」ものであり、語彙、構文、意味、推論に関する情報を混ぜている。 この絡み合いは、言語学的に浅い特徴に対する従来の脳のコード解析に偏っている。
  論文  参考訳（メタデータ） (2025-10-26T22:46:26Z)
• How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective [64.79894853375478]
  本稿では,言語ニューロン(言語特異的ニューロンや言語関連ニューロンを含む)と言語非依存ニューロンを検出する,より微細なニューロン識別アルゴリズムを提案する。 異なる種類のニューロンの分布特性に基づいて、多言語推論のためのLCMの内部過程を4つの部分に分割する。 我々は、異なる種類のニューロンに焦点を合わせ、その前後のモデルを体系的に分析する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:52Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [85.0284555835015]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 多言語環境でのLLMの内部動作を探究する研究はほとんどない。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Demystifying Neural Language Models' Insensitivity to Word-Order [7.72780997900827]
  摂動の定量化により,自然言語モデルの単語順に対する不感度について検討する。 ニューラルネットワークモデルは、トークンのグローバルな順序付けよりも、局所的な順序付けを必要とする。
  論文  参考訳（メタデータ） (2021-07-29T13:34:20Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。