論文の概要: Neuron-Guided Interpretation of Code LLMs: Where, Why, and How?

• arxiv url: http://arxiv.org/abs/2512.19980v1
• Date: Tue, 23 Dec 2025 02:04:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-24 19:17:49.711723
• Title: Neuron-Guided Interpretation of Code LLMs: Where, Why, and How?
• Title（参考訳）: コードLLMのニューロンガイドによる解釈 : どこ、なぜ、どのように?
• Authors: Zhe Yin, Xiaodong Gu, Beijun Shen,
• Abstract要約: 我々は、LLMをニューロンレベルでコードし、言語特異的ニューロン(選択的に1つの言語に応答する)と概念層を局在させる。 C++,Java,Python,Go,JavaScriptの多言語入力におけるLlama-3.1-8BとQwen2.5-Coder-32Bの分析を行った。 1)汎用生成をサポートする普遍的なサブセットと共に個々の言語に特化しているニューロンと,(2)言語固有の構文を主にエンコードする下位層と,中間層が言語間で共有されるセマンティック抽象化をキャプチャする。
• 参考スコア（独自算出の注目度）: 9.839916751467134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Code language models excel on code intelligence tasks, yet their internal interpretability is underexplored. Existing neuron interpretability techniques from NLP are suboptimal for source code due to programming languages formal, hierarchical, and executable nature. We empirically investigate code LLMs at the neuron level, localizing language-specific neurons (selectively responsive to one language) and concept layers (feed-forward layers encoding language-agnostic code representations). We analyze Llama-3.1-8B and Qwen2.5-Coder-32B on multilingual inputs in C++, Java, Python, Go, and JavaScript, measuring neuron selectivity and layerwise contributions during generation. We find (1) neurons specialized for individual languages alongside a universal subset supporting general-purpose generation; and (2) lower layers mainly encode language-specific syntax, while middle layers capture semantic abstractions shared across languages, emerging as concept layers. We demonstrate utility on three tasks: neuron-guided fine-tuning for code generation, clone detection via concept-layer embeddings, and concept-layer-guided transfer for code summarization, each yielding consistent gains in multilingual settings.
• Abstract（参考訳）: コード言語モデルは、コードインテリジェンスタスクに精通しているが、内部の解釈性は過小評価されている。 NLPの既存のニューロン解釈技術は、プログラミング言語の形式的、階層的、実行可能性により、ソースコードに最適である。 我々は,LLMをニューロンレベルで解析し,言語特異的ニューロン(一つの言語に選択的に応答する)と概念層(言語に依存しないコード表現をコードするフィードフォワード層)を局在させる。 我々は,C++,Java,Python,Go,JavaScriptの多言語入力に関するLlama-3.1-8BとQwen2.5-Coder-32Bを分析し,生成中のニューロンの選択性と階層的コントリビューションを測定した。 1)汎用生成をサポートする普遍的なサブセットと共に個々の言語に特化しているニューロンと,(2)言語固有の構文を主にエンコードする下位層と,中間層が言語間で共有されるセマンティック抽象化をキャプチャし,概念層として出現する。 本稿では, コード生成のためのニューロン誘導微調整, 概念層埋め込みによるクローン検出, コード要約のための概念層誘導転送の3つの課題について述べる。

関連論文リスト

• Language Arithmetics: Towards Systematic Language Neuron Identification and Manipulation [9.518772041855923]
  Llama-3.1-8B, Mistral-Nemo-12B, Aya-Expanse-8B & 32B の言語特異的ニューロンを21言語で解析した。 これらのニューロンはより深い層に集結し、非ラテン語のスクリプトはより高度な特殊化を示す。 不要な言語を非活性化し、望ましい言語をアクティベートし、より単純な代替アプローチよりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2025-07-30T12:23:39Z)
• How Programming Concepts and Neurons Are Shared in Code Language Models [55.22005737371843]
  2つのLlamaモデルを用いて,21個のPLペアに対して数ショットの翻訳処理を行う。 概念空間は英語に近づき(PLキーワードを含む)、中間層後半の英語トークンに高い確率を割り当てる。 我々は11個のPLと英語のニューロンの活性化を分析し、言語特異的ニューロンが主に下層に集中しているのに対し、各PL専用のニューロンは上層に現れる傾向にあることを示した。
  論文  参考訳（メタデータ） (2025-06-01T16:24:13Z)
• How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective [64.79894853375478]
  本稿では,言語ニューロン(言語特異的ニューロンや言語関連ニューロンを含む)と言語非依存ニューロンを検出する,より微細なニューロン識別アルゴリズムを提案する。 異なる種類のニューロンの分布特性に基づいて、多言語推論のためのLCMの内部過程を4つの部分に分割する。 我々は、異なる種類のニューロンに焦点を合わせ、その前後のモデルを体系的に分析する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:52Z)
• Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
  ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。 3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。 我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
  論文  参考訳（メタデータ） (2024-11-11T16:33:25Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [85.0284555835015]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 多言語環境でのLLMの内部動作を探究する研究はほとんどない。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)
• Low-Dimensional Structure in the Space of Language Representations is Reflected in Brain Responses [62.197912623223964]
  言語モデルと翻訳モデルは,単語の埋め込み,構文的・意味的タスク,将来的な単語埋め込みとの間を円滑に介在する低次元構造を示す。 この表現埋め込みは、各特徴空間が、fMRIを用いて記録された自然言語刺激に対する人間の脳反応にどれだけうまく対応しているかを予測することができる。 これは、埋め込みが脳の自然言語表現構造の一部を捉えていることを示唆している。
  論文  参考訳（メタデータ） (2021-06-09T22:59:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。