論文の概要: Distribution-aware Language Neuron Identification in Multilingual Large Language Models

• arxiv url: http://arxiv.org/abs/2609.10993v1
• Date: Thu, 10 Sep 2026 02:12:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-11 23:53:35.196592
• Title: Distribution-aware Language Neuron Identification in Multilingual Large Language Models
• Title（参考訳）: 多言語大言語モデルにおける分布認識型言語ニューロン同定
• Abstract要約: 既存の作業は、各ニューロンの言語学的確率のエントロピーを用いて言語特異性を測定する。 本稿では,言語ごとのアクティベーション分布のペア関係を利用した分布認識言語ニューロン選択法を提案する。 我々の識別子は、言語固有の因果効果をより効果的に分離し、ニューロン当たりの目標言語損傷を最大4.9$times(約4.9ドル)に高める。
• 参考スコア（独自算出の注目度）: 11.749671657167966
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual large language models (mLLMs) contain a small fraction of feed-forward neurons that are sensitive to particular languages, commonly termed language-specific neurons. Existing work measures language specificity using the entropy of each neuron's language-wise probabilities of being active, where a neuron is considered active when its activation value is positive. However, this approach may not fully capture the multilingual nature of mLLMs, where language representations are distributional and mutually related. We propose Distribution-aware Language Neuron selection, which leverages pairwise relationships between per-language activation distributions over the full activation range, including negative values. Specifically, we quantify each neuron's language specificity by clustering languages using pairwise overlap coefficients between their activation distributions. Across two mLLMs and two held-out corpora, our identifier more effectively isolates language-specific causal effects, yielding up to 4.9$\times$ higher on-target language damage per neuron while preserving off-target language performance.
• Abstract（参考訳）: マルチ言語大言語モデル(mLLMs)は、特定の言語、一般的には言語固有のニューロンに敏感なフィードフォワードニューロンのごく一部を含む。 既存の作業は、各ニューロンの言語学的確率のエントロピーを用いて言語特異性を測定する。 しかし、この手法は言語表現が分散的で相互に関連があるmLLMの多言語性を完全には捉えないかもしれない。 負の値を含む全アクティベーション範囲における言語ごとのアクティベーション分布のペア関係を利用した分布認識言語ニューロン選択法を提案する。 具体的には、アクティベーション分布間のペアの重なり係数を用いて、各ニューロンの言語特異性をクラスタリング言語により定量化する。 2つのmLLMと2つのホールドアウトコーパスで、我々の識別子はより効果的に言語固有の因果効果を分離し、最大4.9$\times$ニューロン当たりの言語障害を発生させる。

関連論文リスト

• Multilingual Emotion Neurons in Large Audio-Language Models [15.987865011030387]
  感情は人間のコミュニケーションの中心であり、その表現は言語によって異なる。 大規模音声言語モデル(LALM)が言語固有の相関や言語に依存しない表現を通じて感情を符号化するかどうかは不明である。 本研究は,神経レベルでの解釈可能性に関する最初の研究である。
  論文  参考訳（メタデータ） (2026-08-09T15:42:55Z)
• CRANE: Causal Relevance Analysis of Language-Specific Neurons in Multilingual Large Language Models [0.021485350418225243]
  言語能力がニューロンレベルでどのように組織されるかは、いまだに理解されていない。 機能的必要度の観点から言語特異性を再定義する関連性に基づく分析フレームワークであるCRANEを提案する。
  論文  参考訳（メタデータ） (2026-01-08T07:21:13Z)
• Language Arithmetics: Towards Systematic Language Neuron Identification and Manipulation [9.518772041855923]
  Llama-3.1-8B, Mistral-Nemo-12B, Aya-Expanse-8B & 32B の言語特異的ニューロンを21言語で解析した。 これらのニューロンはより深い層に集結し、非ラテン語のスクリプトはより高度な特殊化を示す。 不要な言語を非活性化し、望ましい言語をアクティベートし、より単純な代替アプローチよりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2025-07-30T12:23:39Z)
• The Emergence of Abstract Thought in Large Language Models Beyond Any Language [95.50197866832772]
  大規模言語モデル(LLM)は様々な言語で効果的に機能する。 予備的研究では、LLMの隠れた活性化は、英語以外のプロンプトに反応してもしばしば英語に類似している。 近年の結果は多言語のパフォーマンスが強く、他の言語での特定のタスクにおける英語のパフォーマンスを超えている。
  論文  参考訳（メタデータ） (2025-06-11T16:00:54Z)
• How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective [64.79894853375478]
  本稿では,言語ニューロン(言語特異的ニューロンや言語関連ニューロンを含む)と言語非依存ニューロンを検出する,より微細なニューロン識別アルゴリズムを提案する。 異なる種類のニューロンの分布特性に基づいて、多言語推論のためのLCMの内部過程を4つの部分に分割する。 我々は、異なる種類のニューロンに焦点を合わせ、その前後のモデルを体系的に分析する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:52Z)
• Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
  言語混乱に関する最初の機械論的解釈可能性研究について述べる。 混乱点(CP)がこの現象の中心であることを示す。 比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T11:29:17Z)
• Language-specific Neurons Do Not Facilitate Cross-Lingual Transfer [21.205821852762362]
  言語固有のニューロンを識別する既存の技術は、低リソース言語の言語間タスク性能を向上させるために利用することができる。 このようなニューロン特異的な介入は、下流タスクにおいて言語横断的な改善をもたらすには不十分である。
  論文  参考訳（メタデータ） (2025-03-21T18:08:11Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [85.0284555835015]
  大規模言語モデル(LLM)は自然言語処理(NLP)の分野に革命をもたらした。 多言語環境でのLLMの内部動作を探究する研究はほとんどない。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• Revealing the Parallel Multilingual Learning within Large Language Models [50.098518799536144]
  本研究では,多言語大言語モデル(LLM)の文脈内学習能力を明らかにする。 入力を複数の言語に翻訳することで、並列入力(PiM)をLLMに提供し、その理解能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-14T03:33:46Z)
• Same Neurons, Different Languages: Probing Morphosyntax in Multilingual Pre-trained Models [84.86942006830772]
  多言語事前学習モデルは文法に関する言語・ユニバーサルの抽象化を導出できると推測する。 43の言語と14のモルフォシンタクティックなカテゴリーで、最先端のニューロンレベルのプローブを用いて、初めて大規模な実験を行った。
  論文  参考訳（メタデータ） (2022-05-04T12:22:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。