論文の概要: Language Arithmetics: Towards Systematic Language Neuron Identification and Manipulation

• arxiv url: http://arxiv.org/abs/2507.22608v1
• Date: Wed, 30 Jul 2025 12:23:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-31 16:14:18.184503
• Title: Language Arithmetics: Towards Systematic Language Neuron Identification and Manipulation
• Title（参考訳）: 言語算術 : 言語ニューロンの同定と操作に向けて
• Authors: Daniil Gurgurov, Katharina Trinley, Yusser Al Ghussin, Tanja Baeumel, Josef van Genabith, Simon Ostermann,
• Abstract要約: Llama-3.1-8B, Mistral-Nemo-12B, Aya-Expanse-8B & 32B の言語特異的ニューロンを21言語で解析した。 これらのニューロンはより深い層に集結し、非ラテン語のスクリプトはより高度な特殊化を示す。 不要な言語を非活性化し、望ましい言語をアクティベートし、より単純な代替アプローチよりも優れた性能を発揮する。
• 参考スコア（独自算出の注目度）: 9.2747149495273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) exhibit strong multilingual abilities, yet the neural mechanisms behind language-specific processing remain unclear. We analyze language-specific neurons in Llama-3.1-8B, Mistral-Nemo-12B, and Aya-Expanse-8B & 32B across 21 typologically diverse languages, identifying neurons that control language behavior. Using the Language Activation Probability Entropy (LAPE) method, we show that these neurons cluster in deeper layers, with non-Latin scripts showing greater specialization. Related languages share overlapping neurons, reflecting internal representations of linguistic proximity. Through language arithmetics, i.e. systematic activation addition and multiplication, we steer models to deactivate unwanted languages and activate desired ones, outperforming simpler replacement approaches. These interventions effectively guide behavior across five multilingual tasks: language forcing, translation, QA, comprehension, and NLI. Manipulation is more successful for high-resource languages, while typological similarity improves effectiveness. We also demonstrate that cross-lingual neuron steering enhances downstream performance and reveal internal "fallback" mechanisms for language selection when neurons are progressively deactivated. Our code is made publicly available at https://github.com/d-gurgurov/Language-Neurons-Manipulation.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、強い多言語能力を示すが、言語固有の処理の背後にある神経機構は未だ不明である。 我々はLlama-3.1-8B,Mistral-Nemo-12B,Aya-Expanse-8B & 32Bの言語特異的ニューロンを21言語で解析し,言語行動を制御するニューロンを同定した。 本稿では,Language Activation Probability Entropy (LAPE) 法を用いて,これらのニューロンがより深い層に集結していることを示す。 関連言語は重複するニューロンを共有し、言語に近い内部表現を反映している。 言語算術、すなわち、体系的なアクティベーション加算と乗算を通じて、不要な言語を非活性化し、望ましい言語を活性化するモデルを操り、より単純な置換アプローチより優れている。 これらの介入は、言語強制、翻訳、QA、理解、NLIの5つの多言語タスクを効果的に導く。 タイポロジカルな類似性によって効率が向上する一方、高リソース言語ではマニピュレーションがより成功している。 また,言語間交叉ニューロンのステアリングが下流性能を高め,ニューロンが徐々に非活性化されると言語選択のための内部"フォールバック"機構を明らかにする。 私たちのコードはhttps://github.com/d-gurgurov/Language-Neurons-Manipulationで公開されています。

関連論文リスト

• How does Alignment Enhance LLMs' Multilingual Capabilities? A Language Neurons Perspective [64.79894853375478]
  本稿では,言語ニューロン(言語特異的ニューロンや言語関連ニューロンを含む)と言語非依存ニューロンを検出する,より微細なニューロン識別アルゴリズムを提案する。 異なる種類のニューロンの分布特性に基づいて、多言語推論のためのLCMの内部過程を4つの部分に分割する。 我々は、異なる種類のニューロンに焦点を合わせ、その前後のモデルを体系的に分析する。
  論文  参考訳（メタデータ） (2025-05-27T17:59:52Z)
• Language-specific Neurons Do Not Facilitate Cross-Lingual Transfer [21.205821852762362]
  言語固有のニューロンを識別する既存の技術は、低リソース言語の言語間タスク性能を向上させるために利用することができる。 このようなニューロン特異的な介入は、下流タスクにおいて言語横断的な改善をもたらすには不十分である。
  論文  参考訳（メタデータ） (2025-03-21T18:08:11Z)
• Sharing Matters: Analysing Neurons Across Languages and Tasks in LLMs [70.3132264719438]
  我々は,タスクや言語間でニューロンの活性化がどのように共有されるかを調べることで,研究ギャップを埋めることを目指している。 我々は、異なる言語にまたがる特定の入力に対する応答に基づいて、ニューロンを4つの異なるカテゴリに分類する。 分析の結果, (i) ニューロン共有のパターンはタスクや例の特徴に大きく影響され, (ii) ニューロン共有は言語類似性に完全には対応しない, (iii) 共有ニューロンは応答の生成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2024-06-13T16:04:11Z)
• On the Multilingual Ability of Decoder-based Pre-trained Language Models: Finding and Controlling Language-Specific Neurons [37.32174349956148]
  多言語デコーダを用いた言語モデル(PLM)のニューロンレベルの内部挙動の解析 言語固有のニューロンは、言語間でわずかに重なり(5%)、ユニークであることを示す。 推論中に各モデルにおける全ニューロンの1%未満をタンパし、少数の言語特異的ニューロンとのタンパリングがテキスト生成におけるターゲット言語発生の確率を劇的に変化させることを実証した。
  論文  参考訳（メタデータ） (2024-04-03T03:37:22Z)
• Revealing the Parallel Multilingual Learning within Large Language Models [50.098518799536144]
  本研究では,多言語大言語モデル(LLM)の文脈内学習能力を明らかにする。 入力を複数の言語に翻訳することで、並列入力(PiM)をLLMに提供し、その理解能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-03-14T03:33:46Z)
• How do Large Language Models Handle Multilingualism? [81.15060972112563]
  本研究では,大規模言語モデル(LLM)が多言語モデルをどのように扱うかを検討する。 LLMはまずクエリを理解し、タスク解決のために多言語入力を英語に変換する。 中間層では、英語を思考に用い、自己意識とフィードフォワード構造を持つ多言語知識を取り入れている。
  論文  参考訳（メタデータ） (2024-02-29T02:55:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。