論文の概要: Where Are Language-Specific Features Represented in Multilingual LLMs? Everywhere

• arxiv url: http://arxiv.org/abs/2610.25505v1
• Date: Sun, 18 Oct 2026 19:45:53 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-10-20 22:34:35.885324
• Title: Where Are Language-Specific Features Represented in Multilingual LLMs? Everywhere
• Title（参考訳）: 多言語LLMで表現される言語の特徴はどこにあるのか?
• Abstract要約: 言語同一性はモデル全体で強く回復可能であることを示す。 このモデルは、ポルトガル語よりもスペイン語に近いあいまいな文字列を分類する傾向がある。
• 参考スコア（独自算出の注目度）: 1.9193579706947885
• License:
• Abstract: Previous work has argued that multilingual LLMs encode language-specific features most strongly in their initial and final layers, implying that intermediate layers support language-agnostic representations. This paper reconsiders this finding by performing four different experiments: three that undertake a fine-grained analysis of representations of Portuguese and Spanish, two closely related languages, and one large-scale language identification experiment that covers over 200 languages. The results of these experiments challenge the strict separation between language-specific and language-agnostic layers in multilingual LLMs, using Llama 3.2 1B as a test case. By analyzing and manipulating contextual sentence embeddings, we demonstrate that language identity remains strongly recoverable throughout the model rather than being restricted to initial and final layers. Moreover, we find that the model tends to classify ambiguous strings as closer to Spanish than to Portuguese, revealing a skew in model behavior that differs from human judgments.
• Abstract（参考訳）: これまでの研究では、言語固有の機能を多言語でエンコードするLLMは、初期層と最終層で最も強く、中間層が言語に依存しない表現をサポートすることを示唆していた。 本稿では,ポルトガル語とスペイン語の表現のきめ細かい分析を行う3つの実験,近縁な2つの言語,200以上の言語をカバーする1つの大規模言語識別実験という,4つの異なる実験を行うことにより,この発見を再考する。 これらの実験の結果は、Llama 3.2 1B をテストケースとして、多言語 LLM における言語固有の層と言語に依存しない層との厳密な分離に挑戦した。 文脈文の埋め込みを解析および操作することにより、初期層や最終層に制限されるのではなく、モデル全体で言語アイデンティティが強く回復可能であることを示す。 さらに、このモデルでは、ポルトガル語よりもスペイン語に近いあいまいな文字列を分類する傾向があり、人間の判断と異なるモデル行動の歪が明らかになる。

関連論文リスト

• Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders [51.380449540006985]
  大規模言語モデル(LLM)は多くの言語を処理できるが、どのようにして内部的にこの多様性を表現しているのかは不明だ。 言語固有のデコーディングと多言語表現を共有できるのでしょうか? 層間トランスコーダ(CLT)と属性グラフを用いて内部メカニズムを解析する。
  論文  参考訳（メタデータ） (2025-11-13T22:51:06Z)
• How does a Multilingual LM Handle Multiple Languages? [0.0]
  本研究では,多言語理解,意味表現,言語間知識伝達の能力について批判的に検討する。 コサイン類似性を用いた一貫性のための多言語単語埋め込みの分析により意味的類似性を評価する。 BLOOM-1.7B と Qwen2 を Named Entity Recognition と文類似性タスクを通して調べ、それらの言語構造を理解する。
  論文  参考訳（メタデータ） (2025-02-06T18:08:14Z)
• Randomly Sampled Language Reasoning Problems Elucidate Limitations of In-Context Learning [9.75748930802634]
  機械学習の性能を向上させるために,テキスト内学習の能力について検討する。 非常に単純なドメインを考える: 単純な言語タスクにおける次のトークン予測。 この課題において LLM は n-gram モデルに一様に劣ることがわかった。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• How Do Multilingual Language Models Remember Facts? [50.13632788453612]
  これまでに同定された英語のリコール機構が多言語文脈に適用可能であることを示す。 我々は、リコール中の言語の役割をローカライズし、エンリッチメントが言語に依存しないことを発見した。 デコーダのみのLLMでは、FVは2つの異なる段階でこれらの2つの情報を構成する。
  論文  参考訳（メタデータ） (2024-10-18T11:39:34Z)
• Multilingual Needle in a Haystack: Investigating Long-Context Behavior of Multilingual Large Language Models [22.859955360764275]
  本稿では,MultiLingual Needle-in-a-Haystack(MLNeedle)テストを導入する。 我々はMLNeedleの4つの最先端の大規模言語モデルを評価する。
  論文  参考訳（メタデータ） (2024-08-19T17:02:06Z)
• Understanding and Mitigating Language Confusion in LLMs [76.96033035093204]
  我々は,既存の英語および多言語プロンプトを用いた15の型的多様言語の評価を行った。 Llama Instruct と Mistral のモデルでは,言語的混乱の度合いが高いことがわかった。 言語混乱は,数発のプロンプト,多言語SFT,選好調整によって部分的に緩和できることがわかった。
  論文  参考訳（メタデータ） (2024-06-28T17:03:51Z)
• Are Multilingual Models Effective in Code-Switching? [57.78477547424949]
  多言語モデルの有効性を検討し,複合言語設定の能力と適応性について検討する。 この結果から,事前学習した多言語モデルでは,コードスイッチングにおける高品質な表現が必ずしも保証されないことが示唆された。
  論文  参考訳（メタデータ） (2021-03-24T16:20:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。