論文の概要: Multilingual Language Models Encode Script Over Linguistic Structure

• arxiv url: http://arxiv.org/abs/2604.05090v1
• Date: Mon, 06 Apr 2026 18:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.446573
• Title: Multilingual Language Models Encode Script Over Linguistic Structure
• Title（参考訳）: 言語構造上のスクリプトを符号化する多言語言語モデル
• Authors: Aastha A K Verma, Anwoy Chatterjee, Mehak Gupta, Tanmoy Chakraborty,
• Abstract要約: 言語的特徴(抽象言語アイデンティティや表面形状の手がかり)を多言語で表すために検討する。 Romanizationは、ネイティブテキストの入力も英語も一致しないほぼ不一致表現を誘導するが、単語順シャッフルは単位単位に限定的な影響を与える。 以上の結果から,多言語LMが表面形状の表現を整理し,言語的抽象化が徐々に出現し,統合されたインターリングアに陥ることが示唆された。
• 参考スコア（独自算出の注目度）: 17.518899965837768
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Multilingual language models (LMs) organize representations for typologically and orthographically diverse languages into a shared parameter space, yet the nature of this internal organization remains elusive. In this work, we investigate which linguistic properties - abstract language identity or surface-form cues - shape multilingual representations. Focusing on compact, distilled models where representational trade-offs are explicit, we analyze language-associated units in Llama-3.2-1B and Gemma-2-2B using the Language Activation Probability Entropy (LAPE) metric, and further decompose activations with Sparse Autoencoders. We find that these units are strongly conditioned on orthography: romanization induces near-disjoint representations that align with neither native-script inputs nor English, while word-order shuffling has limited effect on unit identity. Probing shows that typological structure becomes increasingly accessible in deeper layers, while causal interventions indicate that generation is most sensitive to units that are invariant to surface-form perturbations rather than to units identified by typological alignment alone. Overall, our results suggest that multilingual LMs organize representations around surface form, with linguistic abstraction emerging gradually without collapsing into a unified interlingua.
• Abstract（参考訳）: 多言語言語モデル(LM)は、類型的および正書法的に多様な言語の表現を共有パラメータ空間に整理するが、その内部構造の性質はいまだ解明されていない。 本研究では,抽象的な言語アイデンティティや表面形状のキュー,多言語表現などの言語特性について検討する。 表現トレードオフが明示的なコンパクト蒸留モデルに着目し,Llama-3.2-1BとGemma-2-2Bの言語関連単位を,Language Activation Probability Entropy(LAPE)メトリックを用いて解析し,さらにスパースオートエンコーダによるアクティベーションを分解する。 語順シャッフルは単位単位の同一性に制限があるのに対し、ロマン化は原文の入力も英語も一致しないほぼ不規則な表現を誘導する。 タイポロジー構造はより深い層でアクセスしやすくなっているのに対し、因果的介入は、タイポロジーアライメントのみによって識別される単位よりも、表面の摂動に不変な単位に最も敏感であることを示している。 以上の結果から,多言語LMが表面形状の表現を整理し,言語的抽象化が徐々に出現し,統合されたインターリングアに陥ることが示唆された。

関連論文リスト

• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。