論文の概要: When Language Representations Interact: Separability and Cross-Lingual Effects in LLMs

• arxiv url: http://arxiv.org/abs/2606.14347v1
• Date: Fri, 12 Jun 2026 11:00:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 16:00:42.869786
• Title: When Language Representations Interact: Separability and Cross-Lingual Effects in LLMs
• Title（参考訳）: 言語表現の相互作用: LLMにおける分離性と言語間影響
• Authors: Boris Marinov, Angira Sharma, Christian Schroeder de Witt, Philip Torr, Anisoara Calinescu, Jialin Yu,
• Abstract要約: 大規模言語モデルは強い多言語能力を示すが、その内部表現は解釈が難しい。 近年の研究では、因果幾何学構造が、どのようにある概念がほぼ線形かつ分離可能な方向としてエンコードされているかを説明することができることが示されている。 因果幾何学的解析を多言語LLMに適用し、3つのモデル間の28の両言語コントラストについて検討した。
• 参考スコア（独自算出の注目度）: 20.39151103511549
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models exhibit strong multilingual capabilities, however, their internal representations are difficult to interpret. Understanding these interactions is important for ensuring reliable behavior in multilingual systems. Recent work has shown that causal-geometric structure can explain how certain concepts are encoded as approximately linear and separable directions, but whether this framework extends to multilingual models, where language identity is correlated and hierarchical, is underexplored. We apply causal-geometric analysis to multilingual LLMs, studying 28 bilingual contrasts across three models, allowing us to analyze when languages behave as approximately independent factors and when structured dependencies persist. We find evidence that language concepts admit stable linear representations that are largely separable under a covariance-adjusted (causal) inner product, with structured deviations reflecting linguistic similarity. Moreover, languages within the same family (such as Germanic or Romance) exhibit a simplex-like geometric structure, suggesting hierarchical organization. These results extend causal-geometric interpretability to multilingual settings and provide insight into how separability and similarity may exist in multilingual LLM representations, motivating interpretability analyses that diagnose when and how structured dependencies between concepts can be anticipated. This has implications for trustworthy deployment, as residual structure between languages may lead to unintended cross-lingual effects when models are monitored or intervened upon.
• Abstract（参考訳）: 大規模言語モデルは強い多言語能力を示すが、内部表現の解釈は困難である。 これらの相互作用を理解することは、多言語システムにおける信頼性の高い振る舞いを保証するために重要である。 最近の研究で、因果幾何学構造は、ある概念がほぼ線形で分離可能な方向としてエンコードされているかを説明することができることが示されているが、この枠組みが言語同一性と階層性が相関する多言語モデルにまで拡張されているかどうかは未定である。 因果幾何学的解析を多言語LLMに適用し、3つのモデルにまたがる28の両言語コントラストを調査し、言語がほぼ独立した要因として振る舞うとき、構造的依存関係が持続するときの分析を可能にする。 言語概念は、共分散調整された(因果的)内部積の下で大きく分離可能な安定な線形表現を認め、言語的類似性を反映した構造的偏差を持つことを示す。 さらに、同族の言語(ゲルマン語やロマンス語など)は、単純な幾何学的構造を示し、階層的な構造を示唆している。 これらの結果は、多言語的設定に対する因果的幾何学的解釈可能性を拡張し、多言語LLM表現における分離性と類似性がどのように存在するかについての洞察を与え、概念間の構造的依存関係をいつ、どのように予測できるかを診断する解釈可能性分析を動機付けている。 これは、言語間の残留構造が、モデルを監視したり介入したりするときに意図しない言語間影響をもたらす可能性があるため、信頼できるデプロイメントに影響を及ぼす。

関連論文リスト

• Multilinguality of Large Language Models From a Structural Perspective [55.097821802807566]
  大規模言語モデル(LLM)は、多言語データに対する事前および後訓練によって複数の言語を処理するのに優れている。 その結果,低リソース言語は高水準言語や中級言語と構造的に異なることが明らかとなった。
  論文  参考訳（メタデータ） (2026-06-01T07:18:09Z)
• StructLens: A Structural Lens for Language Models via Maximum Spanning Trees [52.040177523973334]
  StructLensは、内部構造が全体構造とどのように関係しているかを明らかにするために設計された分析フレームワークである。 以上の結果から,StructLensは従来のコサイン類似性とは大きく異なる層間類似性パターンを呈することが明らかとなった。
  論文  参考訳（メタデータ） (2026-02-10T11:30:32Z)
• On the Entity-Level Alignment in Crosslingual Consistency [62.33186691736433]
  SubSubとSubInjは、主題の英語翻訳を言語間のプロンプトに統合し、実際のリコール精度と一貫性を大きく向上させた。 これらの介入はモデルの内部ピボット言語処理を通じて概念空間における実体表現のアライメントを強化する。
  論文  参考訳（メタデータ） (2025-10-11T16:26:50Z)
• Neighbors and relatives: How do speech embeddings reflect linguistic connections across the world? [0.7168794329741259]
  本研究では,XLS-R自己教師型言語識別モデルvox107-xls-r-300m-wav2vecの埋め込みを用いて106世界言語間の関係を解析した。 線形識別分析(LDA)を用いて、言語埋め込みをクラスタ化し、系譜、語彙、地理的距離と比較する。 その結果, 埋め込み型距離は従来の指標と密接に一致し, グローバルおよび局所的な類型パターンを効果的に捉えることができた。
  論文  参考訳（メタデータ） (2025-06-10T08:33:34Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• Constructive Approach to Bidirectional Influence between Qualia Structure and Language Emergence [5.906966694759679]
  本稿では,言語出現と主観的経験の構造の双方向的影響について考察する。 分布意味論を持つ言語の出現は、経験によって形成される内部表現の協調と関連していると仮定する。
  論文  参考訳（メタデータ） (2024-09-14T11:03:12Z)
• Cross-Lingual Transfer of Cognitive Processing Complexity [11.939409227407769]
  我々は,構造的複雑さの認知指標として,文レベルの視線追跡パターンを用いる。 マルチ言語モデル XLM-RoBERTa は,13言語に対して様々なパターンを予測できることを示す。
  論文  参考訳（メタデータ） (2023-02-24T15:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。