論文の概要: Lingua Franca or Probing Artifact? Rethinking Latent Language in Multilingual LLMs

• arxiv url: http://arxiv.org/abs/2609.00155v1
• Date: Mon, 31 Aug 2026 18:00:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.884527
• Title: Lingua Franca or Probing Artifact? Rethinking Latent Language in Multilingual LLMs
• Title（参考訳）: Lingua Franca または Probing Artifact? 多言語LLMにおける潜在言語の再考
• Abstract要約: 現在のプローブは、単一の内部言語フランカを直接露呈するのではなく、多言語処理の異なる側面を露呈している、と我々は主張する。 この質問は、モデルファミリー、トレーニング体制、ドメイン、タスク、チェックポイント、最大27の言語で研究する。
• 参考スコア（独自算出の注目度）: 23.060988564311078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Latent language identification is often used to argue that multilingual language models route computation through language-specific states, such as English pivots. However, existing probes infer latent language from different signals, such as the geometry of hidden states or what can be decoded from intermediate representations. Since such claims shape conclusions about how models share and route information across languages, we ask whether these probes measure the same phenomenon or expose distinct aspects of multilingual computation. We study this question across model families, training regimes, domains, tasks, checkpoints, and up to 27 languages. We find that identification probes systematically disagree: the GMM-based representation probe, which draws evidence from hidden state geometry, shows earlier cross-lingual mixing, whereas decoding-based probes, which rely on output-space decodability, retain sharper language-specific and more English-biased signals. These differences track model multilinguality and training progression, but are comparatively stable across domains. Our results suggest a more cautious interpretation of latent language identification, where current probes expose different aspects of multilingual processing, rather than directly revealing a single internal lingua franca.
• Abstract（参考訳）: 潜在言語識別はしばしば、多言語言語モデルは、英語のピボットのような言語固有の状態を通して計算をルートすると主張するために用いられる。 しかし、既存のプローブは、隠れ状態の幾何学や中間表現から復号できるものなど、異なる信号から潜在言語を推論する。 このような主張は、モデルがどのように言語間で情報を共有し、ルートするかについての結論を形作っているので、これらのプローブが同じ現象を測定するのか、あるいは多言語計算の異なる側面を明らかにするのかを問う。 この質問は、モデルファミリー、トレーニング体制、ドメイン、タスク、チェックポイント、最大27の言語で研究する。 隠れ状態幾何から証拠を引き出すGMMベースの表現プローブは、初期の言語間混合を示すのに対し、デコードベースのプローブは出力空間の縮退性に依存し、より鋭く、より英語に偏った信号を保持する。 これらの違いはモデル多言語性と訓練の進行を追跡するが、ドメイン間で比較的安定である。 本研究は,複数の言語処理の異なる側面を探索する潜時言語識別について,単一の内部言語フランカを直接明らかにするのではなく,より慎重な解釈を示唆するものである。

関連論文リスト

• Tracing Multilingual Representations in LLMs with Cross-Layer Transcoders [51.380449540006985]
  大規模言語モデル(LLM)は多くの言語を処理できるが、どのようにして内部的にこの多様性を表現しているのかは不明だ。 言語固有のデコーディングと多言語表現を共有できるのでしょうか? 層間トランスコーダ(CLT)と属性グラフを用いて内部メカニズムを解析する。
  論文  参考訳（メタデータ） (2025-11-13T22:51:06Z)
• Sparse Autoencoders Can Capture Language-Specific Concepts Across Diverse Languages [11.19692440351977]
  既存の研究はしばしば個々のニューロンに焦点を当てているが、その多意味性は言語固有の単位を分離することが困難である。 本稿では,機能アクティベーション確率に基づくSAE-LAPEを用いて,フィードフォワードネットワーク内の言語固有の特徴を識別する手法を提案する。 これらの機能は、モデルの多言語パフォーマンスと言語出力に影響を与え、fastTextに匹敵するパフォーマンスを持つ言語識別に使用できる。
  論文  参考訳（メタデータ） (2025-07-15T12:00:30Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間の対応する概念、すなわち言語を横断的に関連付けることができるだろうか? 本研究は,言語横断的タスクにおける最先端LLMの評価である。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Measuring Cross-lingual Transfer in Bytes [9.011910726620538]
  多様な言語からのモデルが、言語横断的な設定で対象言語と類似して動作することを示す。 また,この移行が言語汚染や言語近接と関係がないという証拠も発見された。 我々の実験は、事前学習中に学習した言語に依存しない表現の量を測定する新しい可能性を開いた。
  論文  参考訳（メタデータ） (2024-04-12T01:44:46Z)
• Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
  ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。 多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。 本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-01-11T09:54:11Z)
• The Geometry of Multilingual Language Model Representations [25.880639246639323]
  我々は,言語知覚情報を各言語で符号化しながら,多言語モデルが共有多言語表現空間をどのように維持するかを評価する。 部分空間は、中層全体で比較的安定な言語感受性軸に沿って異なり、これらの軸はトークン語彙などの情報を符号化する。 言語感受性および言語ニュートラル軸に投影された表現を可視化し,言語族と音声クラスタを識別し,スパイラル,トーラス,トークン位置情報を表す曲線を可視化する。
  論文  参考訳（メタデータ） (2022-05-22T23:58:24Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• X-FACTR: Multilingual Factual Knowledge Retrieval from Pretrained Language Models [103.75890012041366]
  言語モデル(LM)は、事実の知識を捉えるのに驚くほど成功した。 しかし、LMの実際の表現能力の研究は、ほぼ間違いなく英語で行われている。 我々は23の語型的多様言語に対するクローゼスタイルプローブのベンチマークを作成する。
  論文  参考訳（メタデータ） (2020-10-13T05:29:56Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。