論文の概要: Why Pretraining Fails to Share Cross-Lingual Knowledge

• arxiv url: http://arxiv.org/abs/2609.19291v1
• Date: Wed, 16 Sep 2026 18:02:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.977777
• Title: Why Pretraining Fails to Share Cross-Lingual Knowledge
• Title（参考訳）: 言語横断的な知識を共有するために障害を予習する理由
• Abstract要約: 大規模言語モデル(LLM)は驚くほど言語間の知識伝達に制限がある。 本研究は,言語間知識の不足が事前学習中に出現し,標準的介入の下で持続することを示す。 解離トークンだけでは,同じ言語の同一のコピーであっても,知識区画化を誘導するのに十分であることがわかった。
• 参考スコア（独自算出の注目度）: 11.749488014159505
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have made remarkable progress in the processing and modeling of many languages. Yet, unlike human multilinguals, they exhibit surprisingly limited cross-lingual knowledge transfer. While this limitation is well documented, its origins during multilingual training remain unclear. We pretrain 360M- and 7B-parameter LLMs and show that poor cross-lingual knowledge generalization emerges during pretraining and persists under standard interventions. To isolate its cause, we employ a controlled bilingual pretraining setting using two copies of the same language, sharing identical text and token segmentation, but mapped to disjoint token spaces. We find that disjoint tokens alone are enough to induce knowledge compartmentalization, even between identical copies of the same language, establishing disjoint token spaces as a fundamental barrier to cross-lingual knowledge generalization. Guided by this understanding, we suggest mapping languages into a shared token space by simple word-wise translation and find it substantially improves cross-lingual knowledge generalization, recovering up to 12.6\% of native-language learning efficiency --- 14$\times$ the baseline.
• Abstract（参考訳）: 大規模言語モデル(LLM)は多くの言語の処理とモデリングにおいて顕著な進歩を遂げた。 しかし、人間の多言語とは異なり、驚くほど限られた言語間の知識伝達を示す。 この制限は十分に文書化されているが、多言語訓練における起源は不明なままである。 360M-および7B-parameter LLMをプレトレーニングし、プレトレーニング中に低言語間知識の一般化が出現し、標準的介入の下で持続することを示す。 原因を分離するために、同一言語の2つのコピーを用いて制御されたバイリンガル事前訓練設定を用い、同一のテキストとトークンセグメンテーションを共有するが、非結合トークン空間にマッピングする。 解離トークンだけでは、同じ言語のコピーであっても、知識区画化を誘導するのに十分であり、共通言語間の知識一般化の基本的な障壁として、解離トークン空間を確立することができる。 この理解によって、簡単な単語の翻訳によって言語を共有トークン空間にマッピングすることを提案し、言語間知識の一般化を大幅に改善し、母語学習効率の最大12.6%を回復する。

関連論文リスト

• Tokenizing Crosslingual Homographs [8.254230288283258]
  多言語言語モデルは、限られた数のトークン単位内で複数の言語を表現するために、共有サブワード語彙に依存している。 我々はこの制限を言語間ホモグラフと偽の友人を通して検討する。 そこで本稿では,共有語彙単語の初期文字を置き換える言語固有の文字を用いた,単純なトークン化レベル介入を提案する。
  論文  参考訳（メタデータ） (2026-07-20T08:37:31Z)
• When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
  本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
  論文  参考訳（メタデータ） (2026-01-30T11:23:01Z)
• False Friends Are Not Foes: Investigating Vocabulary Overlap in Multilingual Language Models [53.01170039144264]
  多言語コーパスで訓練されたサブワードトークンライザは、言語間で重複するトークンを自然に生成する。 トークンの重複は言語間転送を促進するのか、それとも言語間の干渉を導入するのか? 相反する語彙を持つモデルでは、重なり合う結果が得られます。
  論文  参考訳（メタデータ） (2025-09-23T07:47:54Z)
• High-Dimensional Interlingual Representations of Large Language Models [65.77317753001954]
  大規模言語モデル(LLM)は、多言語データセットに基づいて訓練され、言語間構造の形成を示唆する。 資源レベル, 類型, 地理的地域によって異なる31の多様な言語を探索する。 多言語 LLM は非一貫性な言語間アライメントを示す。
  論文  参考訳（メタデータ） (2025-03-14T10:39:27Z)
• Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
  本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。 多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。 実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-14T11:24:08Z)
• Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
  本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。 言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。 本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:50:51Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
  本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。 提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。 また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
  論文  参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。