論文の概要: When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training

• arxiv url: http://arxiv.org/abs/2601.22851v1
• Date: Fri, 30 Jan 2026 11:23:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.403785
• Title: When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training
• Title（参考訳）: 意味:多言語モデル学習における共有概念空間の創発と質の検討
• Authors: Felicia Körner, Max Müller-Eberstein, Anna Korhonen, Barbara Plank,
• Abstract要約: 本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
• 参考スコア（独自算出の注目度）: 57.230355403478995
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training Large Language Models (LLMs) with high multilingual coverage is becoming increasingly important -- especially when monolingual resources are scarce. Recent studies have found that LLMs process multilingual inputs in shared concept spaces, thought to support generalization and cross-lingual transfer. However, these prior studies often do not use causal methods, lack deeper error analysis or focus on the final model only, leaving open how these spaces emerge during training. We investigate the development of language-agnostic concept spaces during pretraining of EuroLLM through the causal interpretability method of activation patching. We isolate cross-lingual concept representations, then inject them into a translation prompt to investigate how consistently translations can be altered, independently of the language. We find that shared concept spaces emerge early} and continue to refine, but that alignment with them is language-dependent}. Furthermore, in contrast to prior work, our fine-grained manual analysis reveals that some apparent gains in translation quality reflect shifts in behavior -- like selecting senses for polysemous words or translating instead of copying cross-lingual homographs -- rather than improved translation ability. Our findings offer new insight into the training dynamics of cross-lingual alignment and the conditions under which causal interpretability methods offer meaningful insights in multilingual contexts.
• Abstract（参考訳）: 高い多言語カバレッジを持つ大規模言語モデル(LLM)のトレーニングは、特にモノリンガルリソースが不足している場合には、ますます重要になってきています。 近年の研究では、LLMは共通概念空間における多言語入力を処理し、一般化と多言語間移動を支援すると考えられている。 しかしながら、これらの先行研究は因果的手法を用いず、より深い誤差分析を欠いたり、最終モデルのみに集中し、トレーニング中にこれらの空間がどのように出現するかを未然に残す。 アクティベーションパッチの因果的解釈可能性手法を用いて,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 我々は、言語間の概念表現を分離し、それらを翻訳プロンプトに注入し、言語とは独立に、いかに一貫した翻訳を変更できるかを調査する。 共有概念空間が早く出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 さらに, 先行研究とは対照的に, 翻訳品質の顕著な向上は, 翻訳能力の向上ではなく, 言語間ホモグラフをコピーする代わりに, 多文単語の選択や翻訳など, 行動の変化を反映していることが明らかとなった。 本研究は,多言語間アライメントのトレーニング力学と,因果解釈可能性法が多言語文脈において有意義な洞察を与える条件について,新たな知見を提供するものである。

関連論文リスト

• Cross-Lingual Generalization and Compression: From Language-Specific to Shared Neurons [20.13484267765109]
  事前学習中に多言語言語モデルがどのように進化するかを考察する。 我々は、各層にまたがる一様言語識別機能から、より特殊な層関数への遷移を観察する。 言語間の同じ概念に対する信頼性の高い予測因子として出現する特定のニューロンを同定する。
  論文  参考訳（メタデータ） (2025-06-02T13:06:30Z)
• PreAlign: Boosting Cross-Lingual Transfer by Early Establishment of Multilingual Alignment [68.20851615263953]
  大規模な言語モデルは、英語中心の事前訓練にもかかわらず、合理的な多言語能力を示す。 これらのモデルにおける自発的な多言語アライメントは弱く、不満足な言語間移動と知識共有をもたらす。 言語モデル事前学習に先立って多言語アライメントを確立するフレームワークであるPreAlignを提案する。
  論文  参考訳（メタデータ） (2024-07-23T06:59:53Z)
• Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
  本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。 言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。 本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:50:51Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• When is BERT Multilingual? Isolating Crucial Ingredients for Cross-lingual Transfer [15.578267998149743]
  サブワード重複の欠如は,言語が単語順に異なる場合,ゼロショット転送に大きく影響することを示す。 言語間の伝達性能と単語埋め込みアライメントの間には強い相関関係がある。 その結果、言語間の単語埋め込みアライメントを明示的に改善する多言語モデルに焦点が当てられた。
  論文  参考訳（メタデータ） (2021-10-27T21:25:39Z)
• AM2iCo: Evaluating Word Meaning in Context across Low-ResourceLanguages with Adversarial Examples [51.048234591165155]
  本稿では, AM2iCo, Adversarial and Multilingual Meaning in Contextを提案する。 言語間文脈における単語の意味の同一性を理解するために、最先端(SotA)表現モデルを忠実に評価することを目的としている。 その結果、現在のSotAプリトレーニングエンコーダは人間のパフォーマンスにかなり遅れていることが明らかとなった。
  論文  参考訳（メタデータ） (2021-04-17T20:23:45Z)
• First Align, then Predict: Understanding the Cross-Lingual Ability of Multilingual BERT [2.2931318723689276]
  言語間移動は、ある言語への関心のタスクを微調整し、ある言語を個別に評価することから生じる。 多言語bertは,マルチリンガルエンコーダとタスク固有言語非依存予測器の2つのサブネットワークの積み重ねと見なすことができる。 エンコーダは言語間移動に不可欠であり、微調整中はほとんど変化しないが、タスク予測器は転写にほとんど重要ではなく、微調整時に赤くなる。
  論文  参考訳（メタデータ） (2021-01-26T22:12:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。