論文の概要: Once a Tree, Always a Tree? Cross-lingual Transfer of Hierarchical Generalization in Language Models

• arxiv url: http://arxiv.org/abs/2610.30960v1
• Date: Thu, 22 Oct 2026 09:07:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.297586
• Title: Once a Tree, Always a Tree? Cross-lingual Transfer of Hierarchical Generalization in Language Models
• Title（参考訳）: 一度木、常に木? 言語モデルにおける階層的一般化の言語間移動
• Abstract要約: 言語間のLM訓練における言語的証拠の言語間伝達可能性の定量化を行う。 語彙重なりは階層的構文一般化の言語間移動においても重要である。 このことは、継続した新言語学習における言語的証拠の伝達は条件的にのみ達成可能であることを示唆している。
• 参考スコア（独自算出の注目度）: 32.019556838286825
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) often exhibit successful cross-lingual transfer through continued (pre)training, still their underlying process remains unclear. One possibility is that LMs can leverage the evidence toward language-universal principles, namely, hierarchical structure, from a source language (L1) to a new language (L2), while many other non-linguistic explanations, e.g., improved initialization of position embeddings, can be potentially possible. In this study, to quantify the cross-linguistic transferability of linguistic evidence in cross-lingual LM training, we introduce a new experimental design, namely, a cross-lingual poverty-of-stimulus (CPOS) setting that ablates how LMs' hierarchical generalization in L2 can be led by structural evidence provided in L1. We contrast counterfactual L1 and L2 learning scenarios where the L2 corpus is ambiguous between linear and hierarchical grammar rules, while the amount of positive evidence for the hierarchical rule is controlled on the L1 side. Our experimental results show that LMs can partially, yet not perfectly, transfer L1 structural evidence to L2, yielding only a small but detectable hierarchical bias, while the strength of transfer depends on language pairs. We further ablate the conditions for successful transfer, motivated by recent reports on the substantial impact of vocabulary overlap. We indeed find that vocabulary overlap is crucial even for the cross-lingual transfer of hierarchical syntactic generalization. This suggests that this also explains the language-pair-dependent tendencies in the main experiments and suggests that the transfer of linguistic evidence in continued new-language learning is only conditionally achievable.
• Abstract（参考訳）: 言語モデル(LM)は、しばしば継続(事前)学習を通して言語間移動を成功させるが、その基盤となるプロセスはいまだ不明である。 1つの可能性として、LMは、言語-言語原理、すなわち、ソース言語(L1)から新しい言語(L2)への階層構造に対する証拠を活用できるが、他の多くの非言語的説明(例えば、位置埋め込みの初期化の改善)は可能かもしれない。 本研究では,言語間のLM訓練における言語的エビデンスの言語的伝達可能性の定量化を目的として,L1で提供される構造的エビデンス(構造的エビデンス)によって,L2におけるLMの階層的一般化の方法を説明する,言語間貧困(CPOS)という新たな実験設計を導入する。 線形文法規則と階層文法規則の間にL2コーパスがあいまいである対実的L1およびL2学習シナリオとは対照的に、階層的規則に対する肯定的な証拠の量はL1側で制御される。 実験の結果, LMはL1の構造的証拠をL2に部分的に伝達できるが完全ではない。 本研究は,語彙重なりの著しい影響に関する最近の報告に動機づけられた転帰の条件をさらに緩和する。 実際、語彙重複は階層的構文一般化の言語間移動においても重要である。 このことは、主要な実験における言語に依存した傾向についても説明し、継続する新言語学習における言語的証拠の移動は条件付きでのみ達成可能であることを示唆している。

関連論文リスト

• When Meanings Meet: Investigating the Emergence and Quality of Shared Concept Spaces during Multilingual Language Model Training [57.230355403478995]
  本研究では,EuroLLMの事前学習における言語に依存しない概念空間の開発について検討する。 共有概念空間は早期に出現し、洗練され続けていますが、それらとの整合性は言語に依存しています。 従来の作業とは対照的に、細かな手作業分析により、翻訳品質の顕著な向上は、行動の変化を反映していることが判明した。
  論文  参考訳（メタデータ） (2026-01-30T11:23:01Z)
• Language Models as Artificial Learners: Investigating Crosslinguistic Influence [11.168086425477467]
  我々は,L1言語の優位性とL2言語の習熟度の変化の効果について検討した。 言語間プライミングを用いてL1構造の活性化がL2処理に与える影響を分析する。
  論文  参考訳（メタデータ） (2026-01-29T11:53:48Z)
• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• The Rise and Down of Babel Tower: Investigating the Evolution Process of Multilingual Code Large Language Model [59.357993924917]
  本研究では,大規模言語モデル(LLM)における事前学習過程における多言語機能の進化について検討する。 本稿では,LLMが新たな言語能力を習得する過程全体を記述したBabel Tower仮説を提案する。 本論文では,多言語コードLLMのための事前学習コーパスを最適化する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-12-10T08:28:57Z)
• Language-Specific Neurons: The Key to Multilingual Capabilities in Large Language Models [117.20416338476856]
  大規模言語モデル(LLM)は、特別にキュレートされた多言語並列コーパスで事前訓練されることなく、顕著な多言語機能を示す。 LLM内の言語特異的ニューロンを識別するための新しい検出手法である言語アクティベーション確率エントロピー(LAPE)を提案する。 以上の結果から,LLMが特定の言語を処理できる能力は,神経細胞のサブセットが少なすぎるためであることが示唆された。
  論文  参考訳（メタデータ） (2024-02-26T09:36:05Z)
• Self-Augmented In-Context Learning for Unsupervised Word Translation [23.495503962839337]
  大規模言語モデル (LLMs) は、強力な単語翻訳やバイリンガル語彙誘導(BLI)機能を示す。 教師なしBLIのための自己拡張型インコンテキスト学習(SAIL)を提案する。 提案手法は,2つの確立したBLIベンチマーク上でのLDMのゼロショットプロンプトよりも大幅に向上することを示す。
  論文  参考訳（メタデータ） (2024-02-15T15:43:05Z)
• Are Structural Concepts Universal in Transformer Language Models? Towards Interpretable Cross-Lingual Generalization [27.368684663279463]
  本稿では,言語間の概念対応を明確に整合させ,言語間の一般化を促進する可能性について検討する。 言語構文の側面をテストベッドとして,43言語を解析した結果,高い整合性を示した。 本稿では,メタラーニングに基づく概念空間の整合学習手法を提案する。
  論文  参考訳（メタデータ） (2023-10-19T14:50:51Z)
• Second Language Acquisition of Neural Language Models [17.356128991925576]
  この研究は、第2言語(L2)によるニューラル言語モデル(LM)の獲得に光を当てている。 我々は,人間のL2獲得に類似したシナリオでバイリンガルLMを訓練し,言語学的視点から言語間移動を解析した。
  論文  参考訳（メタデータ） (2023-06-05T14:32:41Z)
• SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT [0.0]
  言語間移動は、話者の母語の言語構造が外国語の獲得に与える影響である。 我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。 そこで本研究では,TransformerベースのSLAモデルを用いたさらなる研究を提唱する。
  論文  参考訳（メタデータ） (2023-05-31T06:22:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。