論文の概要: Language Exposure Matters: Distribution and Order in Multilingual BabyLM Pre-training

• arxiv url: http://arxiv.org/abs/2610.20102v1
• Date: Wed, 14 Oct 2026 12:37:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.140262
• Title: Language Exposure Matters: Distribution and Order in Multilingual BabyLM Pre-training
• Title（参考訳）: 言語露出事項:多言語BabyLM事前学習における分布と順序
• Abstract要約: 限定データを用いた多言語事前学習の2つの側面、すなわち、言語曝露が英語、オランダ語、中国語にどのように分散されているか、および訓練中にその曝露が順序付けられたかを検討する。 また,多言語学習データを用いた混在訓練と,一言語の単言語曝露とバランスの取れた多言語曝露を併用したカリキュラム訓練を比較した。 いくつかの言語に支配的な混合学習構成は、バランスの取れた構成よりも高いスコアを達成しており、バランスの取れた分布が、我々の設定における最高のパフォーマンス構成であるとは限らないことを示唆している。
• 参考スコア（独自算出の注目度）: 50.00473320123697
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate two aspects of multilingual pre-training with limited data, namely how language exposure is distributed across English, Dutch, and Chinese, and how that exposure is ordered during training. In particular, we compare balanced multilingual exposure to language-dominant exposure, where one language is exposed with more training data than the others. We also compare mixed training, where multilingual training data is used throughout training, with curriculum training, where monolingual exposure of the dominant language is followed by balanced multilingual exposure. Our results show that multilingual BabyLM performance varies with both the amount and order of language exposure. Mixed training outperforms curriculum learning across all 15 matched configurations, indicating that simultaneous multilingual exposure is more effective than staged exposure in our setting. Several language-dominant mixed training configurations achieve higher scores than the balanced configuration, suggesting that a balanced distribution is not necessarily the highest-performing configuration in our setting. Interestingly, the Dutch-primary configurations achieve the best overall performance.
• Abstract（参考訳）: 限定データを用いた多言語事前学習の2つの側面、すなわち、言語曝露が英語、オランダ語、中国語にどのように分散されているか、および訓練中にその曝露が順序付けられたかを検討する。 特に,言語に優越した露出と多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語多言語 また,多言語学習データを用いた混在訓練と,一言語の単言語曝露とバランスの取れた多言語曝露を併用したカリキュラム訓練を比較した。 その結果,多言語BabyLMの性能は言語露出の量と順序によって異なることがわかった。 混合学習は15の整合構成のすべてでカリキュラムの学習成績を上回り、同時に多言語露光を行うことが、我々の設定におけるステージド露光よりも効果的であることを示す。 いくつかの言語に支配的な混合学習構成は、バランスの取れた構成よりも高いスコアを達成しており、バランスの取れた分布が、我々の設定における最高のパフォーマンス構成であるとは限らないことを示唆している。 興味深いことに、オランダの初歩的な構成は全体的なパフォーマンスを最高のものにしている。

関連論文リスト

• Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models [2.475536483276974]
  我々は,多種多様な高度に制御された露光条件をシミュレートする手法として,言語モデルトレーニングを用いる。 合成データと機械翻訳を用いて,一致した100Mワードの単言語とバイリンガルのデータセットを作成する。 モデルスケールと測定値全体では、バイリンガルモデルは1つの言語におけるモノリンガルモデルと同様に機能するが、第2言語でも強い性能を示す。
  論文  参考訳（メタデータ） (2026-03-31T10:32:25Z)
• Revisiting Multilingual Data Mixtures in Language Model Pretraining [20.282622416939997]
  大規模言語モデルの事前学習における多言語データ混合の影響について検討する。 英語と多言語のデータの組み合わせは、いずれかのグループの言語内性能を劣化させるとは限らない。 トレーニング言語の数が増加するにつれて、重要な「多言語性の帰結」は観測されない。
  論文  参考訳（メタデータ） (2025-10-29T20:46:03Z)
• Centurio: On Drivers of Multilingual Ability of Large Vision-Language Model [66.17354128553244]
  多くのLVLM(Large Vision-Language Models)は、主に英語のデータに基づいて訓練されている。 異なる言語群に対する学習がいかに異なるかを検討する。 私たちはCenturio(100言語LVLM)をトレーニングし、14のタスクと56の言語を対象とした評価で最先端のパフォーマンスを提供する。
  論文  参考訳（メタデータ） (2025-01-09T10:26:14Z)
• LDP: Generalizing to Multilingual Visual Information Extraction by Language Decoupled Pretraining [2.6638517946494535]
  単言語事前学習データをよりよく活用するための多言語学習パラダイム LDP (Language Decoupled Pre-training) を提案する。 提案したモデル LDM はまず言語に依存しないデータに基づいて事前訓練され,言語知識は拡散モデルによって分離され,次に下流言語で微調整される。
  論文  参考訳（メタデータ） (2024-12-19T07:31:40Z)
• Multilingual Pretraining and Instruction Tuning Improve Cross-Lingual Knowledge Alignment, But Only Shallowly [53.04368883943773]
  これに対処する2つのアプローチ、すなわち、多言語事前学習と多言語命令チューニングを提案する。 性能, 一貫性, 導電率レベルにおけるLLMの言語間知識アライメントを評価するために, CLiKAを提案する。 その結果、多言語事前学習と指導訓練は、多言語間知識アライメントに有用であるが、訓練戦略を慎重に設計する必要があることが示唆された。
  論文  参考訳（メタデータ） (2024-04-06T15:25:06Z)
• Improving In-context Learning of Multilingual Generative Language Models with Cross-lingual Alignment [42.624862172666624]
  本稿では,一対の翻訳文を利用する単純な言語間アライメントフレームワークを提案する。 多言語コントラスト学習を通じて、異なる言語にまたがる内部文表現を整合させる。 実験結果から,事前学習トークンが0.1文未満であっても,アライメントフレームワークは生成言語モデルの言語間相互性を大幅に向上させることが明らかとなった。
  論文  参考訳（メタデータ） (2023-11-14T11:24:08Z)
• High-resource Language-specific Training for Multilingual Neural Machine Translation [109.31892935605192]
  負の干渉を軽減するために,HLT-MT(High-Resource Language-specific Training)を用いた多言語翻訳モデルを提案する。 具体的には、まずマルチ言語モデルを高リソースペアでトレーニングし、デコーダの上部にある言語固有のモジュールを選択する。 HLT-MTは、高リソース言語から低リソース言語への知識伝達のために、利用可能なすべてのコーパスでさらに訓練されている。
  論文  参考訳（メタデータ） (2022-07-11T14:33:13Z)
• Breaking Down Multilingual Machine Translation [74.24795388967907]
  マルチ言語学習は一般にエンコーダにとって有益であるが,ローソース言語(LRL)ではデコーダにのみ有益であることを示す。 LRLの多言語モデルと一対多モデルは、Aharoniらによって報告された最良の結果よりも優れています。
  論文  参考訳（メタデータ） (2021-10-15T14:57:12Z)
• Balancing Training for Multilingual Neural Machine Translation [130.54253367251738]
  多言語機械翻訳(MT)モデルは、複数の言語に翻訳/翻訳することができる。 標準的なプラクティスは、表現力を高めるために、リソースの少ない言語をアップサンプルすることである。 そこで本研究では,データスコアラによるトレーニングデータの重み付けを自動的に学習する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-14T18:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。