論文の概要: Feeding BabyLMs Macaroni: Code-Switching Curricula Cause Cross-Lingual Convergence

• arxiv url: http://arxiv.org/abs/2609.30535v1
• Date: Thu, 24 Sep 2026 20:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 18:27:51.135134
• Title: Feeding BabyLMs Macaroni: Code-Switching Curricula Cause Cross-Lingual Convergence
• Title（参考訳）: マカロニの餌:コードスイッチングカリキュラムは言語間の収束を引き起こす
• Abstract要約: 我々は2つの100Mワード多言語コーパス上で小さなデコーダのみの変換器を訓練する。 コードスイッチングされたデータに対するトレーニングは、並列テキストの表現と一致していることがわかった。 本研究は,多言語事前学習のための効果的なデータ拡張手法として,コードスイッチングカリキュラムを特徴付けている。
• 参考スコア（独自算出の注目度）: 42.6271273887983
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Children in multilingual communities often code-switch, using multiple languages in a single utterance. Can we induce cross-lingual alignment in language models by training on code-switched text? We pretrain small decoder-only transformers on two 100M-word multilingual corpora: a base corpus formed by mixing the English, Dutch, and Chinese BabyBabelLM datasets, and a corpus generated from it by inserting word- and sentence-level code-switching using an LLM. We find that training on code-switched data aligns the representations of parallel text, particularly across different scripts, and that this alignment persists through training on monolingual documents. Under a learning curriculum that progresses from word-level code-switching, to sentence-level code-switching, to monolingual documents, models trained on code-switched data outperform baselines trained without it on the BabyLM evaluation suite. Our work characterizes code-switching curriculum learning as an effective data augmentation method for multilingual pretraining. We release our code, data, and models at https://github.com/drooryck/multilingual-macaroni.
• Abstract（参考訳）: 多言語コミュニティの子供たちは、しばしばコードスウィッチで、1つの発話で複数の言語を使用する。 言語モデルにおける言語間アライメントは,コードスイッチトテキストのトレーニングによって引き起こせるか? 我々は、英語、オランダ語、中国語のBabyBabelLMデータセットを混合したベースコーパスと、LLMを用いて単語と文レベルのコードスイッチングを挿入して生成されたコーパスの2つの100Mワード多言語コーパスに対して、小さなデコーダのみのトランスフォーマを事前訓練する。 コードスイッチングされたデータのトレーニングは、特に異なるスクリプト間で並列テキストの表現を一致させ、このアライメントはモノリンガル文書のトレーニングを通じて持続する。 単語レベルのコードスイッチングから文レベルのコードスイッチング、モノリンガル文書に至るまで、学習カリキュラムの下では、コードスイッチされたデータに基づいてトレーニングされたモデルは、BabyLM評価スイートでトレーニングされたベースラインよりも優れています。 本研究は,多言語事前学習のための効果的なデータ拡張手法として,コードスイッチングカリキュラムを特徴付けている。 コード、データ、モデルをhttps://github.com/drooryck/multilingual-macaroni.comでリリースしています。

関連論文リスト

• IRCoder: Intermediate Representations Make Language Models Robust Multilingual Code Generators [49.903001442804594]
  本研究では、コンパイラ中間表現(IR)を活用して、Code-LMの多言語機能を改善する可能性について検討する。 まず,約400万のソースコードファイルからなる並列データセットであるSLTransをコンパイルする。 次に、SLTransにおける因果言語モデリングトレーニングを継続して実施し、Code-LMはIR言語を学習せざるを得なかった。 IRCoderと呼ばれる結果のモデルは、さまざまなコード生成タスクやメトリクスに対して、サイズと一貫性のあるゲインを表示します。
  論文  参考訳（メタデータ） (2024-03-06T17:52:08Z)
• The Effect of Alignment Objectives on Code-Switching Translation [0.0]
  我々は、ある言語から別の言語への単言語文の翻訳が可能な単一の機械翻訳モデルを訓練する方法を提案している。 このモデルは、人間の意味でのバイリンガルモデルと見なすことができる。
  論文  参考訳（メタデータ） (2023-09-10T14:46:31Z)
• ERNIE-Code: Beyond English-Centric Cross-lingual Pretraining for Programming Languages [37.60016772021422]
  同じプログラミング言語(PL)を扱うソフトウェアエンジニアは、異なる自然言語(NL)を話し、その逆も話す。 近年の研究では、コンピュータプログラムにおける生成前訓練の有効性が実証されているが、それらは常に英語中心である。 ERNIE-Codeは116個のNLと6個のPLのための統合事前学習言語モデルである。
  論文  参考訳（メタデータ） (2022-12-13T17:21:44Z)
• Cross-lingual Intermediate Fine-tuning improves Dialogue State Tracking [84.50302759362698]
  我々は、事前訓練された多言語モデルの中間微調整により、伝達学習プロセスを強化する。 我々は、パラレルおよび会話型の映画字幕データセットを使用して、言語間中間タスクを設計する。 パラレルなMultiWoZデータセットとMultilingual WoZデータセットの精度を20%向上させる。
  論文  参考訳（メタデータ） (2021-09-28T11:22:38Z)
• Multilingual Transfer Learning for Code-Switched Language and Speech Neural Modeling [12.497781134446898]
  本稿では,言語非依存なマルチタスク学習手法を提案することにより,言語理論のデータ不足と限界に対処する。 まず,メタラーニングに基づくメタトランスファー学習を提案する。そこでは,高音源単言語音声データから,コードスイッチング領域への情報抽出を行う。 第2に,他の言語で学習した有用な知識を得ることにより,コードスイッチングデータを効果的に表現するための,多言語メタエム手法を提案する。 第3に,言語モデルへの伝達学習戦略として構文情報を統合するために,マルチタスク学習を導入する。
  論文  参考訳（メタデータ） (2021-04-13T14:49:26Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。