論文の概要: Beetle: A Bilingual Model Suite for Modelling Second-Language Processing
- arxiv url: http://arxiv.org/abs/2609.22633v1
- Date: Fri, 18 Sep 2026 22:48:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-22 20:29:00.508642
- Title: Beetle: A Bilingual Model Suite for Modelling Second-Language Processing
- Title（参考訳）: Beetle: 第二言語処理をモデル化するためのバイリンガルモデルスイート
- Abstract要約: Beetleは、トークン、ターゲット言語、トレーニング予算、露出構造を独立して操作可能な、制御された言語モデル事前トレーニングフレームワークである。
285のバイリンガルと45のモノリンガルなオープンソースLMをリリースし、バイリンガル主義と第二言語学習の多言語事前学習と計算モデルについて研究する。
段階的かつ時間的に構造化されたカリキュラムは、バランスの取れたバイリンガルトレーニングに比べて、言語学習者の読解時間との整合性を一貫して改善することがわかった。
- 参考スコア（独自算出の注目度）: 3.9285161360745775
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Bilingual language models (LMs) offer a controlled setting for studying how training conditions shape second-language (L2) behaviour, but prior work typically varies exposure structure, scale, and architecture at once, making it difficult to attribute effects to any single factor. We introduce Beetle, a controlled language model pretraining framework in which tokeniser, target language, training budget, and exposure structure are each independently manipulable, enabling systematic and comparable experimentation of training conditions. Using Beetle, we train and release 285 bilingual and 45 monolingual open-source LMs with rich checkpoints across a range of exposure schedules, data scales and first languages (L1s) to study multilingual pretraining and computational modelling of bilingualism and second language learning. Evaluating models on human bilingual and second language reading-time prediction and grammaticality judgement tasks, we find that staged and temporally structured curricula consistently improve alignment with language learner reading time compared to balanced bilingual training, with the largest gains at smaller data scales and for typologically closer language pairs. The Beetle models are well suited tools to help move computational psycholinguistics beyond its prevailing monolingual, English-centric focus toward models of human bilingual processing, to study cross-lingual learning dynamics, while supporting community-based development of controlled model families.
- Abstract（参考訳）: バイリンガル言語モデル(LM)は、トレーニング条件が第二言語(L2)の振る舞いをどのように形成するかを研究するための制御された設定を提供する。
本稿では,トークン,目標言語,トレーニング予算,露出構造をそれぞれ独立に操作可能な制御型言語モデル事前学習フレームワークであるBeetleを紹介し,学習条件の体系的および同等な実験を可能にする。
Beetleを使って、285のバイリンガルと45のモノリンガルのオープンソースLMを、様々な露出スケジュール、データスケール、第1の言語(L1)でトレーニングしリリースし、バイリンガル主義と第2の言語学習のマルチリンガル事前学習と計算モデルについて研究する。
ヒトのバイリンガルおよび第二言語読解時間予測と文法的判断タスクのモデルを評価すると、段階的および時間的構造化されたカリキュラムは、バランスのとれたバイリンガルトレーニングと比較して、言語学習者の読解時間との整合性を一貫して改善し、より小さなデータスケールやタイプ的に近い言語ペアにおいて最大のゲインが得られた。
ビートルモデル(Beetle model)は、人間のバイリンガル処理のモデルに焦点を当て、コミュニティベースのコントロールされたモデルファミリーの開発をサポートしながら、言語間学習のダイナミクスを研究することを目的とした、一般的な単言語的、英語中心の計算的心理言語学の移動を支援するのに適したツールである。
関連論文リスト
- Bringing Up a Bilingual BabyLM: Investigating Multilingual Language Acquisition Using Small-Scale Models [2.475536483276974]
我々は,多種多様な高度に制御された露光条件をシミュレートする手法として,言語モデルトレーニングを用いる。
合成データと機械翻訳を用いて,一致した100Mワードの単言語とバイリンガルのデータセットを作成する。
モデルスケールと測定値全体では、バイリンガルモデルは1つの言語におけるモノリンガルモデルと同様に機能するが、第2言語でも強い性能を示す。
論文 参考訳（メタデータ） (2026-03-31T10:32:25Z) - Revisiting Multilingual Data Mixtures in Language Model Pretraining [20.282622416939997]
大規模言語モデルの事前学習における多言語データ混合の影響について検討する。
英語と多言語のデータの組み合わせは、いずれかのグループの言語内性能を劣化させるとは限らない。
トレーニング言語の数が増加するにつれて、重要な「多言語性の帰結」は観測されない。
論文 参考訳（メタデータ） (2025-10-29T20:46:03Z) - On the Acquisition of Shared Grammatical Representations in Bilingual Language Models [6.266732217239363]
言語間移動は、現代言語モデルの多言語能力にとって重要であるが、どのように起こるかはよく理解されていない。
第二言語でトレーニングを始めると、モノリンガル言語モデルに何が起こるのかを尋ねる。
共有多言語表現の証拠を見つけるために,人間の文法表現を研究するために用いられる構造プライミングに目を向ける。
論文 参考訳（メタデータ） (2025-03-05T23:27:58Z) - LDP: Generalizing to Multilingual Visual Information Extraction by Language Decoupled Pretraining [2.6638517946494535]
単言語事前学習データをよりよく活用するための多言語学習パラダイム LDP (Language Decoupled Pre-training) を提案する。
提案したモデル LDM はまず言語に依存しないデータに基づいて事前訓練され,言語知識は拡散モデルによって分離され,次に下流言語で微調整される。
論文 参考訳（メタデータ） (2024-12-19T07:31:40Z) - A Comparison of Language Modeling and Translation as Multilingual Pretraining Objectives [13.581385765600265]
プレトレーニング言語モデル(PLM)は優れたパフォーマンスを示し、NLPコミュニティの注目を集めている。
本稿では,制御された方法論環境における多言語事前学習目標の比較を提案する。
論文 参考訳（メタデータ） (2024-07-22T09:16:30Z) - Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。
我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
論文 参考訳（メタデータ） (2023-06-13T08:08:08Z) - Learning Cross-lingual Visual Speech Representations [108.68531445641769]
言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。
我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。
1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
論文 参考訳（メタデータ） (2023-03-14T17:05:08Z) - Generalizing Multimodal Pre-training into Multilingual via Language
Acquisition [54.69707237195554]
英語のVision-Language Pre-Trainingは、様々な下流タスクで大きな成功を収めた。
この成功を英語以外の言語に一般化するために、Multilingual Vision-Language Pre-Trainingを通じていくつかの取り組みがなされている。
単言語視覚言語事前学習モデルを多言語に容易に一般化できるtextbfMultitextbfLingual textbfAcquisition (MLA) フレームワークを提案する。
論文 参考訳（メタデータ） (2022-05-29T08:53:22Z) - Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of
Multilingual Language Models [73.11488464916668]
本研究では,多言語事前学習プロセスのダイナミクスについて検討する。
我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。
分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
論文 参考訳（メタデータ） (2022-05-24T03:35:00Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳（メタデータ） (2021-03-18T21:17:58Z) - Multilingual Translation with Extensible Multilingual Pretraining and
Finetuning [77.33262578776291]
これまでの研究は、bitextで微調整することで機械翻訳システムを作成できることを実証してきた。
多言語翻訳モデルは多言語微調整により作成可能であることを示す。
事前訓練されたモデルは、性能を損なうことなく、追加の言語を組み込むように拡張できることを実証する。
論文 参考訳（メタデータ） (2020-08-02T05:36:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。