論文の概要: Dango: A Strictly L1-Only Large Language Model for Studying Second Language Acquisition

• arxiv url: http://arxiv.org/abs/2606.19170v1
• Date: Wed, 17 Jun 2026 15:13:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-18 17:16:51.232293
• Title: Dango: A Strictly L1-Only Large Language Model for Studying Second Language Acquisition
• Title（参考訳）: Dango: 第二言語習得を学ぶための,厳密なL1専用大規模言語モデル
• Authors: Shiho Matta, Yin Jou Huang, Fei Cheng, Takashi Kodama, Hirokazu Kiyomaru, Yugo Murawaki,
• Abstract要約: Dangoは第2言語習得(SLA)におけるL1からL2への変換の制御を目的とした大規模言語モデルである。 L1 取得に使用される "モノリンガル" 事前学習コーパス内の L2 汚染。 そこで本研究では,現実的で最小限の露光を保ちながら,英語に対する未熟な露光を減らすためのフィルタリング手法を提案する。
• 参考スコア（独自算出の注目度）: 13.572594864092096
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce Dango, a 1.8B-parameter large language model designed for controlled studies of L1-to-L2 (Japanese-to-English) transfer in second language acquisition (SLA). While previous studies have explored SLA in language models, they have predominantly relied on smaller or non-decoder models, limiting their ability to generate open-ended text and reducing their suitability as practical L2 simulators. We identify a key challenge when scaling models to this size: L2 contamination within the "monolingual" pretraining corpus used for L1 acquisition. To address this, we propose a filtering method to reduce premature exposure to English while preserving realistic, minimal exposure. We then fine-tune the model on LLM-generated L2-learning lessons to simulate the L2 acquisition process. Our evaluations confirm that Dango develops human-like L2 production patterns, outperforming both unfiltered and standard multilingual baselines. We release the model, data, and code to facilitate reproducible computational SLA research and learner-facing applications.
• Abstract（参考訳）: 第二言語習得(SLA)におけるL1-to-L2(日本語-英語)変換の制御を目的とした1.8Bパラメータ大言語モデルであるDangoを紹介する。 以前の研究では、言語モデルにおけるSLAを探索してきたが、それらは主に小型または非デコーダモデルに依存しており、オープンエンドテキストを生成する能力を制限し、実用的なL2シミュレータとして適合性を低下させている。 L1 取得に使用される "モノリンガル" 事前学習コーパス内の L2 汚染。 そこで本研究では,現実的で最小限の露光を保ちながら,英語に対する未熟な露光を減らすためのフィルタリング手法を提案する。 次に、L2獲得過程をシミュレートするために、LLMによるL2学習授業のモデルを微調整する。 評価の結果,ダンゴはL2生成パターンを発達させ,非フィルタリングと標準多言語ベースラインの両方に優れていたことが確認された。 再現可能な計算SLAの研究と学習者向けアプリケーションを容易にするために、モデル、データ、コードをリリースする。

関連論文リスト

• Can LLMs Simulate L2-English Dialogue? An Information-Theoretic Analysis of L1-Dependent Biases [22.048949559200935]
  本研究では,L2学習者における非ネイティブな英語使用をシミュレートする大規模言語モデルの評価を行った。 対話型インタビューでは、L2の英語学習者に7つの言語にまたがる特定のL1を模倣するよう促す。 本分析では,情報理論および分布密度測定を用いて,参照語使用や回避行動などのL1駆動型言語バイアスについて検討した。
  論文  参考訳（メタデータ） (2025-02-20T12:34:46Z)
• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• Optimizing Language Augmentation for Multilingual Large Language Models: A Case Study on Korean [3.4735169184479524]
  大規模言語モデル (LLM) は、事前学習を用いてその後の単語を予測するが、その拡張にはかなりの計算資源が必要である。 本研究では, 公開されているMLLMをベースとしたLRLの性能向上のための3つの手法を提案する。
  論文  参考訳（メタデータ） (2024-03-16T10:26:38Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• YAYI 2: Multilingual Open-Source Large Language Models [53.92832054643197]
  我々は,300億のパラメータを持つベースモデルとチャットモデルを含むYAYI 2を提案する。 YAYI 2は、トレーニング済みのデータ処理パイプラインによってフィルタされた2.65兆のトークンを含む多言語コーパス上で、スクラッチから事前トレーニングされる。 ベースモデルは、数百万の指示による教師付き微調整と、人間のフィードバックからの強化学習によって、人間の価値と整合する。
  論文  参考訳（メタデータ） (2023-12-22T17:34:47Z)
• SLABERT Talk Pretty One Day: Modeling Second Language Acquisition with BERT [0.0]
  言語間移動は、話者の母語の言語構造が外国語の獲得に与える影響である。 我々はNLP文献が陰性移行現象に十分な注意を払っていないことを発見した。 そこで本研究では,TransformerベースのSLAモデルを用いたさらなる研究を提唱する。
  論文  参考訳（メタデータ） (2023-05-31T06:22:07Z)
• A Survey of Large Language Models [81.06947636926638]
  言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。 近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。 パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
  論文  参考訳（メタデータ） (2023-03-31T17:28:46Z)
• Improving Automatic Speech Recognition for Non-Native English with Transfer Learning and Language Model Decoding [6.68194398006805]
  訓練済みwav2vec 2.0モデル citebaevski 2020wav2vec,xu2021self のL1およびL2訓練条件下での微調整について検討した。 We found that that the large self-trained wav2vec 2.0 may be internalizing enough decoding knowledge for clean L1 speech, this is not hold for L2 speech。
  論文  参考訳（メタデータ） (2022-02-10T18:13:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。