論文の概要: Child-Directed Language Does Not Consistently Boost Syntax Learning in Language Models

• arxiv url: http://arxiv.org/abs/2505.23689v1
• Date: Thu, 29 May 2025 17:25:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:08.035947
• Title: Child-Directed Language Does Not Consistently Boost Syntax Learning in Language Models
• Title（参考訳）: 子指向言語は、言語モデルにおける構文学習を持続的に増強しない
• Authors: Francesca Padovani, Jaap Jumelet, Yevgen Matusevych, Arianna Bisazza,
• Abstract要約: 英語の児童指向言語(CDL)で訓練された言語モデルは、成人向けテキストの多量化に基づいて訓練されたLMと同様の構文能力に達することを示す。 我々は、CDLとウィキペディアで訓練されたモデルを、2つのLM目標(masked and causal)、3つの言語(英語、フランス語、ドイツ語)、3つの構文的最小ペアベンチマークで比較することによって、これを検証した。 これらのベンチマークの結果,CDLの非一貫性の利点が示され,ほとんどの場合,ウィキペディアモデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 5.636296752147828
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Seminal work by Huebner et al. (2021) showed that language models (LMs) trained on English Child-Directed Language (CDL) can reach similar syntactic abilities as LMs trained on much larger amounts of adult-directed written text, suggesting that CDL could provide more effective LM training material than the commonly used internet-crawled data. However, the generalizability of these results across languages, model types, and evaluation settings remains unclear. We test this by comparing models trained on CDL vs. Wikipedia across two LM objectives (masked and causal), three languages (English, French, German), and three syntactic minimal-pair benchmarks. Our results on these benchmarks show inconsistent benefits of CDL, which in most cases is outperformed by Wikipedia models. We then identify various shortcomings in previous benchmarks, and introduce a novel testing methodology, FIT-CLAMS, which uses a frequency-controlled design to enable balanced comparisons across training corpora. Through minimal pair evaluations and regression analysis we show that training on CDL does not yield stronger generalizations for acquiring syntax and highlight the importance of controlling for frequency effects when evaluating syntactic ability.
• Abstract（参考訳）: Huebnerらによる2021年のセミナー研究は、英語の子供指向言語(CDL)で訓練された言語モデル(LM)が、多量の成人向けテキストで訓練されたLMと同様の構文能力に達することを示した。 しかし、これらの結果が言語、モデルタイプ、評価設定にまたがって一般化可能であることは、まだ不明である。 我々は、CDLとウィキペディアで訓練されたモデルを、2つのLM目標(masked and causal)、3つの言語(英語、フランス語、ドイツ語)、3つの構文的最小ペアベンチマークで比較することによって、これを検証した。 これらのベンチマークの結果,CDLの非一貫性の利点が示され,ほとんどの場合,ウィキペディアモデルよりも優れていた。 次に、従来のベンチマークにおける様々な欠点を特定し、新しいテスト手法であるFIT-CLAMSを導入し、周波数制御設計を用いて、トレーニングコーパス間のバランスの取れた比較を可能にする。 最小対評価と回帰分析により,CDLの学習は,構文習得のためのより強力な一般化を得られず,統語能力を評価する上での周波数効果の制御の重要性を強調している。

関連論文リスト

• The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [54.59207567677249]
  大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。 本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
  論文  参考訳（メタデータ） (2025-05-23T20:28:31Z)
• Randomly Sampled Language Reasoning Problems Explain Limits of LLMs [8.146860674148044]
  LLMは機械学習の分野に革命をもたらした。 彼らは計画が不十分で、誤った答えを幻覚し、同じタスクのあまり標準的でないバージョンのパフォーマンスを低下させ、様々な特定のプロンプトで誤って答えることが知られている。 本稿では,LLMの低性能要因としてノベルティの分離を試みる。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• One Language, Many Gaps: Evaluating Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
  本研究は,大言語モデル(LLM)の標準推論タスクにおける方言処理における妥当性と頑健さを客観的に評価することを目的とした最初の研究である。 我々は、コンピュータサイエンスのバックグラウンドの専門家を含むAAVEスピーカーを雇い、HumanEvalやGSM8Kといった7つの人気のあるベンチマークを書き換えます。 以上の結果から,これら広く使用されているモデルのほとんどは,AAVEにおけるクエリに対する不安定さと不公平さを顕著に示していることがわかった。
  論文  参考訳（メタデータ） (2024-10-14T18:44:23Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• L2CEval: Evaluating Language-to-Code Generation Capabilities of Large Language Models [102.00201523306986]
  大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。 モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。 モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
  論文  参考訳（メタデータ） (2023-09-29T17:57:00Z)
• Training Language Models with Language Feedback at Scale [50.70091340506957]
  我々は、より情報的な言語フィードバックを利用する新しいアプローチであるLanguage Feedback (ILF)から学習を導入する。 ILFは3つのステップから成り、まず言語モデルを入力に条件付けし、最初のLM出力を出力し、改善を生成する。 理論的には、ILFは人間からのフィードバックによる強化学習と同様、ベイズ推論とみなすことができる。
  論文  参考訳（メタデータ） (2023-03-28T17:04:15Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。