論文の概要: What Kind of Language is Easy to Language-Model Under Curriculum Learning?

• arxiv url: http://arxiv.org/abs/2604.26844v1
• Date: Wed, 29 Apr 2026 16:09:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-30 15:59:36.483557
• Title: What Kind of Language is Easy to Language-Model Under Curriculum Learning?
• Title（参考訳）: カリキュラム学習下の言語モデルにとって、どのような言語が簡単か?
• Authors: Nadine El-Naggar, Tatsuki Kuribayashi, Ted Briscoe,
• Abstract要約: 多くの証明された言語は特徴の共通の構成を共有しており、類型的に非常に稀から非常に一般的な特徴の組み合わせのスペクトルを形成している。 一つの中心的な疑問は、そのようなタイプ的傾向を予測できる条件と、そのようなパターンを再現するのに言語モデルの学習バイアスが十分であるかどうかである。 この研究は、LMの帰納バイアスとの相互作用を研究するために、そのような分析(LMの学習シナリオ)に1つの次元性を加える。
• 参考スコア（独自算出の注目度）: 9.692115036534187
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many of the thousands of attested languages share common configurations of features, creating a spectrum from typologically very rare (e.g., object-verb-subject word order) or impossible languages to very common combinations of features (e.g., subject-object-verb word order). One central question is under what conditions such typological tendencies can be predicted, and specifically whether the learning bias of language models (LMs) is sufficient to reproduce such patterns. In this study, we add one dimensionality to such analysis -- the learning scenario for LMs -- to explore its interaction with the inductive bias of LMs. Specifically, as a first study, we examine the effect of curriculum learning (CL), as a developmentally motivated learning scenario, i.e., starting with simpler sentences rather than randomly-ordered input. We expand existing LM-based exploration (El-Naggar et al., 2025a,b) with a simple CL variant and find that CL substantially impacts the apparent inductive bias of LMs.
• Abstract（参考訳）: 何千もの証明された言語の多くは、特徴の共通の構成を共有しており、類型的に非常に稀な(例えば、オブジェクト・バーブ・サブジェクト語順)または不可能な言語から非常に共通の特徴の組み合わせ(例えば、主題・オブジェクト・バーブ語順)までスペクトルを形成している。 特に言語モデル(LM)の学習バイアスが、そのようなパターンを再現するのに十分かどうかについてである。 本研究では, LMの帰納的バイアスと相互作用を研究するために, このような分析, LMの学習シナリオに1つの次元性を加える。 具体的には,第1次研究として,ランダムに順序付けされた入力ではなく,単純な文から始まる発達的動機付け学習シナリオとして,カリキュラム学習(CL)の効果を検討する。 既存の LM ベースの探索 (El-Naggar et al , 2025a,b) を簡単な CL 変種で拡張し,CL が LM の明らかな帰納バイアスに大きく影響することを発見した。

関連論文リスト

• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Randomly Sampled Language Reasoning Problems Elucidate Limitations of In-Context Learning [9.75748930802634]
  機械学習の性能を向上させるために,テキスト内学習の能力について検討する。 非常に単純なドメインを考える: 単純な言語タスクにおける次のトークン予測。 この課題において LLM は n-gram モデルに一様に劣ることがわかった。
  論文  参考訳（メタデータ） (2025-01-06T07:57:51Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。