論文の概要: Do Syntactic Categories Help in Developmentally Motivated Curriculum Learning for Language Models?

• arxiv url: http://arxiv.org/abs/2511.08199v1
• Date: Wed, 12 Nov 2025 01:46:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-12 20:17:03.691247
• Title: Do Syntactic Categories Help in Developmentally Motivated Curriculum Learning for Language Models?
• Title（参考訳）: シンタクティックカテゴリーは言語モデルのための発達的動機付け学習に役立つか?
• Authors: Arzu Burcu Güven, Anna Rogers, Rob van der Goot,
• Abstract要約: 本研究では, BabyLM corpus と CHILDES の年齢群を解析した。 CHILDESは, 年齢による統語的区別が強くないが, 学習データに関する統語的知識は, 言語課題におけるモデル性能の解釈に有用であることを示す。
• 参考スコア（独自算出の注目度）: 22.306066892204274
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We examine the syntactic properties of BabyLM corpus, and age-groups within CHILDES. While we find that CHILDES does not exhibit strong syntactic differentiation by age, we show that the syntactic knowledge about the training data can be helpful in interpreting model performance on linguistic tasks. For curriculum learning, we explore developmental and several alternative cognitively inspired curriculum approaches. We find that some curricula help with reading tasks, but the main performance improvement come from using the subset of syntactically categorizable data, rather than the full noisy corpus.
• Abstract（参考訳）: 本研究では, BabyLM corpus と CHILDES の年齢群を解析した。 CHILDESは年齢差が強くないが, 学習データに関する構文知識は, 言語課題におけるモデル性能の解釈に有用であることを示す。 カリキュラム学習では、発達的および認知にインスパイアされたいくつかのカリキュラムアプローチを探索する。 いくつかのキュリキュラはタスクの読み込みに役立ちますが、主なパフォーマンス改善は、完全なノイズコーパスではなく、構文的に分類可能なデータのサブセットを使用することにあります。

関連論文リスト

• Towards Developmentally Plausible Rewards: Communicative Success as a Learning Signal for Interactive Language Models [49.22720751953838]
  本研究では,子どもの言語習得に触発された対話型環境で言語モデルを訓練する手法を提案する。 この設定では、話者は1ターンの対話でリスナーに何らかの情報を伝達しようと試み、コミュニケーションの成功が達成されれば報酬を受け取る。
  論文  参考訳（メタデータ） (2025-05-09T11:48:36Z)
• A Distributional Perspective on Word Learning in Neural Language Models [57.41607944290822]
  言語モデルにおける単語学習のための広く合意されたメトリクスは存在しない。 我々は、先行研究で研究された分布シグネチャは、重要な分布情報の取得に失敗すると主張している。 我々は、スクラッチから訓練する小さな言語モデルを選択するための学習軌跡を得る。
  論文  参考訳（メタデータ） (2025-02-09T13:15:59Z)
• Babysit A Language Model From Scratch: Interactive Language Learning by Trials and Demonstrations [15.394018604836774]
  本稿では,学生の試行,教師のデモンストレーション,および様々な発達段階における言語能力に配慮した報酬という,3つの要素を取り入れたトライアル・アンド・デモレーション(TnD)学習フレームワークを提案する。 実験の結果,TnD手法は,等数あるいは少人数の学生モデルの単語獲得を促進させ,試行錯誤と実演の両方の重要性を強調した。 この結果から,対話型言語学習は,教師による実演や積極的試行によって,言語モデルにおける効率的な単語学習を促進することが示唆された。
  論文  参考訳（メタデータ） (2024-05-22T16:57:02Z)
• CLIMB: Curriculum Learning for Infant-inspired Model Building [6.4766496232839685]
  本稿では,BabyLM ChallengeのSTRICT-SMALLトラックへのチームの貢献について述べる。 課題は、1000万ワードの比較的小さなトレーニングデータセットを使用して、言語モデルをゼロからトレーニングすることである。 認知に動機づけられたカリキュラム学習の3つの変種を実験し,そのモデルの性能に及ぼす影響を解析した。
  論文  参考訳（メタデータ） (2023-11-15T11:48:16Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Human Inspired Progressive Alignment and Comparative Learning for Grounded Word Acquisition [6.47452771256903]
  我々は、人間の赤ちゃんが最初の言語をどのように習得するかからインスピレーションを得て、比較学習を通じて単語獲得のための計算プロセスを開発した。 認知的発見を動機として,様々な属性の類似点と相違点を計算モデルで比較できる小さなデータセットを作成した。 我々は、単語の獲得を情報フィルタリングのプロセスだけでなく、表現-シンボルマッピングにもとづいている。
  論文  参考訳（メタデータ） (2023-07-05T19:38:04Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• Introducing Syntactic Structures into Target Opinion Word Extraction with Deep Learning [89.64620296557177]
  目的語抽出のためのディープラーニングモデルに文の構文構造を組み込むことを提案する。 また,ディープラーニングモデルの性能向上のために,新たな正規化手法を導入する。 提案モデルは,4つのベンチマークデータセット上での最先端性能を広範囲に解析し,達成する。
  論文  参考訳（メタデータ） (2020-10-26T07:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。