論文の概要: Specialization, Diversity, and Scaling in Child-Scale Language Models

• arxiv url: http://arxiv.org/abs/2610.36679v1
• Date: Tue, 27 Oct 2026 05:48:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-28 21:04:31.523478
• Title: Specialization, Diversity, and Scaling in Child-Scale Language Models
• Title（参考訳）: 子どもの言語モデルにおける特殊化・多様性・スケーリング
• Abstract要約: 我々は、高密度ホームレコーディング(BabyView)と合成児童向け対話(TinyDialogues)から、子どもと音声の書き起こしに小さなGPT-2モデルを訓練する。 小型データ言語学習は、モデルがどれだけの言語を見るかだけでなく、どの環境から来るのか、入力がモデルに要求されたものとどのように一致しているかにも依存する。
• 参考スコア（独自算出の注目度）: 2.073238357834033
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models are trained on far more language than children experience, but we know much less about learning from small, naturalistic datasets. We train small GPT-2 models on transcripts of speech with children from dense home recordings (BabyView) and on synthetic child-directed dialogue (TinyDialogues), varying the amount, source, and diversity of training data. Models trained on one child's language environment predict that environment substantially better than other children's environments. Much of this specialization is lexical and distributional: a simple 5-gram model reproduces the cross-child pattern (r=.91). Training on data from multiple children clearly improves prediction of pooled held-out language relative to training on a single child's input without a similarly clear improvement on grammatical benchmarks. Across data sizes, naturalistic and synthetic training inputs also produce different grammatical and lexical-semantic patterns, with important differences between grammatical phenomena. Together, these results show that small-data language learning depends not only on how much language a model sees, but on which environments it comes from and how well that input matches what the model is asked to predict.
• Abstract（参考訳）: 現代の言語モデルは、子供たちが経験するよりもはるかに多くの言語で訓練されています。 我々は、高密度ホームレコーディング(BabyView)と合成児童向け対話(TinyDialogues)から子どもとの音声の書き起こしに小さなGPT-2モデルを訓練し、トレーニングデータの量、ソース、多様性を変化させる。 ある子供の言語環境で訓練されたモデルは、他の子供の環境よりも環境がかなり良いと予測する。 この特殊化の多くは語彙的かつ分布的であり、単純な5グラムモデルではクロスチャイルドパターン(r=.91)を再現する。 複数の子どもからのデータのトレーニングは、文法的ベンチマークでも同様に改善されることなく、1人の子どもの入力に対するトレーニングと比較して、プールド・ホールトアウト言語の予測を明らかに改善する。 データサイズ全体にわたって、自然主義的および合成的なトレーニングインプットは、文法的現象と語彙的・セマンティックなパターンも生成し、文法的現象には重要な違いがある。 これらの結果は、モデルがどれだけの言語を見るかだけでなく、どの環境から来るのか、どの入力がモデルに求められているかに大きく依存していることを示している。

関連論文リスト

• Baby Scale: Investigating Models Trained on Individual Children's Language Input [2.3226022042424934]
  現代の言語モデルは、人間の子どもが受けるものよりも、桁違いに多くのトレーニングデータで訓練されなければならない。 我々は、子どもの自然学習データから言語知識がどのように現れるかを理解するために、人間のスケールデータセット上でLMをベンチマークする。 児童データに基づいて訓練されたLMは文法タスクのスケーリングを許容できるが、意味的および世界知識タスクのスケーリングは、合成データで訓練されたモデルよりも少ない。
  論文  参考訳（メタデータ） (2026-03-31T10:06:24Z)
• A Distributional Perspective on Word Learning in Neural Language Models [57.41607944290822]
  言語モデルにおける単語学習のための広く合意されたメトリクスは存在しない。 我々は、先行研究で研究された分布シグネチャは、重要な分布情報の取得に失敗すると主張している。 我々は、スクラッチから訓練する小さな言語モデルを選択するための学習軌跡を得る。
  論文  参考訳（メタデータ） (2025-02-09T13:15:59Z)
• Developmental Predictive Coding Model for Early Infancy Mono and Bilingual Vocal Continual Learning [69.8008228833895]
  本稿では,連続学習機構を備えた小型生成ニューラルネットワークを提案する。 我々のモデルは解釈可能性を重視し,オンライン学習の利点を実証する。
  論文  参考訳（メタデータ） (2024-12-23T10:23:47Z)
• Is Child-Directed Speech Effective Training Data for Language Models? [34.46268640655943]
  GPT-2 と RoBERTa モデルを英語の子供指向音声の29万語で学習する。 子どものトレーニングデータのグローバルな発達順序付けやローカルな談話順序付けが、他のデータセットと比較して高いパフォーマンスを支えているかどうかを検証する。 これらの結果は、より良いデータから進むのではなく、子供の学習アルゴリズムが現在の言語モデリング技術よりもはるかにデータ効率が高いという仮説を支持している。
  論文  参考訳（メタデータ） (2024-08-07T08:18:51Z)
• A systematic investigation of learnability from single child linguistic input [12.279543223376935]
  言語モデル(LM)は言語的に一貫性のあるテキストを生成するのに顕著な能力を示した。 しかし、これらのモデルのトレーニングデータと、子供が受ける言語的入力との間には、大きなギャップがある。 本研究は, 一人の子どもの言語入力のサブセットに基づいて, LMを訓練することに焦点を当てた。
  論文  参考訳（メタデータ） (2024-02-12T18:58:58Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Learning Cross-lingual Visual Speech Representations [108.68531445641769]
  言語横断的な自己監督型視覚表現学習は、ここ数年、研究トピックとして成長している。 我々は最近提案したRAVEn(Raw Audio-Visual Speechs)フレームワークを用いて,未ラベルデータを用いた音声-視覚モデルの事前学習を行う。 1)データ量が多いマルチ言語モデルはモノリンガルモデルよりも優れているが、データの量を維持すると、モノリンガルモデルの性能が向上する傾向にある。
  論文  参考訳（メタデータ） (2023-03-14T17:05:08Z)
• Word Acquisition in Neural Language Models [0.38073142980733]
  ニューラルネットワークモデルは,学習中に個々の単語を習得し,学習曲線を抽出し,600以上の単語の獲得年齢を推定する。 子どもや言語モデルでは, 具体性, 単語長, 語彙クラスの影響が顕著に異なることがわかった。
  論文  参考訳（メタデータ） (2021-10-05T23:26:16Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。