Fugu-MT 論文翻訳(概要): Children, but not language models, show accelerating returns in word learning

論文の概要: Children, but not language models, show accelerating returns in word learning

arxiv url: http://arxiv.org/abs/2608.17120v1
Date: Mon, 17 Aug 2026 20:55:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-19 21:40:53.129831
Title: Children, but not language models, show accelerating returns in word learning
Title（参考訳）: 言語モデルではなく子どもたちは、単語学習におけるリターンの加速を見せている
Abstract要約: 子どもたちは人生の最初の年に何百もの言葉を学びます。以前のモデルでは、語彙の成長は時間とともに蓄積される証拠として記述されていた。ここでは, このプロセスが蓄積の加速として最適であることを示す。
参考スコア（独自算出の注目度）: 0.6683951767728682
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Children learn hundreds of words over the first years of their lives, in a process that begins slowly but quickly picks up speed. Prior models describe vocabulary growth as evidence accumulation over time. Here we show that the process is best characterized as accelerating accumulation: children learn more from each additional unit of linguistic experience than they did from the one before. In contrast to children, language models -- even those trained on child-directed speech -- do not accelerate. Instead, they show constant proportional returns on new data, consistent with scaling laws. Children learn using many orders of magnitude less training data than language models; their increasingly efficient use of their learning input is a candidate explanation.
Abstract（参考訳）: 子どもたちは、人生の最初の年に何百もの言葉を学習する。以前のモデルでは、語彙の成長は時間の経過とともに蓄積される証拠として記述されていた。ここでは、この過程が蓄積の加速として最も特徴付けられることを示し、子どもたちは、以前よりも言語経験の付加単位からより多くを学ぶ。子どもとは対照的に、子供指向のスピーチで訓練された人々でさえ、言語モデルは加速しない。代わりに、スケーリング法則に従って、新しいデータに対して一定の比例リターンを示す。子どもたちは、言語モデルよりも桁違いに少ない訓練データを使って学習する。

関連論文リスト

Once Upon a Time: Interactive Learning for Storytelling with Small Language Models [1.8012666291588018]
我々は,高レベルの認知的フィードバックから学習することで,少ないデータで言語モデルを訓練できるかどうかを検討する。私たちは、教師モデルが読みやすさ、物語のコヒーレンス、創造性を評価するストーリーを生成するために、学生モデルを訓練します。対話型学習において100万ワードのインプットしか持たず、ストーリーテリングのスキルは410万ワードの次単語予測と同等に向上する。
論文参考訳（メタデータ） (2025-09-19T07:45:34Z)
Tracing Multilingual Factual Knowledge Acquisition in Pretraining [83.93508231653091]
大規模言語モデル(LLM)は、事前学習データに存在する多言語事実知識をリコールすることができる。我々は,OLMo-7Bに焦点をあてて,事前学習中に現実のリコールと言語間の整合性がどのように進化するかを辿った。ほとんどの言語では、正確性と一貫性が時間の経過とともに向上していることが分かりました。
論文参考訳（メタデータ） (2025-05-20T18:39:56Z)
Findings of the BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora [84.03928547166873]
子どもたちは1億ワード未満の入力から言語を習得できる。大規模な言語モデルはデータ効率がはるかに低く、通常は3～4桁以上のデータを必要とするが、多くの評価において人間ほど性能は高くない。 BabyLM Challengeは、参加者が固定データ予算で言語モデルトレーニングを最適化するために競う共同作業である。
論文参考訳（メタデータ） (2025-04-10T23:22:43Z)
A Distributional Perspective on Word Learning in Neural Language Models [57.41607944290822]
言語モデルにおける単語学習のための広く合意されたメトリクスは存在しない。我々は、先行研究で研究された分布シグネチャは、重要な分布情報の取得に失敗すると主張している。我々は、スクラッチから訓練する小さな言語モデルを選択するための学習軌跡を得る。
論文参考訳（メタデータ） (2025-02-09T13:15:59Z)
Is Child-Directed Speech Effective Training Data for Language Models? [34.46268640655943]
GPT-2 と RoBERTa モデルを英語の子供指向音声の29万語で学習する。子どものトレーニングデータのグローバルな発達順序付けやローカルな談話順序付けが、他のデータセットと比較して高いパフォーマンスを支えているかどうかを検証する。これらの結果は、より良いデータから進むのではなく、子供の学習アルゴリズムが現在の言語モデリング技術よりもはるかにデータ効率が高いという仮説を支持している。
論文参考訳（メタデータ） (2024-08-07T08:18:51Z)
Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文参考訳（メタデータ） (2023-10-20T03:33:36Z)
Characterizing Learning Curves During Language Model Pre-Training: Learning, Forgetting, and Stability [25.52470575274251]
より長く一貫性のあるテキストを生成するために学習する前に、言語モデルが短い反復句を生成するのを観察する。個々のトークンは、トレーニング前のランニングで驚くほど一貫性のある、突然の増減または損失の減少を示すことが多い。より頻繁なトークンは最終段階の低い値に到達し、事前トレーニング実行中の変動が少なく、早期に学習され、事前トレーニング中に「忘れられる」可能性が低い。
論文参考訳（メタデータ） (2023-08-29T16:24:09Z)
Language acquisition: do children and language models follow similar learning stages? [2.2881898195409884]
深層言語モデルの学習軌跡と子どもの学習軌跡を比較した。我々は48のGPT-2モデルをスクラッチからトレーニングし、各トレーニングステップでそれらの構文的および意味的能力を評価する。次に,これらの評価を,言語生産における54人の子どもの行動と比較した。
論文参考訳（メタデータ） (2023-06-06T11:08:20Z)
Memorization Without Overfitting: Analyzing the Training Dynamics of Large Language Models [64.22311189896888]
因果的および仮面的言語モデリング、モデルサイズ、およびトレーニングプロセス全体における正確な記憶について検討する。驚くべきことに、大きなモデルは過度に適合する前にデータの大部分を記憶し、トレーニングプロセスを通して忘れる傾向にある。
論文参考訳（メタデータ） (2022-05-22T07:43:50Z)
Word Acquisition in Neural Language Models [0.38073142980733]
ニューラルネットワークモデルは,学習中に個々の単語を習得し,学習曲線を抽出し,600以上の単語の獲得年齢を推定する。子どもや言語モデルでは, 具体性, 単語長, 語彙クラスの影響が顕著に異なることがわかった。
論文参考訳（メタデータ） (2021-10-05T23:26:16Z)
Allocating Large Vocabulary Capacity for Cross-lingual Language Model Pre-training [59.571632468137075]
最近の言語間言語モデルでは,語彙の容量が限られているため,多くの言語が不足していることがわかった。本稿では,各言語の語彙能力を決定するアルゴリズムであるVoCapを提案する。この問題に対処するために,k-NNに基づくターゲットサンプリングを提案し,コストの高いソフトマックスを高速化する。
論文参考訳（メタデータ） (2021-09-15T14:04:16Z)
Using Known Words to Learn More Words: A Distributional Analysis of Child Vocabulary Development [0.0]
分布統計の語彙特性を用いた語彙発達におけるアイテムベース変動について検討した。単語軌跡を横断的に予測し,語彙発達の傾向に光を当てた。また, 子どもが単語を知っているかどうかの最適な分布予測器は, 単語が共起する傾向にある他の単語の数であることを示す。
論文参考訳（メタデータ） (2020-09-15T01:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。