論文の概要: Tolerance Principle and Small Language Model Learning

• arxiv url: http://arxiv.org/abs/2601.12179v1
• Date: Sat, 17 Jan 2026 21:43:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.497992
• Title: Tolerance Principle and Small Language Model Learning
• Title（参考訳）: 寛容原理と小言語モデル学習
• Authors: Adam E. Friedman, Stevan Harnad, Rushen Shi,
• Abstract要約: 子どもは14ヶ月ほどで、抽象文法の規則を学ぶ能力を持っている。 本研究では,トランスフォーマーに基づく言語モデルを用いて,ルールの一般化に必要なトレーニングデータの最小限の量と品質について検討した。 ヒトの幼児とは異なり、BabyBERTaの学習力学は寛容原理と一致しないことがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern language models like GPT-3, BERT, and LLaMA require massive training data, yet with sufficient training they reliably learn to distinguish grammatical from ungrammatical sentences. Children aged as young as 14 months already have the capacity to learn abstract grammar rules from very few exemplars, even in the presence of non-rule-following exceptions. Yang's (2016) Tolerance Principle defines a precise threshold for how many exceptions a rule can tolerate and still be learnable. The present study explored the minimal amount and quality of training data necessary for rules to be generalized by a transformer-based language model to test the predictions of the Tolerance Principle. We trained BabyBERTa (Huebner et al. 2021), a transformer model optimized for small datasets, on artificial grammars. The training sets varied in size, number of unique sentence types, and proportion of rule-following versus exception exemplars. We found that, unlike human infants, BabyBERTa's learning dynamics do not align with the Tolerance Principle.
• Abstract（参考訳）: GPT-3、BERT、LLaMAといった現代の言語モデルは、膨大なトレーニングデータを必要とするが、十分なトレーニングにより、文法的な文と非文法的な文を区別することを確実に学習する。 幼少期から14ヶ月の子供たちは、非規則的な例外があっても、ごく少数の見習いから抽象文法の規則を学ぶ能力を持っている。 Yang's (2016) Tolerance Principle は、ルールが許容し、学習可能な例外の数について、正確なしきい値を定義している。 本研究では,寛容原理の予測をテストするために,変圧器に基づく言語モデルを用いて規則を一般化するために必要なトレーニングデータの最小限の量と品質について検討した。 小データセットに最適化されたトランスフォーマーモデルであるBabyBERTa(Huebner et al 2021)を人工文法に基づいて訓練した。 トレーニングセットは、サイズ、ユニークな文タイプ数、ルールフォロー率と例外例の比率に変化があった。 ヒトの幼児とは異なり、BabyBERTaの学習力学は寛容原理と一致しないことがわかった。

関連論文リスト

• Findings of the BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora [84.03928547166873]
  子どもたちは1億ワード未満の入力から言語を習得できる。 大規模な言語モデルはデータ効率がはるかに低く、通常は3～4桁以上のデータを必要とするが、多くの評価において人間ほど性能は高くない。 BabyLM Challengeは、参加者が固定データ予算で言語モデルトレーニングを最適化するために競う共同作業である。
  論文  参考訳（メタデータ） (2025-04-10T23:22:43Z)
• A Distributional Perspective on Word Learning in Neural Language Models [57.41607944290822]
  言語モデルにおける単語学習のための広く合意されたメトリクスは存在しない。 我々は、先行研究で研究された分布シグネチャは、重要な分布情報の取得に失敗すると主張している。 我々は、スクラッチから訓練する小さな言語モデルを選択するための学習軌跡を得る。
  論文  参考訳（メタデータ） (2025-02-09T13:15:59Z)
• Characterizing Learning Curves During Language Model Pre-Training: Learning, Forgetting, and Stability [25.52470575274251]
  より長く一貫性のあるテキストを生成するために学習する前に、言語モデルが短い反復句を生成するのを観察する。 個々のトークンは、トレーニング前のランニングで驚くほど一貫性のある、突然の増減または損失の減少を示すことが多い。 より頻繁なトークンは最終段階の低い値に到達し、事前トレーニング実行中の変動が少なく、早期に学習され、事前トレーニング中に「忘れられる」可能性が低い。
  論文  参考訳（メタデータ） (2023-08-29T16:24:09Z)
• Rule By Example: Harnessing Logical Rules for Explainable Hate Speech Detection [13.772240348963303]
  Rule By Example(RBE)は、テキストコンテンツモデレーションのタスクに対する論理規則から学習するための、新規なコントラスト学習手法である。 RBEはルール基底の予測を提供することができ、典型的なディープラーニングベースのアプローチと比較して説明可能でカスタマイズ可能な予測を可能にする。
  論文  参考訳（メタデータ） (2023-07-24T16:55:37Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)
• Bridging the Gap Between Training and Inference of Bayesian Controllable Language Models [58.990214815032495]
  大規模事前学習型言語モデルは、自然言語生成タスクにおいて大きな成功を収めている。 BCLMは制御可能な言語生成において効率的であることが示されている。 本稿では,ミスマッチ問題を少ない計算コストで軽減する制御可能な言語生成のための"Gemini Discriminator"を提案する。
  論文  参考訳（メタデータ） (2022-06-11T12:52:32Z)
• Learning Which Features Matter: RoBERTa Acquires a Preference for Linguistic Generalizations (Eventually) [25.696099563130517]
  我々はMSGS(Mixed Signals Generalization Set)と呼ばれる新しい英語診断セットを導入する。 MSGSは20のあいまいなバイナリ分類タスクから構成されており、事前訓練されたモデルが微調整中に言語的あるいは表面的な一般化を好むかどうかをテストするのに使用される。 我々は、RoBERTaモデルを100万語から10億語までのデータ量でスクラッチからプレトレーニングし、MSGS上でのパフォーマンスをRoBERTaベースと比較する。 モデルは事前学習したデータで言語的特徴を表現することができるが、言語的な一般化を表わすためには、はるかに多くのデータが必要である。
  論文  参考訳（メタデータ） (2020-10-11T22:09:27Z)
• Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
  ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。 その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。 これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2020-10-06T05:15:39Z)
• KR-BERT: A Small-Scale Korean-Specific Language Model [0.0]
  韓国固有のKR-BERTモデルを,より小さな語彙とデータセットを用いて訓練した。 本モデルでは, コーパスを約1/10のサイズのコーパスを用いて, 既存の事前学習モデルと比較し, 比較検討を行った。
  論文  参考訳（メタデータ） (2020-08-10T09:26:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。