論文の概要: Findings of the BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora

• arxiv url: http://arxiv.org/abs/2504.08165v1
• Date: Thu, 10 Apr 2025 23:22:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-14 14:19:19.429558
• Title: Findings of the BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora
• Title（参考訳）: BabyLM チャレンジの発見: 発達的可塑性コーパス上でのサンプル有効プレトレーニング
• Authors: Alex Warstadt, Aaron Mueller, Leshem Choshen, Ethan Wilcox, Chengxu Zhuang, Juan Ciro, Rafael Mosquera, Bhargavi Paranjape, Adina Williams, Tal Linzen, Ryan Cotterell,
• Abstract要約: 子どもたちは1億ワード未満の入力から言語を習得できる。 大規模な言語モデルはデータ効率がはるかに低く、通常は3～4桁以上のデータを必要とするが、多くの評価において人間ほど性能は高くない。 BabyLM Challengeは、参加者が固定データ予算で言語モデルトレーニングを最適化するために競う共同作業である。
• 参考スコア（独自算出の注目度）: 84.03928547166873
• License:
• Abstract: Children can acquire language from less than 100 million words of input. Large language models are far less data-efficient: they typically require 3 or 4 orders of magnitude more data and still do not perform as well as humans on many evaluations. These intensive resource demands limit the ability of researchers to train new models and use existing models as developmentally plausible cognitive models. The BabyLM Challenge is a communal effort in which participants compete to optimize language model training on a fixed data budget. Submissions are compared on various evaluation tasks targeting grammatical ability, downstream task performance, and generalization. Participants can submit to up to three tracks with progressively looser data restrictions. From over 30 submissions, we extract concrete recommendations on how best to train data-efficient language models, and on where future efforts should (and perhaps should not) focus. The winning submissions using the LTG-BERT architecture (Samuel et al., 2023) outperformed models trained on trillions of words. Other submissions achieved strong results through training on shorter input sequences or training a student model on a pretrained teacher. Curriculum learning attempts, which accounted for a large number of submissions, were largely unsuccessful, though some showed modest improvements.
• Abstract（参考訳）: 子どもたちは1億ワード未満の入力から言語を習得できる。 大規模な言語モデルはデータ効率がはるかに低く、通常は3～4桁以上のデータを必要とするが、多くの評価において人間ほど性能は高くない。 これらの集中的なリソース要求は、研究者が新しいモデルを訓練し、既存のモデルを発達的に妥当な認知モデルとして使用する能力を制限する。 BabyLM Challengeは、参加者が固定データ予算で言語モデルトレーニングを最適化するために競う共同作業である。 提案課題は, 文法能力, 下流タスク性能, 一般化を目標とした各種評価課題において比較される。 参加者は、データ制限を徐々に緩めることなく、最大3つのトラックを提出できる。 30以上の投稿から、データ効率のよい言語モデルをいかに訓練するか、そして将来の取り組みがどこに焦点を合わせるべきか(おそらくはそうでないこと)について、具体的なレコメンデーションを抽出します。 LTG-BERTアーキテクチャ(Samuel et al , 2023)を用いた入賞応募は、数兆ワードで訓練されたモデルよりも優れていた。 他の応募は、短い入力シーケンスのトレーニングや、事前訓練された教師で生徒モデルを訓練することで、強力な結果を得た。 多数の応募を考慮に入れたカリキュラム学習の試みはほとんど失敗に終わったが、幾人かは控えめな改善を見せた。

関連論文リスト

• Findings of the Second BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora [79.03392191805028]
  BabyLM Challengeは、人間と計算言語学習者のデータ効率ギャップを埋めるためのコミュニティの取り組みである。 参加者は1億ワード以下の固定言語データ予算で、言語モデルトレーニングを最適化するために競争する。
  論文  参考訳（メタデータ） (2024-12-06T16:06:08Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• Is Child-Directed Speech Effective Training Data for Language Models? [34.46268640655943]
  GPT-2 と RoBERTa モデルを英語の子供指向音声の29万語で学習する。 子どものトレーニングデータのグローバルな発達順序付けやローカルな談話順序付けが、他のデータセットと比較して高いパフォーマンスを支えているかどうかを検証する。 これらの結果は、より良いデータから進むのではなく、子供の学習アルゴリズムが現在の言語モデリング技術よりもはるかにデータ効率が高いという仮説を支持している。
  論文  参考訳（メタデータ） (2024-08-07T08:18:51Z)
• Acquiring Linguistic Knowledge from Multimodal Input [10.965306219502303]
  子どもとは対照的に、言語モデル(LM)は言語習得時のデータ効率が著しく劣っている。 我々は、このデータ効率ギャップは、典型的な言語モデルの学習環境におけるマルチモーダル入力の欠如と基礎化によって生じるという仮説を検証した。
  論文  参考訳（メタデータ） (2024-02-27T23:29:10Z)
• Can training neural language models on a curriculum with developmentally plausible data improve alignment with human reading behavior? [0.2745342790938508]
  本稿では,より発達的に妥当なデータを用いたモデル学習により,経験的行動とモデル予測行動の相違が最小化できる範囲について検討する。 我々は,BabyLMの「限定小」データセットを用いて教師言語モデルを訓練し,これらの教師モデルからの文レベル推定を用いてカリキュラムの作成を行った。 モデルが学習データから言語知識を習得し易いという仮の証拠が得られた。
  論文  参考訳（メタデータ） (2023-11-30T18:03:58Z)
• LIMA: Less Is More for Alignment [112.93890201395477]
  65B パラメータ LLaMa 言語モデル LIMA のトレーニングを行う。 LIMAは、非常に強力なパフォーマンスを示し、少数の例から特定のレスポンスフォーマットに従うことを学ぶ。 制御されたヒトの研究では、LIMAからの反応は43%の症例において、GPT-4に等しいか、厳格に好まれる。
  論文  参考訳（メタデータ） (2023-05-18T17:45:22Z)
• Call for Papers -- The BabyLM Challenge: Sample-efficient pretraining on a developmentally plausible corpus [32.51325830633226]
  BabyLM Challenge: 発達可能なコーパス上でのサンプル効率事前学習のための論文の募集を行う。 この共有タスクは、小規模言語モデリング、ヒューマン言語獲得、低リソースNLP、認知モデリングに関心を持つ参加者を対象としている。
  論文  参考訳（メタデータ） (2023-01-27T15:52:50Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Language Model Pre-Training with Sparse Latent Typing [66.75786739499604]
  そこで本研究では,多種多様な潜在型を持つ文レベルのキーワードを疎に抽出することのできる,事前学習対象Sparse Latent Typingを提案する。 実験結果から,本モデルは外部知識を使わずに,自己教師型で解釈可能な潜在型カテゴリを学習できることが示唆された。
  論文  参考訳（メタデータ） (2022-10-23T00:37:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。