論文の概要: Findings of the Second BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora

• arxiv url: http://arxiv.org/abs/2412.05149v1
• Date: Fri, 06 Dec 2024 16:06:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:41.373253
• Title: Findings of the Second BabyLM Challenge: Sample-Efficient Pretraining on Developmentally Plausible Corpora
• Title（参考訳）: 第2回 BabyLM チャレンジの発見: 発達的可塑性コーパス上でのサンプル有効プレトレーニング
• Authors: Michael Y. Hu, Aaron Mueller, Candace Ross, Adina Williams, Tal Linzen, Chengxu Zhuang, Ryan Cotterell, Leshem Choshen, Alex Warstadt, Ethan Gotlieb Wilcox,
• Abstract要約: BabyLM Challengeは、人間と計算言語学習者のデータ効率ギャップを埋めるためのコミュニティの取り組みである。 参加者は1億ワード以下の固定言語データ予算で、言語モデルトレーニングを最適化するために競争する。
• 参考スコア（独自算出の注目度）: 79.03392191805028
• License:
• Abstract: The BabyLM Challenge is a community effort to close the data-efficiency gap between human and computational language learners. Participants compete to optimize language model training on a fixed language data budget of 100 million words or less. This year, we released improved text corpora, as well as a vision-and-language corpus to facilitate research into cognitively plausible vision language models. Submissions were compared on evaluation tasks targeting grammatical ability, (visual) question answering, pragmatic abilities, and grounding, among other abilities. Participants could submit to a 10M-word text-only track, a 100M-word text-only track, and/or a 100M-word and image multimodal track. From 31 submissions employing diverse methods, a hybrid causal-masked language model architecture outperformed other approaches. No submissions outperformed the baselines in the multimodal track. In follow-up analyses, we found a strong relationship between training FLOPs and average performance across tasks, and that the best-performing submissions proposed changes to the training data, training objective, and model architecture. This year's BabyLM Challenge shows that there is still significant room for innovation in this setting, in particular for image-text modeling, but community-driven research can yield actionable insights about effective strategies for small-scale language modeling.
• Abstract（参考訳）: BabyLM Challengeは、人間と計算言語学習者のデータ効率ギャップを埋めるためのコミュニティの取り組みである。 参加者は1億ワード以下の固定言語データ予算で、言語モデルトレーニングを最適化するために競争する。 今年は、認知可能な視覚言語モデルの研究を促進するために、改良されたテキストコーパスと、視覚・言語コーパスをリリースしました。 課題は, 文法能力, 視覚的) 質問応答, 実用的能力, 基礎的能力などを対象とした評価課題について比較した。 参加者は10Mワードのテキストのみのトラック、100Mワードのテキストのみのトラック、および/または100Mワードと画像のマルチモーダルトラックを提出できる。 多様な手法を用いた31の提案から、ハイブリッド因果行列型言語モデルアーキテクチャは、他のアプローチよりも優れていた。 提案はマルチモーダルトラックのベースラインを上回りませんでした。 フォローアップ分析では、FLOPのトレーニングとタスク間の平均パフォーマンスの相関が強く、最高のパフォーマンスの応募がトレーニングデータ、トレーニング目標、モデルアーキテクチャの変更を提案した。 今年のBabyLM Challengeは、特に画像テキストモデリングでは、この環境ではまだイノベーションの余地があることを示しているが、コミュニティ主導の研究は、小規模言語モデリングの効果的な戦略に関する実用的な洞察を得ることができる。

関連論文リスト

• LangSuitE: Planning, Controlling and Interacting with Large Language Models in Embodied Text Environments [70.91258869156353]
  テキストエンボディの世界における6つの代表的具体的タスクを特徴とする多目的・シミュレーション不要なテストベッドであるLangSuitEを紹介する。 以前のLLMベースのテストベッドと比較すると、LangSuitEは複数のシミュレーションエンジンを使わずに、多様な環境への適応性を提供する。 具体化された状態の履歴情報を要約した新しいチェーン・オブ・ソート(CoT)スキーマであるEmMemを考案する。
  論文  参考訳（メタデータ） (2024-06-24T03:36:29Z)
• Acquiring Linguistic Knowledge from Multimodal Input [10.965306219502303]
  子どもとは対照的に、言語モデル(LM)は言語習得時のデータ効率が著しく劣っている。 我々は、このデータ効率ギャップは、典型的な言語モデルの学習環境におけるマルチモーダル入力の欠如と基礎化によって生じるという仮説を検証した。
  論文  参考訳（メタデータ） (2024-02-27T23:29:10Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• Pretrained Generative Language Models as General Learning Frameworks for Sequence-Based Tasks [0.0]
  そこで本研究では,素小事前学習型生成言語モデルをシーケンスベースタスクの一般的な学習フレームワークとして利用することを提案する。 提案では,ニューラルネットワークと言語モデルをスクラッチからトレーニングする際の計算資源,スキルセット,タイムラインの課題を克服する。 125M,350M,1.3Bパラメータを事前学習した基礎言語モデルを1万から1000,000の命令例で微調整できることを実証した。
  論文  参考訳（メタデータ） (2024-02-08T12:19:32Z)
• CLIMB: Curriculum Learning for Infant-inspired Model Building [6.4766496232839685]
  本稿では,BabyLM ChallengeのSTRICT-SMALLトラックへのチームの貢献について述べる。 課題は、1000万ワードの比較的小さなトレーニングデータセットを使用して、言語モデルをゼロからトレーニングすることである。 認知に動機づけられたカリキュラム学習の3つの変種を実験し,そのモデルの性能に及ぼす影響を解析した。
  論文  参考訳（メタデータ） (2023-11-15T11:48:16Z)
• LAMM: Language-Assisted Multi-Modal Instruction-Tuning Dataset, Framework, and Benchmark [81.42376626294812]
  本稿では,Language-Assisted Multi-Modalインストラクションチューニングデータセット,フレームワーク,ベンチマークを提案する。 我々の目標は、MLLMのトレーニングと評価のための成長するエコシステムとしてLAMMを確立することです。 本稿では,2次元および3次元視覚のための広範囲な視覚タスクをカバーする包括的データセットとベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-06-11T14:01:17Z)
• Improving Factuality and Reasoning in Language Models through Multiagent Debate [95.10641301155232]
  複数の言語モデルインスタンスが共通の最終回答に到達するために、複数のラウンドで個別の応答と推論プロセスを提案し、議論する言語応答を改善するための補完的なアプローチを提案する。 以上の結果から,本手法は様々なタスクにおける数学的・戦略的推論を著しく向上させることが示唆された。 我々のアプローチは、既存のブラックボックスモデルに直接適用され、調査するすべてのタスクに対して、同じ手順とプロンプトを使用することができる。
  論文  参考訳（メタデータ） (2023-05-23T17:55:11Z)
• Grounding Language Models to Images for Multimodal Inputs and Outputs [89.30027812161686]
  本稿では,事前学習したテキストのみの言語モデルを視覚領域に最適化する効率的な手法を提案する。 任意にインターリーブされた画像とテキストデータを処理し、検索した画像とインターリーブされたテキストを生成する。
  論文  参考訳（メタデータ） (2023-01-31T18:33:44Z)
• Call for Papers -- The BabyLM Challenge: Sample-efficient pretraining on a developmentally plausible corpus [32.51325830633226]
  BabyLM Challenge: 発達可能なコーパス上でのサンプル効率事前学習のための論文の募集を行う。 この共有タスクは、小規模言語モデリング、ヒューマン言語獲得、低リソースNLP、認知モデリングに関心を持つ参加者を対象としている。
  論文  参考訳（メタデータ） (2023-01-27T15:52:50Z)
• LICHEE: Improving Language Model Pre-training with Multi-grained Tokenization [19.89228774074371]
  本稿では,入力テキストの多粒度情報を効率的に組み込むための,シンプルで効果的な事前学習手法であるlicHEEを提案する。 本手法は,様々な事前学習言語モデルに適用でき,その表現能力を向上させることができる。
  論文  参考訳（メタデータ） (2021-08-02T12:08:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。