論文の概要: DevBench: A multimodal developmental benchmark for language learning

• arxiv url: http://arxiv.org/abs/2406.10215v1
• Date: Fri, 14 Jun 2024 17:49:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-17 12:27:23.255867
• Title: DevBench: A multimodal developmental benchmark for language learning
• Title（参考訳）: DevBench: 言語学習のためのマルチモーダル開発ベンチマーク
• Authors: Alvin Wei Ming Tan, Sunny Yu, Bria Long, Wanjing Anya Ma, Tonya Murray, Rebecca D. Silverman, Jason D. Yeatman, Michael C. Frank,
• Abstract要約: タスクと行動データに基づいて視覚言語モデルを評価するベンチマークであるDevBenchを紹介する。 DevBenchは、モデルを人間の言語開発と比較するためのベンチマークを提供する。 これらの比較は、モデルと人間の言語学習プロセスの分岐方法を強調する。
• 参考スコア（独自算出の注目度）: 0.34129029452670606
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: How (dis)similar are the learning trajectories of vision-language models and children? Recent modeling work has attempted to understand the gap between models' and humans' data efficiency by constructing models trained on less data, especially multimodal naturalistic data. However, such models are often evaluated on adult-level benchmarks, with limited breadth in language abilities tested, and without direct comparison to behavioral data. We introduce DevBench, a multimodal benchmark comprising seven language evaluation tasks spanning the domains of lexical, syntactic, and semantic ability, with behavioral data from both children and adults. We evaluate a set of vision-language models on these tasks, comparing models and humans not only on accuracy but on their response patterns. Across tasks, models exhibit variation in their closeness to human response patterns, and models that perform better on a task also more closely resemble human behavioral responses. We also examine the developmental trajectory of OpenCLIP over training, finding that greater training results in closer approximations to adult response patterns. DevBench thus provides a benchmark for comparing models to human language development. These comparisons highlight ways in which model and human language learning processes diverge, providing insight into entry points for improving language models.
• Abstract（参考訳）: 視覚言語モデルと子どもの学習軌跡はどのように類似しているか? 近年のモデリング研究は、より少ないデータ、特にマルチモーダル・ナチュラルなデータで訓練されたモデルを構築することで、モデルの効率と人間のデータ効率のギャップを解明しようと試みている。 しかし、このようなモデルはしばしば成人レベルのベンチマークで評価され、言語能力の限界はテストされ、行動データと直接比較されることはない。 我々は,語彙,構文,意味的能力の領域にまたがる7つの言語評価タスクからなるマルチモーダル・ベンチマークであるDevBenchを紹介した。 これらの課題に対して視覚言語モデルのセットを評価し、モデルと人間を精度だけでなく、その応答パターンに基づいて比較する。 タスク全体にわたって、モデルは人間の反応パターンに近づき、タスクにおいてより良く機能するモデルは人間の行動反応によく似ている。 また,OpenCLIPの学習における発達軌跡についても検討し,学習結果が成人の反応パターンに密接な関係があることを見出した。 DevBenchは、モデルと人間の言語開発を比較するためのベンチマークを提供する。 これらの比較は、モデルと人間の言語学習プロセスの分岐方法を強調し、言語モデルを改善するためのエントリポイントに関する洞察を提供する。

関連論文リスト

• Is Child-Directed Speech Effective Training Data for Language Models? [34.46268640655943]
  GPT-2 と RoBERTa モデルを英語の子供指向音声の29万語で学習する。 子どものトレーニングデータのグローバルな発達順序付けやローカルな談話順序付けが、他のデータセットと比較して高いパフォーマンスを支えているかどうかを検証する。 これらの結果は、より良いデータから進むのではなく、子供の学習アルゴリズムが現在の言語モデリング技術よりもはるかにデータ効率が高いという仮説を支持している。
  論文  参考訳（メタデータ） (2024-08-07T08:18:51Z)
• Can training neural language models on a curriculum with developmentally plausible data improve alignment with human reading behavior? [0.2745342790938508]
  本稿では,より発達的に妥当なデータを用いたモデル学習により,経験的行動とモデル予測行動の相違が最小化できる範囲について検討する。 我々は,BabyLMの「限定小」データセットを用いて教師言語モデルを訓練し,これらの教師モデルからの文レベル推定を用いてカリキュラムの作成を行った。 モデルが学習データから言語知識を習得し易いという仮の証拠が得られた。
  論文  参考訳（メタデータ） (2023-11-30T18:03:58Z)
• Evaluating Large Language Models on Controlled Generation Tasks [92.64781370921486]
  本稿では,異なる粒度を持つ文計画ベンチマークを含む,様々なベンチマークを広範囲に分析する。 大規模言語モデルと最先端の微調整された小型モデルを比較した後、大規模言語モデルが後方に落ちたり、比較されたり、より小型モデルの能力を超えたりしたスペクトルを示す。
  論文  参考訳（メタデータ） (2023-10-23T03:48:24Z)
• Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [47.7950860342515]
  現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。 しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。 より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか? 本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
  論文  参考訳（メタデータ） (2023-10-20T03:33:36Z)
• Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
  我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。 我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。 そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
  論文  参考訳（メタデータ） (2023-02-06T10:28:16Z)
• Training Trajectories of Language Models Across Scales [99.38721327771208]
  言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。 異なるサイズの言語モデルは事前学習中にどのように学習するか? より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
  論文  参考訳（メタデータ） (2022-12-19T19:16:29Z)
• Scaling Language Models: Methods, Analysis & Insights from Training Gopher [83.98181046650664]
  本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。 スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。 我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
  論文  参考訳（メタデータ） (2021-12-08T19:41:47Z)
• Word Acquisition in Neural Language Models [0.38073142980733]
  ニューラルネットワークモデルは,学習中に個々の単語を習得し,学習曲線を抽出し,600以上の単語の獲得年齢を推定する。 子どもや言語モデルでは, 具体性, 単語長, 語彙クラスの影響が顕著に異なることがわかった。
  論文  参考訳（メタデータ） (2021-10-05T23:26:16Z)
• A Targeted Assessment of Incremental Processing in Neural LanguageModels and Humans [2.7624021966289605]
  本稿では,人間とニューラル言語モデルにおけるインクリメンタル処理のスケールアップ比較について述べる。 データはInterpolated Maze Taskと呼ばれる新しいオンライン実験パラダイムに由来する。 人間と言語モデルの両方が、非文法的な文領域における処理困難を増大させていることが判明した。
  論文  参考訳（メタデータ） (2021-06-06T20:04:39Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。