論文の概要: Can training neural language models on a curriculum with developmentally
plausible data improve alignment with human reading behavior?
- arxiv url: http://arxiv.org/abs/2311.18761v1
- Date: Thu, 30 Nov 2023 18:03:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 15:21:53.807620
- Title: Can training neural language models on a curriculum with developmentally
plausible data improve alignment with human reading behavior?
- Title（参考訳）: 発達的に妥当なデータを持つカリキュラムでのニューラルネットワークモデルのトレーニングは、人間の読書行動との整合を改善するか?
- Authors: Aryaman Chobey, Oliver Smith, Anzi Wang, Grusha Prasad
- Abstract要約: 本稿では,より発達的に妥当なデータを用いたモデル学習により,経験的行動とモデル予測行動の相違が最小化できる範囲について検討する。
我々は,BabyLMの「限定小」データセットを用いて教師言語モデルを訓練し,これらの教師モデルからの文レベル推定を用いてカリキュラムの作成を行った。
モデルが学習データから言語知識を習得し易いという仮の証拠が得られた。
- 参考スコア（独自算出の注目度）: 0.2745342790938508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of neural language models to model human behavior has met with mixed
success. While some work has found that the surprisal estimates from these
models can be used to predict a wide range of human neural and behavioral
responses, other work studying more complex syntactic phenomena has found that
these surprisal estimates generate incorrect behavioral predictions. This paper
explores the extent to which the misalignment between empirical and
model-predicted behavior can be minimized by training models on more
developmentally plausible data, such as in the BabyLM Challenge. We trained
teacher language models on the BabyLM "strict-small" dataset and used sentence
level surprisal estimates from these teacher models to create a curriculum. We
found tentative evidence that our curriculum made it easier for models to
acquire linguistic knowledge from the training data: on the subset of tasks in
the BabyLM challenge suite evaluating models' grammatical knowledge of English,
models first trained on the BabyLM data curriculum and then on a few randomly
ordered training epochs performed slightly better than models trained on
randomly ordered epochs alone. This improved linguistic knowledge acquisition
did not result in better alignment with human reading behavior, however: models
trained on the BabyLM dataset (with or without a curriculum) generated
predictions that were as misaligned with human behavior as models trained on
larger less curated datasets. This suggests that training on developmentally
plausible datasets alone is likely insufficient to generate language models
capable of accurately predicting human language processing.
- Abstract（参考訳）: 人間の振る舞いをモデル化するためのニューラル言語モデルの使用は、様々な成功を収めている。
一部の研究では、これらのモデルによる推定は、広範囲の人間の神経および行動の反応を予測するのに使用できるが、より複雑な構文的現象を研究する他の研究は、これらの推定が不正確な行動予測を生成することを発見した。
本稿では,BabyLM Challengeのように,より発達的に妥当なデータに基づいて,経験的行動とモデル予測行動の相違が最小化できる範囲について検討する。
babylm "strict-small" データセット上で教師言語モデルをトレーニングし,これらの教師モデルから文レベルの推定値を用いてカリキュラムを作成した。
英語の文法知識を評価するbabylmチャレンジスイートのタスクのサブセットでは、まずbabylmデータカリキュラムでトレーニングされ、その後、ランダムに順序づけされたトレーニングエポックは、ランダムに順序づけされたエポック単独でトレーニングされたモデルよりもわずかに優れた結果を得た。
babylmデータセットでトレーニングされたモデル(カリキュラムの有無に関わらず)は、より大きなキュレーションされていないデータセットでトレーニングされたモデルと同様に人間の行動とミスアライメントされた予測を生成しました。
これは、開発可能なデータセットのみのトレーニングでは、人間の言語処理を正確に予測できる言語モデルの生成が不十分であることを示唆している。
関連論文リスト
- Is Child-Directed Speech Effective Training Data for Language Models? [34.46268640655943]
GPT-2 と RoBERTa モデルを英語の子供指向音声の29万語で学習する。
子どものトレーニングデータのグローバルな発達順序付けやローカルな談話順序付けが、他のデータセットと比較して高いパフォーマンスを支えているかどうかを検証する。
これらの結果は、より良いデータから進むのではなく、子供の学習アルゴリズムが現在の言語モデリング技術よりもはるかにデータ効率が高いという仮説を支持している。
論文 参考訳（メタデータ） (2024-08-07T08:18:51Z) - DevBench: A multimodal developmental benchmark for language learning [0.34129029452670606]
タスクと行動データに基づいて視覚言語モデルを評価するベンチマークであるDevBenchを紹介する。
DevBenchは、モデルを人間の言語開発と比較するためのベンチマークを提供する。
これらの比較は、モデルと人間の言語学習プロセスの分岐方法を強調する。
論文 参考訳（メタデータ） (2024-06-14T17:49:41Z) - Generative Pre-training for Speech with Flow Matching [81.59952572752248]
我々は,フローマッチングとマスク条件を併用した60k時間の無転写音声に対して,SpeechFlowという生成モデルを事前学習した。
実験結果から,事前学習した生成モデルをタスク固有のデータで微調整し,音声強調,分離,合成に関する既存の専門家モデルに適合または超えることを示す。
論文 参考訳（メタデータ） (2023-10-25T03:40:50Z) - Transformer-Based Language Model Surprisal Predicts Human Reading Times
Best with About Two Billion Training Tokens [17.80735287413141]
本研究では,トランスフォーマーをベースとした言語モデル変種から,人間の読解時間を予測する能力に基づいて推定した推定値について検討した。
その結果、現代のモデル能力を持つほとんどの変種からの推定は、約20億のトレーニングトークンを見た後、最も適していることがわかった。
新たに訓練されたより小さなモデル変種は収束時に「転換点」を示し、その後言語モデルの難易度が低下し始め、人間の読解時間に適合する。
論文 参考訳（メタデータ） (2023-04-22T12:50:49Z) - Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。
我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。
そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文 参考訳（メタデータ） (2023-02-06T10:28:16Z) - Training Trajectories of Language Models Across Scales [99.38721327771208]
言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。
異なるサイズの言語モデルは事前学習中にどのように学習するか?
より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
論文 参考訳（メタデータ） (2022-12-19T19:16:29Z) - What do Large Language Models Learn beyond Language? [10.9650651784511]
事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。
実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。
その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
論文 参考訳（メタデータ） (2022-10-21T23:43:13Z) - Training Data Leakage Analysis in Language Models [6.843491191969066]
本稿では,強大かつ現実的な脅威モデルの下で漏洩する可能性のあるトレーニングデータ中のユーザコンテンツを識別する手法を提案する。
本研究では,トレーニングデータに固有の文断片を生成するモデルの能力を測定することにより,ユーザレベルのデータ漏洩を定量化する2つの指標を提案する。
論文 参考訳（メタデータ） (2021-01-14T00:57:32Z) - Pre-Training a Language Model Without Human Language [74.11825654535895]
先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。
非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。
驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
論文 参考訳（メタデータ） (2020-12-22T13:38:06Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳（メタデータ） (2020-10-20T17:31:07Z) - Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。
その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。
これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
論文 参考訳（メタデータ） (2020-10-06T05:15:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。