論文の概要: Can training neural language models on a curriculum with developmentally
plausible data improve alignment with human reading behavior?
- arxiv url: http://arxiv.org/abs/2311.18761v1
- Date: Thu, 30 Nov 2023 18:03:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 15:21:53.807620
- Title: Can training neural language models on a curriculum with developmentally
plausible data improve alignment with human reading behavior?
- Title(参考訳): 発達的に妥当なデータを持つカリキュラムでのニューラルネットワークモデルのトレーニングは、人間の読書行動との整合を改善するか?
- Authors: Aryaman Chobey, Oliver Smith, Anzi Wang, Grusha Prasad
- Abstract要約: 本稿では,より発達的に妥当なデータを用いたモデル学習により,経験的行動とモデル予測行動の相違が最小化できる範囲について検討する。
我々は,BabyLMの「限定小」データセットを用いて教師言語モデルを訓練し,これらの教師モデルからの文レベル推定を用いてカリキュラムの作成を行った。
モデルが学習データから言語知識を習得し易いという仮の証拠が得られた。
- 参考スコア(独自算出の注目度): 0.2745342790938508
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The use of neural language models to model human behavior has met with mixed
success. While some work has found that the surprisal estimates from these
models can be used to predict a wide range of human neural and behavioral
responses, other work studying more complex syntactic phenomena has found that
these surprisal estimates generate incorrect behavioral predictions. This paper
explores the extent to which the misalignment between empirical and
model-predicted behavior can be minimized by training models on more
developmentally plausible data, such as in the BabyLM Challenge. We trained
teacher language models on the BabyLM "strict-small" dataset and used sentence
level surprisal estimates from these teacher models to create a curriculum. We
found tentative evidence that our curriculum made it easier for models to
acquire linguistic knowledge from the training data: on the subset of tasks in
the BabyLM challenge suite evaluating models' grammatical knowledge of English,
models first trained on the BabyLM data curriculum and then on a few randomly
ordered training epochs performed slightly better than models trained on
randomly ordered epochs alone. This improved linguistic knowledge acquisition
did not result in better alignment with human reading behavior, however: models
trained on the BabyLM dataset (with or without a curriculum) generated
predictions that were as misaligned with human behavior as models trained on
larger less curated datasets. This suggests that training on developmentally
plausible datasets alone is likely insufficient to generate language models
capable of accurately predicting human language processing.
- Abstract(参考訳): 人間の振る舞いをモデル化するためのニューラル言語モデルの使用は、様々な成功を収めている。
一部の研究では、これらのモデルによる推定は、広範囲の人間の神経および行動の反応を予測するのに使用できるが、より複雑な構文的現象を研究する他の研究は、これらの推定が不正確な行動予測を生成することを発見した。
本稿では,BabyLM Challengeのように,より発達的に妥当なデータに基づいて,経験的行動とモデル予測行動の相違が最小化できる範囲について検討する。
babylm "strict-small" データセット上で教師言語モデルをトレーニングし,これらの教師モデルから文レベルの推定値を用いてカリキュラムを作成した。
英語の文法知識を評価するbabylmチャレンジスイートのタスクのサブセットでは、まずbabylmデータカリキュラムでトレーニングされ、その後、ランダムに順序づけされたトレーニングエポックは、ランダムに順序づけされたエポック単独でトレーニングされたモデルよりもわずかに優れた結果を得た。
babylmデータセットでトレーニングされたモデル(カリキュラムの有無に関わらず)は、より大きなキュレーションされていないデータセットでトレーニングされたモデルと同様に人間の行動とミスアライメントされた予測を生成しました。
これは、開発可能なデータセットのみのトレーニングでは、人間の言語処理を正確に予測できる言語モデルの生成が不十分であることを示唆している。
関連論文リスト
- Visual Grounding Helps Learn Word Meanings in Low-Data Regimes [53.7168869241458]
現代のニューラル言語モデル(LM)は、人間の文の生成と理解をモデル化するための強力なツールである。
しかし、これらの結果を得るためには、LMは明らかに非人間的な方法で訓練されなければならない。
より自然主義的に訓練されたモデルは、より人間らしい言語学習を示すのか?
本稿では,言語習得における重要なサブタスクである単語学習の文脈において,この問題を考察する。
論文 参考訳(メタデータ) (2023-10-20T03:33:36Z) - Transformer-Based Language Model Surprisal Predicts Human Reading Times
Best with About Two Billion Training Tokens [17.80735287413141]
本研究では,トランスフォーマーをベースとした言語モデル変種から,人間の読解時間を予測する能力に基づいて推定した推定値について検討した。
その結果、現代のモデル能力を持つほとんどの変種からの推定は、約20億のトレーニングトークンを見た後、最も適していることがわかった。
新たに訓練されたより小さなモデル変種は収束時に「転換点」を示し、その後言語モデルの難易度が低下し始め、人間の読解時間に適合する。
論文 参考訳(メタデータ) (2023-04-22T12:50:49Z) - Enhancing Activity Prediction Models in Drug Discovery with the Ability
to Understand Human Language [5.117101148161245]
我々は,新しい予測タスクを推論時に適応できる,新しいタイプの行動予測モデルを提案する。
我々のCLAMP法は, 医薬品発見における数ショット学習ベンチマークとゼロショット問題において, 予測性能の向上を図っている。
論文 参考訳(メタデータ) (2023-03-06T18:49:09Z) - Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。
我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。
そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文 参考訳(メタデータ) (2023-02-06T10:28:16Z) - Training Trajectories of Language Models Across Scales [99.38721327771208]
言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。
異なるサイズの言語モデルは事前学習中にどのように学習するか?
より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
論文 参考訳(メタデータ) (2022-12-19T19:16:29Z) - What do Large Language Models Learn beyond Language? [10.9650651784511]
事前学習モデルは、非事前学習ニューラルモデルに匹敵する性能を著しく上回っていることがわかった。
実験により、多言語テキストやコンピュータコードで事前学習しても、事前学習の効果が持続することが明らかとなった。
その結果,言語モデルの事前学習能力と帰納学習能力との間には,未解明の深い関係があることが示唆された。
論文 参考訳(メタデータ) (2022-10-21T23:43:13Z) - Training Data Leakage Analysis in Language Models [6.843491191969066]
本稿では,強大かつ現実的な脅威モデルの下で漏洩する可能性のあるトレーニングデータ中のユーザコンテンツを識別する手法を提案する。
本研究では,トレーニングデータに固有の文断片を生成するモデルの能力を測定することにより,ユーザレベルのデータ漏洩を定量化する2つの指標を提案する。
論文 参考訳(メタデータ) (2021-01-14T00:57:32Z) - Pre-Training a Language Model Without Human Language [74.11825654535895]
先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。
非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。
驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
論文 参考訳(メタデータ) (2020-12-22T13:38:06Z) - Comparison of Interactive Knowledge Base Spelling Correction Models for
Low-Resource Languages [81.90356787324481]
低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。
この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。
我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
論文 参考訳(メタデータ) (2020-10-20T17:31:07Z) - Pretrained Language Model Embryology: The Birth of ALBERT [68.5801642674541]
ランダムなパラメータの集合からトチエント言語モデルへの発達過程について検討する。
その結果、ALBERTは、事前学習中に異なる学習速度で、音声の異なる部分(POS)のトークンを再構成し、予測することを学習していることがわかった。
これらの結果は、事前訓練されたモデルの知識が事前訓練の間に異なることを示唆し、事前訓練のステップを持つことは、必ずしもより包括的な知識を持つモデルを提供するとは限らないことを示唆している。
論文 参考訳(メタデータ) (2020-10-06T05:15:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。