論文の概要: Transformer-Based Language Model Surprisal Predicts Human Reading Times
Best with About Two Billion Training Tokens
- arxiv url: http://arxiv.org/abs/2304.11389v2
- Date: Sun, 22 Oct 2023 20:03:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-25 13:07:35.824015
- Title: Transformer-Based Language Model Surprisal Predicts Human Reading Times
Best with About Two Billion Training Tokens
- Title（参考訳）: トランスフォーマーをベースとした言語モデル、約20億のトレーニングトークンで人間の読解回数を予測
- Authors: Byung-Doh Oh, William Schuler
- Abstract要約: 本研究では,トランスフォーマーをベースとした言語モデル変種から,人間の読解時間を予測する能力に基づいて推定した推定値について検討した。
その結果、現代のモデル能力を持つほとんどの変種からの推定は、約20億のトレーニングトークンを見た後、最も適していることがわかった。
新たに訓練されたより小さなモデル変種は収束時に「転換点」を示し、その後言語モデルの難易度が低下し始め、人間の読解時間に適合する。
- 参考スコア（独自算出の注目度）: 17.80735287413141
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Recent psycholinguistic studies have drawn conflicting conclusions about the
relationship between the quality of a language model and the ability of its
surprisal estimates to predict human reading times, which has been speculated
to be due to the large gap in both the amount of training data and model
capacity across studies. The current work aims to consolidate these findings by
evaluating surprisal estimates from Transformer-based language model variants
that vary systematically in the amount of training data and model capacity on
their ability to predict human reading times. The results show that surprisal
estimates from most variants with contemporary model capacities provide the
best fit after seeing about two billion training tokens, after which they begin
to diverge from humanlike expectations. Additionally, newly-trained smaller
model variants reveal a 'tipping point' at convergence, after which the
decrease in language model perplexity begins to result in poorer fits to human
reading times. These results suggest that the massive amount of training data
is mainly responsible for the poorer fit achieved by surprisal from larger
pre-trained language models, and that a certain degree of model capacity is
necessary for Transformer-based language models to capture humanlike
expectations.
- Abstract（参考訳）: 近年の精神言語学的な研究は、言語モデルの品質と、人間の読解時間を予測するための予備的な推定能力の関係について矛盾する結論を導いてきた。
本研究の目的は, 学習データ量とモデルの能力に系統的に異なるトランスフォーマに基づく言語モデルから推定される推定値を評価することで, 人間の読書時間を予測することにある。
その結果、現代のモデル能力を持つほとんどの変種からの超越的な推定は、約20億のトレーニングトークンを見た後に最も適しており、その後、人間的な期待から逸脱し始めた。
さらに、新たに訓練された小さなモデル変種は収束時に「転換点」を示し、その後言語モデルの難易度が低下し始め、人間の読解時間に適合する。
これらの結果から,トランスフォーマーをベースとした言語モデルでは,より大規模な事前学習型言語モデルから得られる不適合性に,膨大なトレーニングデータが関与していることが示唆された。
関連論文リスト
- Reverse-Engineering the Reader [43.26660964074272]
本稿では,線形回帰器のパラメータを暗黙的に最適化するために,言語モデルを微調整する新しいアライメント手法を提案する。
単語をテストケースとして使用し、複数のモデルサイズとデータセットにわたる手法を評価する。
ダウンストリームNLPタスクにおける心理測定パワーとモデルの性能の逆関係と、ホールドアウトテストデータにおけるその難易度を見出した。
論文 参考訳（メタデータ） (2024-10-16T23:05:01Z) - Frequency Explains the Inverse Correlation of Large Language Models'
Size, Training Data Amount, and Surprisal's Fit to Reading Times [15.738530737312335]
近年の研究では、トランスフォーマーに基づく言語モデルが大きくなり、非常に大量のデータで訓練されているため、その推定結果が自然主義的な人間の読解時間に適合していることが示されている。
本稿では,これら2つの傾向の根底にある説明要因として,単語頻度が重要であることを示す一連の分析結果を示す。
その結果,トランスフォーマーをベースとした言語モデルによる推定は,稀な単語を予測するために学習する超人的に複雑な関連性から,人間の期待から逸脱していることがわかった。
論文 参考訳（メタデータ） (2024-02-03T20:22:54Z) - Can training neural language models on a curriculum with developmentally
plausible data improve alignment with human reading behavior? [0.2745342790938508]
本稿では,より発達的に妥当なデータを用いたモデル学習により,経験的行動とモデル予測行動の相違が最小化できる範囲について検討する。
我々は,BabyLMの「限定小」データセットを用いて教師言語モデルを訓練し,これらの教師モデルからの文レベル推定を用いてカリキュラムの作成を行った。
モデルが学習データから言語知識を習得し易いという仮の証拠が得られた。
論文 参考訳（メタデータ） (2023-11-30T18:03:58Z) - Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。
人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。
このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文 参考訳（メタデータ） (2023-10-10T08:24:28Z) - Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。
我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。
そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文 参考訳（メタデータ） (2023-02-06T10:28:16Z) - Why Does Surprisal From Larger Transformer-Based Language Models Provide
a Poorer Fit to Human Reading Times? [9.909170013118775]
トレーニング中にシーケンスを「記憶する」ためにトランスフォーマーをベースとした大規模モデルの妥当性は、その前提推定を人間的な期待から逸脱させる。
これらの結果から,大規模トランスフォーマーモデルがトレーニング中にシーケンスを「記憶する」ことの妥当性は,人為的な予測から逸脱することが示唆された。
論文 参考訳（メタデータ） (2022-12-23T03:57:54Z) - Training Trajectories of Language Models Across Scales [99.38721327771208]
言語モデルのスケールアップは、前例のないパフォーマンス向上につながった。
異なるサイズの言語モデルは事前学習中にどのように学習するか?
より大きな言語モデルはなぜ望ましい振る舞いを示すのか?
論文 参考訳（メタデータ） (2022-12-19T19:16:29Z) - Dependency-based Mixture Language Models [53.152011258252315]
依存性に基づく混合言語モデルを紹介する。
より詳しくは、依存関係モデリングの新たな目的により、まずニューラルネットワークモデルを訓練する。
次に、前回の依存性モデリング確率分布と自己意図を混合することにより、次の確率を定式化する。
論文 参考訳（メタデータ） (2022-03-19T06:28:30Z) - Scaling Language Models: Methods, Analysis & Insights from Training
Gopher [83.98181046650664]
本稿では,トランスフォーマーに基づく言語モデルの性能を,幅広いモデルスケールで解析する。
スケールからのゲインは、理解、事実確認、有害言語の同定などにおいて最大である。
我々は、AIの安全性と下流の害の軽減に対する言語モデルの適用について論じる。
論文 参考訳（メタデータ） (2021-12-08T19:41:47Z) - Pre-Training a Language Model Without Human Language [74.11825654535895]
先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。
非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。
驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
論文 参考訳（メタデータ） (2020-12-22T13:38:06Z) - Probabilistic Predictions of People Perusing: Evaluating Metrics of
Language Model Performance for Psycholinguistic Modeling [0.8668211481067458]
我々は、Goodkind と Bicknell による主張を再評価し、言語モデルが読み出し時間をモデル化する能力は、その難易度の線形関数であると主張した。
提案手法は,Long Short-Term Memory Network, Transformer, および事前学習モデルに必ずしも適用されないことを示す。
論文 参考訳（メタデータ） (2020-09-08T19:12:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。