Fugu-MT 論文翻訳(概要): On the scaling relationship between cloze probabilities and language model next-token prediction

論文の概要: On the scaling relationship between cloze probabilities and language model next-token prediction

arxiv url: http://arxiv.org/abs/2602.17848v1
Date: Thu, 19 Feb 2026 21:29:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-02-23 18:01:41.152648
Title: On the scaling relationship between cloze probabilities and language model next-token prediction
Title（参考訳）: クローゼ確率と言語モデルの次トーケン予測のスケーリング関係について
Authors: Cassandra L. Jacobs, Morgan Grobol,
Abstract要約: より大きな言語モデルは、眼球運動や読解時間データにより良い予測力を持つことを示す。より大規模なモデルは、次のトークンの高品質な見積もりと、それらが語彙的共起統計に敏感でないため、クローゼデータで生産される確率を割り当てる。
参考スコア（独自算出の注目度）: 13.028726121412427
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: Recent work has shown that larger language models have better predictive power for eye movement and reading time data. While even the best models under-allocate probability mass to human responses, larger models assign higher-quality estimates of next tokens and their likelihood of production in cloze data because they are less sensitive to lexical co-occurrence statistics while being better aligned semantically to human cloze responses. The results provide support for the claim that the greater memorization capacity of larger models helps them guess more semantically appropriate words, but makes them less sensitive to low-level information that is relevant for word recognition.
Abstract（参考訳）: 近年の研究では、より大きな言語モデルの方が眼球運動や読解時間データにより良い予測力があることが示されている。最適なモデルでさえ、人間の反応に確率質量を割り当てるが、より大規模なモデルでは、次のトークンの高品質な推定値と、それらが人間のクローゼ応答にセマンティックに整合しながら、語彙的共起統計に敏感でないため、クローゼデータで生産される確率を割り当てる。その結果、より大きなモデルの記憶能力が大きいことは、より意味的に適切な単語を推測するのに役立つが、単語認識に関連する低レベルの情報に敏感になる。

関連論文リスト

Forgetting: A New Mechanism Towards Better Large Language Model Fine-tuning [51.92313556418432]
Supervised Fine-tuning (SFT) は、事前訓練された大規模言語モデル (LLM) において重要な役割を果たす。各コーパス内のトークンを、モデルパフォーマンスを改善するのに有用かどうかに基づいて、正と負の2つの部分に分類することを提案する。我々は、よく確立されたベンチマークで実験を行い、この忘れるメカニズムが全体のモデル性能を向上するだけでなく、より多様なモデル応答を促進することを発見した。
論文参考訳（メタデータ） (2025-08-06T11:22:23Z)
AutoElicit: Using Large Language Models for Expert Prior Elicitation in Predictive Modelling [53.54623137152208]
我々はAutoElicitを導入し、大規模言語モデルから知識を抽出し、予測モデルのための事前構築を行う。これらの先行情報は情報的であり、自然言語を用いて洗練できることを示す。 AutoElicitは、非形式的な事前よりもエラーを大幅に減らし、ラベルを減らし、コンテクスト内学習を一貫して上回ります。
論文参考訳（メタデータ） (2024-11-26T10:13:39Z)
Frequency Explains the Inverse Correlation of Large Language Models' Size, Training Data Amount, and Surprisal's Fit to Reading Times [15.738530737312335]
近年の研究では、トランスフォーマーに基づく言語モデルが大きくなり、非常に大量のデータで訓練されているため、その推定結果が自然主義的な人間の読解時間に適合していることが示されている。本稿では,これら2つの傾向の根底にある説明要因として,単語頻度が重要であることを示す一連の分析結果を示す。その結果,トランスフォーマーをベースとした言語モデルによる推定は,稀な単語を予測するために学習する超人的に複雑な関連性から,人間の期待から逸脱していることがわかった。
論文参考訳（メタデータ） (2024-02-03T20:22:54Z)
Temperature-scaling surprisal estimates improve fit to human reading times -- but does it do so for the "right reasons"? [15.773775387121097]
大規模な言語モデルのキャリブレーションは,通常モデルサイズによって改善されることを示す。温度スケーリングの確率は、読み取り時間に体系的に適合することがわかった。
論文参考訳（メタデータ） (2023-11-15T19:34:06Z)
Fine-tuning Language Models for Factuality [96.5203774943198]
大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
論文参考訳（メタデータ） (2023-11-14T18:59:15Z)
Lexical Generalization Improves with Larger Models and Longer Training [42.024050065980845]
本稿では,自然言語推論,パラフレーズ検出,読解理解における語彙重なりの活用について分析する。より大型のモデルでは、語彙的な重複を採用することへの感受性がはるかに低いことが分かりました。
論文参考訳（メタデータ） (2022-10-23T09:20:11Z)
Emergent Abilities of Large Language Models [172.08007363384218]
より小さなモデルには存在しないが、より大きなモデルには存在しない場合、創発する能力を考える。このような出現の存在は、さらなるスケーリングが言語モデルの機能範囲をさらに拡大することを意味している。
論文参考訳（メタデータ） (2022-06-15T17:32:01Z)
Language Models Explain Word Reading Times Better Than Empirical Predictability [20.38397241720963]
認知読解研究における従来のアプローチは、文章の文脈から単語を予測することは、完結確率によって最もよく捉えられると仮定している。確率言語モデルは、CCPよりも構文的および意味的効果の深い説明を提供する。現在の単語のN-gramとRNN確率は、トピックモデルやCCPと比較して、より一貫して読み出し性能を予測できる。
論文参考訳（メタデータ） (2022-02-02T16:38:43Z)
Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
論文参考訳（メタデータ） (2020-10-15T16:57:27Z)
The Sensitivity of Language Models and Humans to Winograd Schema Perturbations [36.47219885590433]
大規模事前学習型言語モデルは,人間の理解に最小限に影響を及ぼす言語摂動に敏感であることを示す。この結果は、人間と言語モデルとの興味深い違いを浮き彫りにしている。
論文参考訳（メタデータ） (2020-05-04T09:44:54Z)
Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
論文参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。