論文の概要: Vectors from Larger Language Models Predict Human Reading Time and fMRI Data More Poorly when Dimensionality Expansion is Controlled
- arxiv url: http://arxiv.org/abs/2505.12196v1
- Date: Sun, 18 May 2025 02:13:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.085915
- Title: Vectors from Larger Language Models Predict Human Reading Time and fMRI Data More Poorly when Dimensionality Expansion is Controlled
- Title（参考訳）: 大規模言語モデルからのベクトルによる人間の読影時間とfMRIデータの推定
- Authors: Yi-Chien Lin, Hongao Zhu, William Schuler,
- Abstract要約: 大きな言語モデル(LLM)の印象的な言語能力は、それらを人間の文処理のモデルとして推奨している。
近年の研究では、単語予測確率を予測器として使用すると、LMが過度に大きく正確になるにつれて、このスケーリングが逆転することが示されている。
本研究では,LLM ベクトル全体を用いた LLM スケーリングの評価を行い,より大きな LLM ベクトルの予測子数を制御した。
- 参考スコア（独自算出の注目度）: 8.414116316164888
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The impressive linguistic abilities of large language models (LLMs) have recommended them as models of human sentence processing, with some conjecturing a positive 'quality-power' relationship (Wilcox et al., 2023), in which language models' (LMs') fit to psychometric data continues to improve as their ability to predict words in context increases. This is important because it suggests that elements of LLM architecture, such as veridical attention to context and a unique objective of predicting upcoming words, reflect the architecture of the human sentence processing faculty, and that any inadequacies in predicting human reading time and brain imaging data may be attributed to insufficient model complexity, which recedes as larger models become available. Recent studies (Oh and Schuler, 2023) have shown this scaling inverts after a point, as LMs become excessively large and accurate, when word prediction probability (as information-theoretic surprisal) is used as a predictor. Other studies propose the use of entire vectors from differently sized LLMs, still showing positive scaling (Schrimpf et al., 2021), casting doubt on the value of surprisal as a predictor, but do not control for the larger number of predictors in vectors from larger LMs. This study evaluates LLM scaling using entire LLM vectors, while controlling for the larger number of predictors in vectors from larger LLMs. Results show that inverse scaling obtains, suggesting that inadequacies in predicting human reading time and brain imaging data may be due to substantial misalignment between LLMs and human sentence processing, which worsens as larger models are used.
- Abstract（参考訳）: 大きな言語モデル(LLM)の印象的な言語能力は、人間の文処理のモデルとしてこれらを推奨しており、文脈における単語の予測能力が向上するにつれて、言語モデル(LM)が精神測定データに適合する、肯定的な「品質・パワー」関係(Wilcox et al , 2023)を導出している。
このことは、LLMアーキテクチャの要素、例えば文脈に対する検証的注意や、今後の単語を予測するというユニークな目的は、人間の文処理学部のアーキテクチャを反映し、人間の読影時間と脳画像データの予測に不整合は、モデル複雑さの不足に起因する可能性があることを示唆している。
近年の研究 (Oh and Schuler, 2023) では、情報理論の仮定として単語予測確率を用いると、LMが過度に大きく正確になるにつれて、このスケーリングの逆転が示されている。
他の研究では、異なる大きさのLLMからのベクトル全体の使用が提案されており、まだ正のスケーリングを示す(Schrimpf et al , 2021)。
本研究では,LLM ベクトル全体を用いた LLM スケーリングの評価を行い,より大きな LLM ベクトルの予測子数を制御した。
その結果,人間の読影時間と脳画像データの予測精度の低下は,LLMと人文処理の相違による可能性が示唆された。
関連論文リスト
- Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。
このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
論文 参考訳（メタデータ） (2024-06-13T11:33:30Z) - Psychometric Predictive Power of Large Language Models [32.31556074470733]
命令チューニングは、認知モデルの観点から、必ずしも人間のような大きな言語モデルを作るとは限らない。
命令調整 LLM で推定される次の単語確率は、基本 LLM で推定されるものよりも、人間の読み動作をシミュレートする場合には、しばしば悪化する。
論文 参考訳（メタデータ） (2023-11-13T17:19:14Z) - Probing Large Language Models from A Human Behavioral Perspective [24.109080140701188]
大規模言語モデル(LLM)は、現代のNLPにおいて支配的な基礎モデルとして登場した。
フィードフォワードネットワーク (FFN) やマルチヘッド・セルフアテンション (MHSA) などの予測プロセスや内部メカニズムの理解はいまだに未解明のままである。
論文 参考訳（メタデータ） (2023-10-08T16:16:21Z) - From Text to Source: Results in Detecting Large Language Model-Generated Content [17.306542392779445]
大きな言語モデル(LLM)は、人間に似たテキストを生成する能力によって祝われる。
本稿では,LLM生成テキストと人文テキストを区別するために訓練された分類器が,それ以上の訓練を行なわずに目標LLMからテキストを検出することができるかどうかを評価することで,Cross-Model Detectionについて検討する。
この研究では、量化と透かし検出に加えて、ソースモデル識別、モデルファミリー、モデルサイズ分類を含むモデル属性についても検討している。
論文 参考訳（メタデータ） (2023-09-23T09:51:37Z) - To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。
本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。
第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
論文 参考訳（メタデータ） (2023-05-22T17:02:15Z) - A Survey of Large Language Models [81.06947636926638]
言語モデリングは、過去20年間、言語理解と生成のために広く研究されてきた。
近年,大規模コーパス上でのトランスフォーマーモデルの事前学習により,事前学習言語モデル (PLM) が提案されている。
パラメータスケールの違いを識別するために、研究コミュニティは大規模言語モデル (LLM) という用語を提唱した。
論文 参考訳（メタデータ） (2023-03-31T17:28:46Z) - Why Does Surprisal From Larger Transformer-Based Language Models Provide
a Poorer Fit to Human Reading Times? [9.909170013118775]
トレーニング中にシーケンスを「記憶する」ためにトランスフォーマーをベースとした大規模モデルの妥当性は、その前提推定を人間的な期待から逸脱させる。
これらの結果から,大規模トランスフォーマーモデルがトレーニング中にシーケンスを「記憶する」ことの妥当性は,人為的な予測から逸脱することが示唆された。
論文 参考訳（メタデータ） (2022-12-23T03:57:54Z) - Better Language Model with Hypernym Class Prediction [101.8517004687825]
クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。
本研究では,このアプローチをニューラルLMの文脈で再考する。
論文 参考訳（メタデータ） (2022-03-21T01:16:44Z) - Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。
我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。
実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
論文 参考訳（メタデータ） (2020-09-27T02:13:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。