論文の概要: To Words and Beyond: Probing Large Language Models for Sentence-Level Psycholinguistic Norms of Memorability and Reading Times

• arxiv url: http://arxiv.org/abs/2603.12105v1
• Date: Thu, 12 Mar 2026 16:10:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-13 14:46:26.203462
• Title: To Words and Beyond: Probing Large Language Models for Sentence-Level Psycholinguistic Norms of Memorability and Reading Times
• Title（参考訳）: To Words and Beyond: Probing Large Language Models for Sentence-Level Psycholinguistic Norms of Memorability and Reading Times (英語)
• Authors: Thomas Hikaru Clark, Carlos Arriaga, Javier Conde, Gonzalo Martínez, Pedro Reviriego,
• Abstract要約: 大規模言語モデルは人間の判断と相関する心理言語学の規範を推定する。 我々はこの手法を文の暗記性や読解時間の未検討の特徴に拡張する。
• 参考スコア（独自算出の注目度）: 4.5166266531313966
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) have recently been shown to produce estimates of psycholinguistic norms, such as valence, arousal, or concreteness, for words and multiword expressions, that correlate with human judgments. These estimates are obtained by prompting an LLM, in zero-shot fashion, with a question similar to those used in human studies. Meanwhile, for other norms such as lexical decision time or age of acquisition, LLMs require supervised fine-tuning to obtain results that align with ground-truth values. In this paper, we extend this approach to the previously unstudied features of sentence memorability and reading times, which involve the relationship between multiple words in a sentence-level context. Our results show that via fine-tuning, models can provide estimates that correlate with human-derived norms and exceed the predictive power of interpretable baseline predictors, demonstrating that LLMs contain useful information about sentence-level features. At the same time, our results show very mixed zero-shot and few-shot performance, providing further evidence that care is needed when using LLM-prompting as a proxy for human cognitive measures.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、人間の判断と相関する単語や多語表現の原子価、覚醒、具体性などの心理学的規範の見積もりを生成することが最近示されている。 これらの推定は、人間の研究で使われているものと類似した質問をゼロショットでLLMに促すことによって得られる。 一方、語彙決定時間や取得年齢などの他の規範では、LLMは、接地真実の値と整合する結果を得るために、監督された微調整を必要とする。 本稿では,文レベルの文脈における複数の単語間の関係を考慮に入れた,文の記憶可能性と読解時間に関する未検討の特徴にアプローチを拡張した。 この結果から, モデルが人間由来のノルムと相関し, 解釈可能なベースライン予測器の予測能力を超え, LLMが文レベルの特徴に関する有用な情報を含んでいることを示す。 同時に, ゼロショットと少数ショットのパフォーマンスが極めて混在しており, 人間の認知指標の指標としてLDMプロンプティングを用いる場合, 注意が必要であるという証拠が得られた。

関連論文リスト

• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• Evaluating the Correctness of Inference Patterns Used by LLMs for Judgment [53.17596274334017]
  我々は,LLMの詳細な推論パターンの正確さを,その正しい出力の裏側で評価した。 実験により、言語生成結果が正しそうであっても、LLMが法的な判断に用いた推論パターンのかなりの部分は、誤解を招く論理や無関係な論理を表す可能性があることが示された。
  論文  参考訳（メタデータ） (2024-10-06T08:33:39Z)
• Predicting Emotion Intensity in Polish Political Texts: Comparing Supervised Models and Large Language Models in a Resource-Poor Language [0.0]
  本研究では,ポーランドの政治文における感情の強さを予測するために,大規模言語モデル(LLM)の利用について検討する。 本研究は,ソーシャルメディアテキスト1万件の注釈付きコーパスを用いた教師付きモデルと比較した。
  論文  参考訳（メタデータ） (2024-07-16T19:53:14Z)
• Bayesian Statistical Modeling with Predictors from LLMs [5.5711773076846365]
  State of the Art Large Language Model (LLM)は、様々なベンチマークタスクで印象的なパフォーマンスを示している。 このことは、LLMから派生した情報の人間的類似性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-06-13T11:33:30Z)
• Psychometric Predictive Power of Large Language Models [32.31556074470733]
  命令チューニングは、認知モデルの観点から、必ずしも人間のような大きな言語モデルを作るとは限らない。 命令調整 LLM で推定される次の単語確率は、基本 LLM で推定されるものよりも、人間の読み動作をシミュレートする場合には、しばしば悪化する。
  論文  参考訳（メタデータ） (2023-11-13T17:19:14Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。