論文の概要: Can LLMs Estimate Cognitive Complexity of Reading Comprehension Items?
- arxiv url: http://arxiv.org/abs/2510.25064v1
- Date: Wed, 29 Oct 2025 01:07:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-30 15:50:44.895602
- Title: Can LLMs Estimate Cognitive Complexity of Reading Comprehension Items?
- Title（参考訳）: 読解項目の認知的複雑度の推定は可能か?
- Authors: Seonjeong Hwang, Hyounghun Kim, Gary Geunbae Lee,
- Abstract要約: 読み理解項目(RC)の認知的複雑さを推定することは,学習者に実施される前に項目の難易度を評価する上で重要である。
本研究では,大規模言語モデル(LLM)がRC項目の認知的複雑さを推定できるかどうかを検討する。
- 参考スコア（独自算出の注目度）: 19.75655994660427
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimating the cognitive complexity of reading comprehension (RC) items is crucial for assessing item difficulty before it is administered to learners. Unlike syntactic and semantic features, such as passage length or semantic similarity between options, cognitive features that arise during answer reasoning are not readily extractable using existing NLP tools and have traditionally relied on human annotation. In this study, we examine whether large language models (LLMs) can estimate the cognitive complexity of RC items by focusing on two dimensions-Evidence Scope and Transformation Level-that indicate the degree of cognitive burden involved in reasoning about the answer. Our experimental results demonstrate that LLMs can approximate the cognitive complexity of items, indicating their potential as tools for prior difficulty analysis. Further analysis reveals a gap between LLMs' reasoning ability and their metacognitive awareness: even when they produce correct answers, they sometimes fail to correctly identify the features underlying their own reasoning process.
- Abstract（参考訳）: 読み理解項目(RC)の認知的複雑さを推定することは,学習者に実施される前に項目の難易度を評価する上で重要である。
文の長さや選択肢間の意味的類似性のような構文的・意味的特徴とは異なり、解答推論中に生じる認知的特徴は既存のNLPツールでは容易に抽出できず、伝統的に人間のアノテーションに依存してきた。
本研究では,大規模言語モデル(LLM)がRC項目の認知的複雑さを2次元(エビデンススコープとトランスフォーメーションレベル)で推定できるかどうかを検討する。
実験の結果,LSMは項目の認知的複雑さを近似し,先行的難易度分析のツールとしての可能性を示した。
さらなる分析により、LLMの推論能力とメタ認知的認識のギャップが明らかになる: 正しい答えを導いたとしても、彼らは自身の推論プロセスの根底にある特徴を正しく識別できないことがある。
関連論文リスト
- How LLMs Comprehend Temporal Meaning in Narratives: A Case Study in Cognitive Evaluation of LLMs [13.822169295436177]
本研究では,人文研究に用いられた物語において,大規模言語モデル(LLM)が言語的側面の時間的意味をどう扱うかを検討する。
以上の結果から,LLMは原型性に過度に依存し,相反する側面判断を生じ,側面から派生した因果推論に苦慮することが明らかとなった。
これらの結果は,LLMのプロセスの側面が人間と根本的に異なり,ロバストな物語理解が欠如していることを示唆している。
論文 参考訳（メタデータ） (2025-07-18T18:28:35Z) - Exploring the Potential of Large Language Models for Estimating the Reading Comprehension Question Difficulty [2.335292678914151]
本研究では,Large Language Models (LLMs) の有効性を検討した。
また,OpenAI の GPT-4o と o1 を用いて,学習支援・読解評価 (SARA) データセットを用いた理解的質問の読解の難しさを推定する。
その結果, モデルがIRTパラメータと有意に一致した難易度推定値を生成する一方で, 極端項目特性に対する感度に顕著な差があることが示唆された。
論文 参考訳（メタデータ） (2025-02-25T02:28:48Z) - Disentangling Memory and Reasoning Ability in Large Language Models [97.26827060106581]
本稿では、複雑な推論プロセスを2つの異なる明確なアクションに分解する新しい推論パラダイムを提案する。
実験の結果, この分解によりモデル性能が向上し, 推論プロセスの解釈可能性も向上することがわかった。
論文 参考訳（メタデータ） (2024-11-20T17:55:38Z) - Do Large Language Models Mirror Cognitive Language Processing? [43.68923267228057]
大規模言語モデル(LLM)は、テキスト理解と論理的推論において顕著な能力を示した。
脳認知処理信号は、典型的には人間の言語処理を研究するために使用される。
論文 参考訳（メタデータ） (2024-02-28T03:38:20Z) - Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。
特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
論文 参考訳（メタデータ） (2024-02-20T14:43:39Z) - Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。
両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。
提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文 参考訳（メタデータ） (2024-02-15T18:46:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。