論文の概要: From Memorization to Creation: Evaluating the Cognitive Depth of LLM-Generated Educational Questions
- arxiv url: http://arxiv.org/abs/2606.18257v1
- Date: Wed, 06 May 2026 02:21:57 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-27 00:46:12.911368
- Title: From Memorization to Creation: Evaluating the Cognitive Depth of LLM-Generated Educational Questions
- Title（参考訳）: 記憶から創造へ:LLMによる教育課題の認知的深さを評価する
- Abstract要約: この研究はブルームの分類レンズを通して広く使われている6つのLSMを評価する。
我々は、コンピュータサイエンス、K--12数学、社会科学領域にまたがる20,700の質問を生成し、分析する。
- 参考スコア（独自算出の注目度）: 42.08829966803665
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While LLMs show promise in automating educational content creation, their ability to generate questions that stimulate higher-order thinking remains understudied. This work evaluates six widely-used LLMs through a Bloom's Taxonomy lens, focusing on their capacity to transcend rote memorization and achieve cognitive leaps. Using a hybrid human--AI evaluation protocol, we generate and analyze 20{,}700 questions across computer science, K--12 math, and social-science domains. Key contributions include: (1) a fine-grained prompting strategy that reduces question repetitiveness by 24.45\% for Qwen2.5-7B-Instruct, and increases the proportion of higher-order cognitive level outputs by 11.53\% for InternLM3-8B-Instruct; (2) quantitative metrics for cognitive shift intensity (CogShift) and category drift, revealing InternLM3's superior performance in multi-level transitions; (3) an interpretability analysis revealing metric-level correlations that enhance the transparency of Chain-of-Thought prompting. Our findings highlight the importance of cognitive-aware prompt design and provide benchmarks for deploying LLMs in personalized learning systems.
- Abstract（参考訳）: LLMは教育コンテンツ作成の自動化を約束するが、高次思考を刺激する質問を生成する能力はまだ検討されていない。
この研究は、ブルームの分類レンズを通して広く使われている6つのLSMを評価し、ロート記憶を超越し、認知的な飛躍を達成する能力に焦点を当てた。
ハイブリッドな人間-AI評価プロトコルを用いて、コンピュータ科学、K--12数学、社会科学領域にまたがる20{,}700の質問を生成し、分析する。
主な貢献は,(1)Qwen2.5-7B-インストラクタの質問反復度を24.45\%減少させ,さらに,InternLM3-8B-インストラクタの11.53\%高次認知レベルアウトプタの比率を増加させる,(2)認知シフト強度(CogShift)とカテゴリドリフトの定量的指標を多段階移行におけるInternLM3の優れた性能を明らかにする,(3)Chain-of-Thoughtインストラクタの透明性を高めるための解釈可能性分析である。
本研究は,パーソナライズされた学習システムにLLMをデプロイする上で,認知認識型プロンプト設計の重要性を強調した。
関連論文リスト
- UniCog: Uncovering Cognitive Abilities of LLMs through Latent Mind Space Analysis [69.50752734049985]
成長する研究機関は、大きな言語モデル(LLM)の認知過程が人間のものと根本的に異なることを示唆している。
潜在心空間を介してLLM認知を分析する統一フレームワークUniCogを提案する。
論文 参考訳（メタデータ） (2026-01-25T16:19:00Z) - SpatialTree: How Spatial Abilities Branch Out in MLLMs [109.32057088014942]
低レベル知覚(L1)、メンタルマッピング(L2)、シミュレーション(L3)、エージェント能力(L4)の4つのレベルに空間能力を整理する認知科学に着想を得た階層を導入する。
複雑な推論には役立ちますが、直感的な知覚を損ないます。
本稿では,不必要な熟考を抑制するシンプルな自己思考戦略を提案する。
論文 参考訳（メタデータ） (2025-12-23T18:59:46Z) - SkillGen: Learning Domain Skills for In-Context Sequential Decision Making [24.41349550520032]
我々は、構造化シーケンシャル推論のためのスキルベースのICLフレームワークであるSkillGenを紹介する。
我々は、SkillGenが一貫した利益を達成し、モデル全体の平均で5.9%から16.5%の進歩率を向上させることを示した。
論文 参考訳（メタデータ） (2025-11-18T17:09:21Z) - Wisdom is Knowing What not to Say: Hallucination-Free LLMs Unlearning via Attention Shifting [11.725875396424927]
選択的アンラーニングのためのAttention-Shifting(AS)フレームワークを導入する。
ASは,(1)LLMの言語構造を損なうことなく,事実を含むトークンへの注意を弱める文脈保存抑制,(2)未学習コンテンツについて問い合わせたときの完成度を損なう幻覚耐性応答の2つの設計目標によって駆動される。
実験の結果、ASは最先端の未学習手法よりも性能を向上し、ToFUベンチマークでは最大15%、TDECベンチマークでは10%の精度を達成し、競合する幻覚のない未学習の有効性を維持した。
論文 参考訳（メタデータ） (2025-10-20T06:50:03Z) - Beyond Scale: Small Language Models are Comparable to GPT-4 in Mental Health Understanding [12.703061322251093]
Small Language Models (SLM) は、Large Language Models (LLM) のプライバシ保護代替品である。
本稿では,現在SLMのメンタルヘルス理解能力について,分類タスクの体系的評価を通じて検討する。
我々の研究は、メンタルヘルス理解におけるSLMの可能性を強調し、センシティブなオンラインテキストデータを分析するための効果的なプライバシー保護ツールであることを示す。
論文 参考訳（メタデータ） (2025-07-09T02:40:02Z) - Truly Assessing Fluid Intelligence of Large Language Models through Dynamic Reasoning Evaluation [106.17986469245302]
大きな言語モデル(LLM)は、人間のような思考を反映する印象的な推論能力を示している。
既存の推論ベンチマークでは、ドメイン固有の知識(結晶化インテリジェンス)に焦点を当てるか、解釈可能性に欠ける。
階層的認知フレームワークを基盤とした動的推論評価ベンチマークであるDRE-Benchを提案する。
論文 参考訳（メタデータ） (2025-06-03T09:01:08Z) - A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。
大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。
我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
論文 参考訳（メタデータ） (2025-04-12T01:27:49Z) - DeepPerception: Advancing R1-like Cognitive Visual Perception in MLLMs for Knowledge-Intensive Visual Grounding [61.26026947423187]
人間の専門家は、ドメイン知識を活用して知覚的特徴を洗練することによって、きめ細かい視覚的識別に長けている。
現在のMLLM(Multimodal Large Language Models)は、推論を視覚的知覚に統合するのに苦労している。
本稿では,認知的視覚能力を強化したMLLMであるDeepPerceptionを提案する。
論文 参考訳（メタデータ） (2025-03-17T04:06:34Z) - CogLM: Tracking Cognitive Development of Large Language Models [20.138831477848615]
我々は、Piaget's Theory of Cognitive Developmentに基づくベンチマークCogLMを構築した。
CogLMは、20人以上の専門家によって作られた10の認知能力にまたがる1220の質問で構成されている。
先進的なLSMは、20歳の人間に匹敵する、人間のような認知能力を示している。
論文 参考訳（メタデータ） (2024-08-17T09:49:40Z) - Knowledgeable In-Context Tuning: Exploring and Exploiting Factual Knowledge for In-Context Learning [37.22349652230841]
大規模言語モデル(LLM)は、テキストベースのプロンプトとしてラベル付きトレーニング例を条件にすることで、コンテキスト内学習(ICL)を可能にする。
本稿では、3つの中核面におけるICLの性能に事実知識が不可欠であることを実証する。
In-Context Tuning (KICT) フレームワークを導入し,ICLの性能向上を図る。
論文 参考訳（メタデータ） (2023-09-26T09:06:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。