論文の概要: Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses

• arxiv url: http://arxiv.org/abs/2609.27063v1
• Date: Tue, 22 Sep 2026 21:02:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:17.771492
• Title: Student Use of LLMs and the Limits of AI-Generated Question Difficulty in Data Science Courses
• Title（参考訳）: LLMの学生利用とデータサイエンスコースにおけるAIによる質問の限界
• Abstract要約: 大規模言語モデル(LLM)との学生の関わりはコースによって様々に変化し、学期を通じて増加した。 学生は高い満足感を示し、かなりの時間を節約したと報告したが、深層学習の利点に対する認識は低下した。 どちらの指標も経験的項目の難しさを予測していない(難解なラベル6ドル;ブルームレベル2ドル)
• 参考スコア（独自算出の注目度）: 2.3717692810269586
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper presents a multi-source classroom study conducted during a 10-week quarter in data science courses at Drexel University. We first investigate the behaviors of student engagement with large language models (LLMs) using four surveys across three data science courses. Second, we evaluate the construct validity of multiple-choice questions (MCQs) generated by an LLM for in-lecture retrieval practice. Based on 378 authored questions (311 deployed, producing 7{,}888 student responses), we analyze whether the difficulty ratings assigned by an LLM match empirical item difficulty. Our study shows that student engagement with LLMs varied across courses and increased over the term. Although students expressed high satisfaction and reported saving considerable time, their perception of deep learning benefits declined, and many noted a tendency toward over-reliance. Regarding the difficulty ratings of LLM-generated MCQs, the Easy, Medium, and Hard labels correlated closely with its assigned Bloom's Taxonomy levels (Spearman $ρ=0.90$), reflecting an artifact of co-generation. However, neither metric predicted empirical item difficulty (difficulty label $ρ=0.06$; Bloom level $ρ=0.02$). The ratings reflect the structural formatting of a question rather than its underlying difficulty.
• Abstract（参考訳）: 本稿では,Drexel大学におけるデータサイエンスコースの10週間の四半期に実施したマルチソース教室について述べる。 まず,3つのデータサイエンスコースを対象とした4つの調査から,大規模言語モデル(LLM)を用いた学生エンゲージメントの行動について検討した。 第2に,LLM が生成する複数選択質問 (MCQ) の構成妥当性について検討した。 378質問(311質問,7{,}888学生回答)に基づいて,LLMが割り当てた難易度が経験的項目の難易度と一致するかどうかを解析した。 本研究は,LLMに対する学生の関与がコースによって異なることを示し,その期間を通じて増加傾向を示した。 学生は高い満足感を示し、かなりの時間を節約したと報告したが、深層学習の利点に対する認識は低下し、多くは過信傾向を示した。 LLMが生成したMCQの難易度評価に関して、イージー、ミディアム、ハードのラベルはブルームの分類レベル(Spearman $ρ=0.90$)と密接に関連しており、共同世代のアーティファクトを反映している。 しかし、どちらの計量も経験的項目の難しさを予測していない(微分ラベル $ρ=0.06$; Bloom level $ρ=0.02$;difficulty label $ρ=0.06$; Bloom level $ρ=0.02$)。 評価は、根本的な難しさよりも、質問の構造的なフォーマッティングを反映している。

関連論文リスト

• The Easy Trap: Why LLMs Underestimate Misconception-Driven Difficulty [4.205487728047868]
  大規模言語モデル(LLM)は、教育評価においてアイテムの難易度を推定するためにますます用いられる。 本研究では, LLMによる難易度評価と, 基礎数学における経験的学生成績の整合性について検討した。
  論文  参考訳（メタデータ） (2026-06-22T09:53:25Z)
• Estimating Item Difficulty with Large Language Models as Experts [0.44101646956991475]
  本研究は,3つの既成言語モデルを,応答データにアクセスできることなく,新たに作成された項目のラベル付けが困難であるとして評価した。 この調査では、判断形式(絶対対対ペア)、決定型(ハードな決定対トークン確率に基づく見積もり)、そして戦略の推進という3つの要因を横断する完全な因子的設計が用いられた。 LLMをベースとした評価では, 実験項目の難易度と中程度から強い正の相関が認められた。
  論文  参考訳（メタデータ） (2026-05-18T15:42:13Z)
• Take Out Your Calculators: Estimating the Real Difficulty of Question Items with LLM Student Simulations [36.23612429926861]
  実世界の学生を対象とした数学質問の難易度を評価するため,オープンソースの大規模言語モデル(LLM)の予測値について検討した。 我々は,4年生,8年生,12年生の「教室」をシミュレートし,LLMを様々な習熟度を持つロールプレイングの学生に促す。 我々は,4級,8級,12級の相関関係を0.75,0.76,0.82まで観測した。
  論文  参考訳（メタデータ） (2026-01-15T00:25:01Z)
• Revisiting Generalization Across Difficulty Levels: It's Not So Easy [11.203451380580868]
  本研究では,大規模言語モデルがタスクの難易度によってどのように一般化されるかを検討する。 簡単なデータでも難しいデータでも、あらゆる難易度で一貫した改善を達成できないことを示す。
  論文  参考訳（メタデータ） (2025-11-26T18:59:57Z)
• ELAIPBench: A Benchmark for Expert-Level Artificial Intelligence Paper Understanding [49.67493845115009]
  ELAIPBenchは、大規模言語モデルによるAI研究論文の理解を評価するために、ドメインの専門家によってキュレーションされたベンチマークである。 難易度は3つあり、浅い検索よりも非自明な推論に重点を置いている。 実験の結果、最高の性能のLSMは、人間の性能よりはるかに低い39.95%の精度しか達成できないことがわかった。
  論文  参考訳（メタデータ） (2025-10-12T11:11:20Z)
• Probing the Difficulty Perception Mechanism of Large Language Models [31.945071671041465]
  本研究では,大言語モデルが内部表現における問題難易度を暗黙的にエンコードするかどうかを考察する。 最終変圧器層の特定の注意点を見つける。 LLMを自動困難アノテータとして使用するための実用的サポートを提供する実験。
  論文  参考訳（メタデータ） (2025-10-07T14:24:32Z)
• KBM: Delineating Knowledge Boundary for Adaptive Retrieval in Large Language Models [69.99274367773997]
  大規模言語モデル(LLM)は知識を動的に変化させ、未知の静的情報を扱うのにしばしば苦労する。 Retrieval-Augmented Generation (RAG) はこれらの課題に対処するために使われ、LLMの性能向上に大きな影響を与えている。 本稿では,ある質問の既知/未知を表現し,RAGを起動する必要があるかどうかを判断するための知識境界モデル(KBM)を提案する。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Easy2Hard-Bench: Standardized Difficulty Labels for Profiling LLM Performance and Generalization [126.27645170941268]
  さまざまなドメインにまたがる6つのベンチマークデータセットのコレクションであるEasy2Hard-Benchを紹介します。 これらのデータセット内の各問題は、数値的な難易度スコアで注釈付けされる。 様々な難易度にまたがる性能と一般化能力を総合的に分析する。
  論文  参考訳（メタデータ） (2024-09-27T03:49:56Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• When LLMs Meet Cunning Texts: A Fallacy Understanding Benchmark for Large Language Models [59.84769254832941]
  本稿では,人間が理解し易いが,理解し難い文を含むFaLlacy Understanding Benchmark (FLUB)を提案する。 具体的には、FLUBが焦点を絞ったcunningテキストは、主に、実際のインターネット環境から収集されたトリッキーでユーモラスで誤解を招くテキストで構成されている。 FLUBに基づいて,複数の代表および先進LLMの性能について検討する。
  論文  参考訳（メタデータ） (2024-02-16T22:12:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。