論文の概要: LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning

• arxiv url: http://arxiv.org/abs/2607.11032v1
• Date: Mon, 13 Jul 2026 02:57:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-14 17:47:21.319889
• Title: LLM-Generated Design Problems for Assessing Higher-Order Thinking in Project-Based Learning
• Title（参考訳）: プロジェクトベース学習における高次思考評価のためのLLM設計問題
• Authors: Ahmad D. Suleiman, Daqing Hou, Maliha Noushin Raida,
• Abstract要約: 本稿では,プロジェクトコンセプトを新たな状況に適用する必要のある,簡潔でシナリオベースのプロンプトについて紹介する。 本研究では,インストラクターの知覚,大規模言語モデル(LLM)によるDP生成能力,学生体験について検討した。
• 参考スコア（独自算出の注目度）: 1.0195618602298682
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Project-based learning (PjBL) is common in computing education, but traditional assessments of PjBL often fail to capture higher-order thinking (HOT), especially in transfer contexts. This study introduces "design problems" (DPs): concise, scenario-based prompts that require applying project concepts in new situations, to address this gap. We examined instructor perceptions, the ability of large language models (LLMs) to generate DPs, and student experiences. Surveys of 31 instructors, evaluation of 80 LLM-generated DPs, and student performance data showed that while instructors value DPs, creation effort is a barrier. LLMs helped by producing high-quality prompts with strong expert agreement. Students rated DPs from different LLMs similarly, and their performance on DP tasks showed negligible correlation with traditional project grades, suggesting DPs may capture distinct aspects of HOT. Keystroke data also suggested deeper cognitive engagement of students through planning and revision behaviors. Overall, DPs appear to be a useful complement to traditional assessments, especially in situations where AI use or collaboration may undermine individual learning.
• Abstract（参考訳）: プロジェクトベースラーニング(PjBL)は、コンピュータ教育において一般的であるが、PjBLの伝統的な評価は高次思考(HOT)、特に伝達コンテキストを捉えるのに失敗することが多い。 本研究は,プロジェクトコンセプトを新たな状況に適用する必要のある簡潔でシナリオベースのプロンプトを,このギャップに対処するための「設計問題(DP)」を紹介する。 本研究では,インストラクターの知覚,大規模言語モデル(LLM)によるDP生成能力,学生体験について検討した。 教員31名, LLM生成DP80名, 学生成績データによる調査の結果, 教官はDPを重んじる一方で, 創造努力は障壁であることがわかった。 LLMは、専門家の強い合意のもと、高品質なプロンプトの作成を支援した。 学生は異なる LLM のDP を評価し,DP タスクにおけるDP のパフォーマンスは従来のプロジェクトグレードと無視できる相関を示し,HOT の異なる側面を捉えている可能性が示唆された。 キーストロークデータはまた、計画と修正行動を通じて学生のより深い認知的関与を示唆した。 全体として、DPは、特にAIの使用やコラボレーションが個々の学習を損なうような状況において、従来の評価を補完する有用なものと思われる。

関連論文リスト

• DPrivBench: Benchmarking LLMs' Reasoning for Differential Privacy [50.73304874527716]
  差分プライバシー(DP)は、データプライバシーを保護する幅広いアプリケーションを持っているが、DPアルゴリズムの設計と検証には専門家レベルの推論が必要である。 DPrivBenchは、各インスタンスが、ある関数やアルゴリズムが指定されたDP保証を満たすかどうかを問うベンチマークである。 実験によると、最強のモデルは教科書の仕組みをうまく扱えるが、全てのモデルは高度なアルゴリズムに苦しむ。
  論文  参考訳（メタデータ） (2026-04-17T09:03:11Z)
• Evaluating LLMs for Answering Student Questions in Introductory Programming Courses [0.0]
  本研究では,CS1プログラミングコースにおける学生の質問に答える上で,大規模言語モデルの安全かつ効果的に支援する能力について検討する。 従来のテキストマッチングメトリクスは、オープンエンドの教育応答を評価するには不十分であるため、独自のLCM-as-a-Judgeメトリックを開発し、検証した。 以上の結果から,ジェミニ3フラッシュなどのモデルが典型的な教育者応答の品質基準を超越し,専門家の教育基準と高い整合性が得られることが示唆された。
  論文  参考訳（メタデータ） (2026-03-30T11:22:58Z)
• From Answer Givers to Design Mentors: Guiding LLMs with the Cognitive Apprenticeship Model [15.804452611205454]
  大きな言語モデル(LLM)は設計作業をサポートするが、しばしば反射的エンゲージメントを制限する汎用的なワンオフ提案を提供する。 我々は6つの方法による推論の実証を強調する認知認証モデルを適用した。 我々は,これらの指導手法を構造化的プロンプトを通して運用し,データ視覚化実践者による対象内調査で評価する。
  論文  参考訳（メタデータ） (2026-01-27T00:27:15Z)
• Thinking Like a Student: AI-Supported Reflective Planning in a Theory-Intensive Computer Science Course [1.5229257192293202]
  新型コロナウイルスの感染拡大を受け、多くの大学が補足的な「強化」を実施。 本稿では,形式的手法と計算モデルに関する学部課程における強化セッションの再設計について報告する。 介入は学生からの肯定的なフィードバックを受け、自信の向上、不安の軽減、明快さの向上を示唆した。
  論文  参考訳（メタデータ） (2025-10-31T12:35:18Z)
• Personalized and Constructive Feedback for Computer Science Students Using the Large Language Model (LLM) [0.8409304328108455]
  本稿では,学生評価における言語モデル(LLM)の性能について,事前に定義されたルーリックとマーキング基準を用いて検討する。 我々は,既存のLCMによるマーキングアセスメント,追跡,評価(LLM-MATE)の力を活用して,学生の学習を促進することを目的としている。
  論文  参考訳（メタデータ） (2025-10-13T15:59:30Z)
• Can Large Language Models Help Students Prove Software Correctness? An Experimental Study with Dafny [75.55915044740566]
  コンピューティング教育の学生は、ChatGPTのような大きな言語モデル(LLM)をますます利用している。 本稿では,Dafny の形式的検証演習において,学生が LLM とどのように相互作用するかを検討する。
  論文  参考訳（メタデータ） (2025-06-27T16:34:13Z)
• Generating Situated Reflection Triggers about Alternative Solution Paths: A Case Study of Generative AI for Computer-Supported Collaborative Learning [3.2721068185888127]
  本稿では,学生に動的かつ文脈的フィードバックを提供する概念実証アプリケーションを提案する。 具体的には、ChatGPTを使って、大学レベルのクラウドコンピューティングコースのためのオンラインプログラミング演習ボットを拡張します。 LLMは、コンテキスト内で発生する協調的な議論の詳細を組み込んだ、高度に位置決めされたリフレクショントリガを生成するために使用できることを実証する。
  論文  参考訳（メタデータ） (2024-04-28T17:56:14Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。