論文の概要: Instructional Goal-Aligned Question Generation for Student Evaluation in Virtual Lab Settings: How Closely Do LLMs Actually Align?

• arxiv url: http://arxiv.org/abs/2510.06411v1
• Date: Tue, 07 Oct 2025 19:44:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-09 16:41:20.172016
• Title: Instructional Goal-Aligned Question Generation for Student Evaluation in Virtual Lab Settings: How Closely Do LLMs Actually Align?
• Title（参考訳）: 仮想実験室設定における学生評価のための指導目標付き質問生成:LLMは実際どのように一致しているか?
• Authors: R. Alexander Knipper, Indrani Dey, Souvika Sarkar, Hari Narayanan, Sadhana Puntambekar, Santu Karmaker,
• Abstract要約: 本稿では,目標整合型質問生成のための新しいアライメントフレームワークを提案する。 教師-LLM対話による指導目標理解、知識単位と関係分析による研究室理解、認知と教育の意図を構造化するための質問分類学、そして迅速な詳細制御のためのTELeR分類学を統合する。
• 参考スコア（独自算出の注目度）: 2.374216763355153
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Virtual Labs offer valuable opportunities for hands-on, inquiry-based science learning, yet teachers often struggle to adapt them to fit their instructional goals. Third-party materials may not align with classroom needs, and developing custom resources can be time-consuming and difficult to scale. Recent advances in Large Language Models (LLMs) offer a promising avenue for addressing these limitations. In this paper, we introduce a novel alignment framework for instructional goal-aligned question generation, enabling teachers to leverage LLMs to produce simulation-aligned, pedagogically meaningful questions through natural language interaction. The framework integrates four components: instructional goal understanding via teacher-LLM dialogue, lab understanding via knowledge unit and relationship analysis, a question taxonomy for structuring cognitive and pedagogical intent, and the TELeR taxonomy for controlling prompt detail. Early design choices were informed by a small teacher-assisted case study, while our final evaluation analyzed over 1,100 questions from 19 open-source LLMs. With goal and lab understanding grounding questions in teacher intent and simulation context, the question taxonomy elevates cognitive demand (open-ended formats and relational types raise quality by 0.29-0.39 points), and optimized TELeR prompts enhance format adherence (80% parsability, >90% adherence). Larger models yield the strongest gains: parsability +37.1%, adherence +25.7%, and average quality +0.8 Likert points.
• Abstract（参考訳）: Virtual Labsは、ハンズオンで調査ベースの科学学習のための貴重な機会を提供する。 サードパーティの教材は教室のニーズに合致せず、カスタムリソースの開発には時間がかかるし、スケールも難しい。 大規模言語モデル(LLM)の最近の進歩は、これらの制限に対処するための有望な道を提供する。 本稿では, 教師がLLMを利用して, 自然言語の相互作用を通じて, シミュレーション的, 教育学的に有意義な質問を生成できるようにする, 指導目標整合質問生成のための新しいアライメントフレームワークを提案する。 このフレームワークは、教師-LLM対話による指導目標理解、知識単位と関係分析による研究室理解、認知と教育の意図を構造化するための質問分類学、迅速な詳細制御のためのTELeR分類学の4つの構成要素を統合している。 初期の設計選択は、小さな教師によるケーススタディによって通知され、最終評価では、19のオープンソースLCMから1,100以上の質問を分析した。 教師の意図とシミュレーションの文脈において、目標と研究室の理解が根底にある質問は、認知的要求(オープンなフォーマットとリレーショナルタイプが品質を0.29-0.39ポイント向上させる)を高め、最適化されたTELeRは、フォーマットの定着を促進させる(80%のパーサビリティ、90%以上の順守)。 より大型のモデルでは、パーサビリティ+37.1%、付着+25.7%、平均品質+0.8いいね!

関連論文リスト

• Automatic Question & Answer Generation Using Generative Large Language Model (LLM) [0.0]
  本研究では,NLPにおける教師なし学習手法の活用を提案する。 カスタマイズされたモデルは、教育者、インストラクター、テキストベースの評価に従事する個人に対して効率的なソリューションを提供する。
  論文  参考訳（メタデータ） (2025-08-26T23:36:13Z)
• Teaching Language Models To Gather Information Proactively [53.85419549904644]
  大規模言語モデル(LLM)は、ますます協力的なパートナーとして機能することが期待されている。 本研究では,アクティブな情報収集という新たなタスクパラダイムを導入する。 キー情報をマスキングする、部分的に特定された現実世界のタスクを生成するスケーラブルなフレームワークを設計する。 このセットアップの中核となるイノベーションは、真に新しい暗黙のユーザー情報を引き出す質問に報酬を与える、強化された微調整戦略です。
  論文  参考訳（メタデータ） (2025-07-28T23:50:09Z)
• From Problem-Solving to Teaching Problem-Solving: Aligning LLMs with Pedagogy using Reinforcement Learning [76.09281171131941]
  大規模言語モデル(LLM)は教育を変換することができるが、直接質問応答のための最適化はしばしば効果的な教育を損なう。 オンライン強化学習(RL)に基づくアライメントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-21T15:00:07Z)
• INTERACT: Enabling Interactive, Question-Driven Learning in Large Language Models [15.825663946923289]
  大規模言語モデル(LLM)は、質問に答える能力は優れているが、知識を疑問視したり洗練したりすることなく、静的データを受動的に吸収する。 本稿では,LLMが学生と教師の対話を通して,対話型,質問駆動型学習にどのように移行できるかを考察する。
  論文  参考訳（メタデータ） (2024-12-16T02:28:53Z)
• Learning to Love Edge Cases in Formative Math Assessment: Using the AMMORE Dataset and Chain-of-Thought Prompting to Improve Grading Accuracy [0.0]
  本稿では,Rori による 53,000 個の質問応答対の新たなデータセットである AMMORE を紹介する。 2つの実験により,大規模言語モデル(LLM)を用いて,難解な学生の回答を段階的に評価する。
  論文  参考訳（メタデータ） (2024-09-26T14:51:40Z)
• MACAROON: Training Vision-Language Models To Be Your Engaged Partners [95.32771929749514]
  大規模視覚言語モデル(LVLM)は、質問が曖昧でラベルが付されていない場合でも詳細な応答を生成する。 本研究では,LVLMを受動的回答提供者から積極的参加パートナーへ移行することを目的とする。 我々は、LVLMに対して、ラベルなし質問に対するコントラスト応答対を自律的に生成するように指示する、ContrAstive pReference Optimizationのための自己iMaginAtionであるMACAROONを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T09:27:33Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• KIWI: A Dataset of Knowledge-Intensive Writing Instructions for Answering Research Questions [63.307317584926146]
  ユーザ命令に従うように適応された大規模言語モデル(LLM)は、現在では会話エージェントとして広くデプロイされている。 そこで本研究では,より一般的な命令追従タスクとして,長文の回答作成を支援することを提案する。 我々は、科学領域における知識集約的な記述命令のデータセットKIWIを構築した。
  論文  参考訳（メタデータ） (2024-03-06T17:16:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。