論文の概要: Harnessing Structured Knowledge: A Concept Map-Based Approach for High-Quality Multiple Choice Question Generation with Effective Distractors

• arxiv url: http://arxiv.org/abs/2505.02850v1
• Date: Fri, 02 May 2025 06:36:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-07 18:50:11.032576
• Title: Harnessing Structured Knowledge: A Concept Map-Based Approach for High-Quality Multiple Choice Question Generation with Effective Distractors
• Title（参考訳）: 構造的知識のハーネス化: 効率的なディトラクタを用いた高品質複数選択質問生成のための概念マップに基づくアプローチ
• Authors: Nicy Scaria, Silvester John Joseph Kennedy, Diksha Seth, Ananya Thakur, Deepak Subramani,
• Abstract要約: 本稿では, MCQ の生成において, LLM を誘導する構造的知識を提供する階層的概念マップベースフレームワークを提案する。 我々は,ベースLLMとRAGベースジェネレーションの2つのベースラインアプローチに対して,我々のフレームワークを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Generating high-quality MCQs, especially those targeting diverse cognitive levels and incorporating common misconceptions into distractor design, is time-consuming and expertise-intensive, making manual creation impractical at scale. Current automated approaches typically generate questions at lower cognitive levels and fail to incorporate domain-specific misconceptions. This paper presents a hierarchical concept map-based framework that provides structured knowledge to guide LLMs in generating MCQs with distractors. We chose high-school physics as our test domain and began by developing a hierarchical concept map covering major Physics topics and their interconnections with an efficient database design. Next, through an automated pipeline, topic-relevant sections of these concept maps are retrieved to serve as a structured context for the LLM to generate questions and distractors that specifically target common misconceptions. Lastly, an automated validation is completed to ensure that the generated MCQs meet the requirements provided. We evaluate our framework against two baseline approaches: a base LLM and a RAG-based generation. We conducted expert evaluations and student assessments of the generated MCQs. Expert evaluation shows that our method significantly outperforms the baseline approaches, achieving a success rate of 75.20% in meeting all quality criteria compared to approximately 37% for both baseline methods. Student assessment data reveal that our concept map-driven approach achieved a significantly lower guess success rate of 28.05% compared to 37.10% for the baselines, indicating a more effective assessment of conceptual understanding. The results demonstrate that our concept map-based approach enables robust assessment across cognitive levels and instant identification of conceptual gaps, facilitating faster feedback loops and targeted interventions at scale.
• Abstract（参考訳）: 高品質なMCQの生成、特に多様な認知レベルをターゲットにし、イントラクタ設計に共通の誤解を取り入れているものは、時間と専門性に重点を置いており、手作業による創造を大規模に非現実的にしている。 現在の自動化されたアプローチは一般的に認知レベルが低く、ドメイン固有の誤解を組み込むのに失敗する。 本稿では, MCQ の生成において, LLM を誘導する構造的知識を提供する階層的概念マップベースフレームワークを提案する。 実験領域として高校物理学を選択し、まず、主要な物理トピックと効率的なデータベース設計との相互接続を網羅した階層的な概念マップを開発した。 次に、自動パイプラインを通して、これらの概念マップのトピック関連セクションを検索し、LLMが一般的な誤解を特にターゲットとする質問や気晴らしを生成するための構造化コンテキストとして機能する。 最後に、生成されたMCQが提供された要件を満たすことを保証するために、自動検証が完了する。 我々は,ベースLLMとRAGベースジェネレーションの2つのベースラインアプローチに対して,我々のフレームワークを評価する。 得られたMCQについて,専門家による評価と学生による評価を行った。 評価の結果,本手法はベースライン手法よりも有意に優れており,すべての品質基準を満たす場合の75.20%の成功率は,両手法の約37%よりも高いことがわかった。 学生評価データから,概念地図によるアプローチは,ベースラインの37.10%に比べて28.05%の予測成功率を実現し,概念理解のより効果的な評価が得られた。 その結果,概念地図に基づくアプローチは,認知レベルを越えた堅牢な評価と,概念的ギャップの即時同定を可能にし,フィードバックループの高速化と大規模介入の促進を可能にした。

関連論文リスト

• A Survey of Frontiers in LLM Reasoning: Inference Scaling, Learning to Reason, and Agentic Systems [93.8285345915925]
  推論(Reasoning)は、論理的推論、問題解決、意思決定を可能にする基本的な認知プロセスである。 大規模言語モデル(LLM)の急速な進歩により、推論は高度なAIシステムを区別する重要な能力として浮上した。 我々は,(1)推論が達成される段階を定義するレジーム,(2)推論プロセスに関与するコンポーネントを決定するアーキテクチャの2つの側面に沿って既存の手法を分類する。
  論文  参考訳（メタデータ） (2025-04-12T01:27:49Z)
• Construction and Preliminary Validation of a Dynamic Programming Concept Inventory [0.7389633345370871]
  概念発明は、学術分野における重要な概念に対する学生の理解を評価する標準化された評価である。 STEM分野に広く普及しているが、その開発は動的プログラミング(DP)のような先進的なコンピュータ科学のトピックに遅れがある。 本研究は,DP概念に関する既知学生の誤解を対象とする複数選択質問を定式化するための反復的プロセスについて詳述する。 我々は,D PCIを172名の大学生に実施し,質問を適切な難易度と判断し,学生の理解度の違いを効果的に判別することで,予備的な心理測定検証を行った。
  論文  参考訳（メタデータ） (2024-11-22T01:01:43Z)
• Automated Knowledge Concept Annotation and Question Representation Learning for Knowledge Tracing [59.480951050911436]
  自動知識概念アノテーションと質問表現学習のためのフレームワークであるKCQRLを提案する。 実世界の2つの学習データセット上で、15KTアルゴリズムにまたがるKCQRLの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-02T16:37:19Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context Learning in Factuality Evaluation [20.178644251662316]
  本稿では,文脈内学習における関連する文節の検索を促進するために,階層的思考グラフ(HGOT)を導入する。 このフレームワークは、複雑なクエリを管理可能なサブクエリに分割する、分割/クエリ戦略を採用している。 それは、最近提案された引用リコールと精度の指標を取り入れた、回答の選択のための自己一貫性の過半数投票を洗練する。
  論文  参考訳（メタデータ） (2024-02-14T18:41:19Z)
• Fairness meets Cross-Domain Learning: a new perspective on Models and Metrics [80.07271410743806]
  クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。 いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。 本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
  論文  参考訳（メタデータ） (2023-03-25T09:34:05Z)
• Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
  本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。 本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
  論文  参考訳（メタデータ） (2022-09-07T10:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。