論文の概要: Assessing AI-Generated Questions' Alignment with Cognitive Frameworks in Educational Assessment

• arxiv url: http://arxiv.org/abs/2504.14232v1
• Date: Sat, 19 Apr 2025 09:03:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-30 04:04:25.936447
• Title: Assessing AI-Generated Questions' Alignment with Cognitive Frameworks in Educational Assessment
• Title（参考訳）: 教育評価における認知的枠組みによるAIによる質問のアライメントの評価
• Authors: Antoun Yaacoub, Jérôme Da-Rugna, Zainab Assaghir,
• Abstract要約: 本研究はブルームの分類学をOneClickQuizに統合することを評価する。 OneClickQuizは、MoodleでMultiple-Choice Question(MCQ)生成を自動化する人工知能(AI)駆動プラグインである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This study evaluates the integration of Bloom's Taxonomy into OneClickQuiz, an Artificial Intelligence (AI) driven plugin for automating Multiple-Choice Question (MCQ) generation in Moodle. Bloom's Taxonomy provides a structured framework for categorizing educational objectives into hierarchical cognitive levels. Our research investigates whether incorporating this taxonomy can improve the alignment of AI-generated questions with specific cognitive objectives. We developed a dataset of 3691 questions categorized according to Bloom's levels and employed various classification models-Multinomial Logistic Regression, Naive Bayes, Linear Support Vector Classification (SVC), and a Transformer-based model (DistilBERT)-to evaluate their effectiveness in categorizing questions. Our results indicate that higher Bloom's levels generally correlate with increased question length, Flesch-Kincaid Grade Level (FKGL), and Lexical Density (LD), reflecting the increased complexity of higher cognitive demands. Multinomial Logistic Regression showed varying accuracy across Bloom's levels, performing best for "Knowledge" and less accurately for higher-order levels. Merging higher-level categories improved accuracy for complex cognitive tasks. Naive Bayes and Linear SVC also demonstrated effective classification for lower levels but struggled with higher-order tasks. DistilBERT achieved the highest performance, significantly improving classification of both lower and higher-order cognitive levels, achieving an overall validation accuracy of 91%. This study highlights the potential of integrating Bloom's Taxonomy into AI-driven assessment tools and underscores the advantages of advanced models like DistilBERT for enhancing educational content generation.
• Abstract（参考訳）: 本研究は,Bloomの分類学を人工知能(AI)駆動プラグインであるOneClickQuizに統合して,Moodleにおける多項目質問(MCQ)生成を自動化することを評価する。 ブルームの分類学は、教育目的を階層的な認知レベルに分類するための構造化された枠組みを提供する。 本研究は、この分類を取り入れることで、AI生成された質問と特定の認知目標との整合性を改善することができるかどうかを考察する。 我々はブルームのレベルに応じて分類された3691の質問のデータセットを作成し、様々な分類モデル(マルチノミカルロジスティック回帰、ネイブベイズ、線形サポートベクトル分類(SVC)、トランスフォーマーベースモデル(DistilBERT))を用いて質問の分類の有効性を評価した。 以上の結果から,Bloom値の上昇は質問長, Flesch-Kincaid Grade Level (FKGL), Lexical Density (LD) と相関し,認知的要求の増大を反映していることが明らかとなった。 多項ロジスティック回帰はブルームのレベルによって異なる精度を示し、"Knowledge"では最適であり、高次レベルではより正確ではない。 高度なカテゴリをマージすることで、複雑な認知タスクの精度が向上した。 Naive Bayes と Linear SVC も下位レベルの効果的な分類を示したが、高次タスクに苦しんだ。 DistilBERTは、下位と上位の両方の認知レベルの分類を著しく改善し、全体的な検証精度は91%に達した。 この研究は、ブルームの分類学をAIによる評価ツールに統合する可能性を強調し、教育コンテンツ生成を向上させるためにDistilBERTのような先進的なモデルの利点を強調している。

関連論文リスト

• Class Balance Matters to Active Class-Incremental Learning [61.11786214164405]
  まず、大規模な未ラベルデータのプールから始めて、インクリメンタルな学習のための最も情報に富んだサンプルを注釈付けします。 そこで我々は,クラスバランスと情報提供性を両立させるため,クラスバランス選択(CBS)戦略を提案する。 我々のCBSは、プリトレーニング済みモデルとプロンプトチューニング技術に基づいて、これらのCILメソッドに接続し、再生することができる。
  論文  参考訳（メタデータ） (2024-12-09T16:37:27Z)
• Multi-Label Requirements Classification with Large Taxonomies [40.588683959176116]
  大規模ラベルによる多ラベル要求分類は、要求のトレーサビリティを補助するが、教師付きトレーニングでは違法にコストがかかる。 私たちは129の要件を,250から1183のクラスから769のラベルに関連付けました。 文ベース分類は単語ベース分類と比較して有意に高いリコール率を示した。 階層的な分類戦略は要求分類の性能を必ずしも改善しなかった。
  論文  参考訳（メタデータ） (2024-06-07T09:53:55Z)
• Annotation Guidelines-Based Knowledge Augmentation: Towards Enhancing Large Language Models for Educational Text Classification [11.69740323250258]
  大規模言語モデル(LLM)を改善するためのガイドラインベース知識拡張(AGKA)アプローチを提案する。 AGKAはGPT 4.0を使用して、アノテーションガイドラインからラベル定義の知識を取得し、ランダムアンダーサンプラーを適用していくつかの典型的な例を選択する。 実験の結果、AGKAは非微調整LDM(特にGPT 4.0とLlama 3 70B)を増強できることが示された。
  論文  参考訳（メタデータ） (2024-06-03T03:09:01Z)
• Multi-Modal Prompt Learning on Blind Image Quality Assessment [65.0676908930946]
  画像品質評価(IQA)モデルは意味情報から大きな恩恵を受け、異なる種類のオブジェクトを明瞭に扱うことができる。 十分な注釈付きデータが不足している従来の手法では、セマンティックな認識を得るために、CLIPイメージテキスト事前学習モデルをバックボーンとして使用していた。 近年のアプローチでは、このミスマッチに即時技術を使って対処する試みがあるが、これらの解決策には欠点がある。 本稿では、IQAのための革新的なマルチモーダルプロンプトベースの手法を提案する。
  論文  参考訳（メタデータ） (2024-04-23T11:45:32Z)
• Predictive Analytics of Varieties of Potatoes [2.336821989135698]
  本研究では, 育種試験におけるサツマイモクローンの選択プロセスの向上を目的とした, 機械学習アルゴリズムの適用について検討する。 本研究は, 高収率, 耐病性, 耐気候性ポテト品種を効率的に同定することの課題に対処する。
  論文  参考訳（メタデータ） (2024-04-04T00:49:05Z)
• Overcoming Pitfalls in Graph Contrastive Learning Evaluation: Toward Comprehensive Benchmarks [60.82579717007963]
  本稿では,グラフコントラスト学習(GCL)手法の有効性,一貫性,全体的な能力をより正確に評価するために,拡張された評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-02-24T01:47:56Z)
• Class-attribute Priors: Adapting Optimization to Heterogeneity and Fairness Objective [54.33066660817495]
  現代の分類問題は、個々のクラスにまたがって不均一性を示す。 本稿では,クラス固有の学習戦略を効果的かつ汎用的に生成するCAPを提案する。 CAPは先行技術と競合しており、その柔軟性により、バランスの取れた精度以上の公平性目標に対する明確なメリットが期待できる。
  論文  参考訳（メタデータ） (2024-01-25T17:43:39Z)
• BloomVQA: Assessing Hierarchical Multi-modal Comprehension [18.21961616174999]
  我々は、様々なレベルの理解を反映した絵物語に基づいて、複数の選択サンプルを収集する。 モデル一貫性を特徴付ける新しい尺度と自動データ拡張を可能にする新しい階層グラフ表現にマッピングする。 従来のモデルと比較して、GPT-4Vは全ての理解レベルよりも精度が向上し、特に高次タスクでは視覚入力をバイパスする傾向を示す。
  論文  参考訳（メタデータ） (2023-12-20T02:22:49Z)
• Fine-Grained ImageNet Classification in the Wild [0.0]
  ロバストネステストは、典型的なモデル評価段階で気づかないいくつかの脆弱性やバイアスを明らかにすることができる。 本研究では,階層的知識の助けを借りて,密接に関連するカテゴリのきめ細かい分類を行う。
  論文  参考訳（メタデータ） (2023-03-04T12:25:07Z)
• GraphLearner: Graph Node Clustering with Fully Learnable Augmentation [76.63963385662426]
  Contrastive Deep Graph Clustering (CDGC)は、異なるクラスタにノードをグループ化するために、コントラスト学習のパワーを活用する。 我々は、GraphLearnerと呼ばれる、完全学習可能な拡張を備えたグラフノードクラスタリングを提案する。 学習可能な拡張器を導入し、CDGCのための高品質でタスク固有の拡張サンプルを生成する。
  論文  参考訳（メタデータ） (2022-12-07T10:19:39Z)
• SHELS: Exclusive Feature Sets for Novelty Detection and Continual Learning Without Class Boundaries [22.04165296584446]
  Sparse High-Exclusive, Low-level-Shared feature representation (SHELS)を導入する。 SHELSは、ハイレベルな特徴の排他的セットと、必須で共有された低レベルな特徴の学習を促進する。 新規性検出にSHELSを用いることで,最先端のOOD検出法よりも統計的に有意な改善が得られた。
  論文  参考訳（メタデータ） (2022-06-28T03:09:55Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• BloomNet: A Robust Transformer based model for Bloom's Learning Outcome Classification [2.8014992300800103]
  ブルーム分類学(Bloom taxonomy)は、学習目標を認知、感情、精神運動の3つのレベルに分類するパラダイムである。 コース学習結果(CLO)を分類するために,言語情報と意味情報をキャプチャする,BloomNetというトランスフォーマーベースモデルを提案する。
  論文  参考訳（メタデータ） (2021-08-16T17:31:44Z)
• ECKPN: Explicit Class Knowledge Propagation Network for Transductive Few-shot Learning [53.09923823663554]
  クラスレベルの知識は、ほんの一握りのサンプルから人間が容易に学習することができる。 本稿では,この問題に対処する明示的クラス知識伝達ネットワーク(ECKPN)を提案する。 筆者らは,4つの数ショット分類ベンチマークについて広範な実験を行い,提案したECKPNが最先端の手法よりも優れていることを示す実験結果を得た。
  論文  参考訳（メタデータ） (2021-06-16T02:29:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。