論文の概要: Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions

• arxiv url: http://arxiv.org/abs/2609.27749v1
• Date: Wed, 23 Sep 2026 12:00:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.008044
• Title: Evaluation of pre-trained models for pedagogical assessment of novel AI-assisted educational questions
• Title（参考訳）: 新たなAI支援教育質問の教育的評価のための事前学習モデルの評価
• Abstract要約: ブルームモデルを用いた自動評価は、大規模に教育材料を評価するための有望なアプローチである。 我々は、ブルームレベルのデータセット分類タスクにおいて、従来の機械学習(ML)、トランスフォーマー、および大規模言語モデルを評価した。 また、NLPメトリクスを取り入れた機能エンジニアリング戦略、学習目的を入力の一部として付加すること、OOD性能を安定させるためにテキストスプライシングについても検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The surge in AI-assisted generation of educational materials has outpaced our capacity to validate their pedagogical quality. Automated evaluation using Bloom Classifier models is a promising approach to assess educational materials at scale. These models show high accuracy within-distribution dataset (IID Dataset). However, applying the same models to new out-of-distribution (OOD) datasets such as AI-assisted generated questions could show performance degradation. To identify robust classifiers under dataset shift, we evaluated traditional Machine Learning (ML), transformer, and Large Language models on the Bloom level classification task. We also explored feature-engineering strategies incorporating NLP metrics, appending the learning objectives as part of the input, and text splicing to stabilize OOD performance. Our baseline tests show that TFPOS-IDF ML models perform poorly on OOD (Macro F1-score 0.48) compared to BERT (0.55) and LLMs (0.79). Text splicing improved macro F1-score performance of ML and BERT models (0.59 and 0.62, respectively). Appending the learning objectives with the input increased model performance on specific dataset. Model retraining provided the largest improvement across models and datasets. Overall, these findings highlight the trade-off on the use of pre-trained models with novel AI-assisted educational questions and how strategic feature enhancements help address loss in performance.
• Abstract（参考訳）: 教育教材のAI支援による生成の急増は、教育的品質を検証する能力を大きく上回っている。 ブルーム分類器モデルを用いた自動評価は、大規模に教育材料を評価する上で有望なアプローチである。 これらのモデルは、IIDデータセット(IID Dataset)の精度が高い。 しかし、AI支援によって生成された質問のような新しいアウト・オブ・ディストリビューション(OOD)データセットに同じモデルを適用すると、パフォーマンスが低下する可能性がある。 データセットシフトの下でロバストな分類器を特定するため、ブルームレベルの分類タスクにおいて、従来の機械学習(ML)、トランスフォーマー、および大規模言語モデルを評価した。 また、NLPメトリクスを取り入れた機能エンジニアリング戦略、学習目的を入力の一部として付加すること、OOD性能を安定させるためにテキストスプライシングについても検討した。 TFPOS-IDF ML モデルは BERT (0.55) や LLMs (0.79) と比較して OOD (Macro F1-score 0.48) では不十分であった。 テキストスプライシングはMLとBERTのマクロF1スコア性能(それぞれ0.59と0.62)を改善した。 学習目標を入力に当てはめれば、特定のデータセット上でのモデルパフォーマンスが向上する。 モデルの再トレーニングは、モデルとデータセット間で最大の改善をもたらした。 全体として、これらの発見は、新しいAI支援型教育質問による事前学習モデルの使用に関するトレードオフと、戦略的機能強化がパフォーマンスの損失にどのように対処するかを強調している。

関連論文リスト

• Architectural Trade-offs in Small Language Models Under Compute Constraints [0.0]
  本稿では,厳密な計算制約下での小型言語モデルの体系的研究を行う。 我々は,Tny Shakespeare の文字レベルモデリングと Penn Treebank (PTB) とWikiText-2 の単語レベルモデリングについて検討した。 この結果から,注目モデルがFLOP毎の効率を小型でも上回る一方で,深度や文脈の増大が性能を低下させる可能性が示唆された。
  論文  参考訳（メタデータ） (2025-12-24T01:36:50Z)
• Automated Analysis of Learning Outcomes and Exam Questions Based on Bloom's Taxonomy [0.0]
  本稿では,ブルームの分類に基づく試験質問と学習結果の自動分類について検討する。 6つの認知カテゴリをラベル付けした600文の小さなデータセットを、従来の機械学習(ML)モデルを用いて処理した。
  論文  参考訳（メタデータ） (2025-11-14T02:31:12Z)
• Accelerating Large Language Model Pretraining via LFR Pedagogy: Learn, Focus, and Review [50.78587571704713]
  Learn-Focus-Review(LFR)は、モデルの学習進捗に適応する動的トレーニングアプローチである。 LFRは、データブロック(トークンのシーケンス)にわたるモデルの学習パフォーマンスを追跡し、データセットの困難な領域を再検討する。 フルデータセットでトレーニングされたベースラインモデルと比較して、LFRは一貫して低いパープレキシティと高い精度を達成した。
  論文  参考訳（メタデータ） (2024-09-10T00:59:18Z)
• GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
  GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2024-02-26T18:55:15Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• Learning Objective-Specific Active Learning Strategies with Attentive Neural Processes [72.75421975804132]
  学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。 能動学習問題の対称性と独立性を利用した新しい分類法を提案する。 私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
  論文  参考訳（メタデータ） (2023-09-11T14:16:37Z)
• Quality In / Quality Out: Data quality more relevant than model choice in anomaly detection with the UGR'16 [0.29998889086656577]
  ベンチマークデータセットの比較的小さな変更は、考慮された特定のML手法よりも、モデルパフォーマンスに著しく影響することを示します。 また、不正確なラベル付けの結果、測定されたモデル性能が不確かであることも示す。
  論文  参考訳（メタデータ） (2023-05-31T12:03:12Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Model Embedding Model-Based Reinforcement Learning [4.566180616886624]
  モデルベース強化学習(MBRL)は、モデルフリー強化学習(MFRL)よりもサンプル効率が優れていることを示す。 しかし、データ生成の容易さとモデルのバイアスとの間には、依然としてトレードオフがある。 本稿では,確率的強化学習の枠組みとして,シンプルでエレガントなモデル埋め込み型強化学習(MEMB)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-16T15:10:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。