論文の概要: Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs

• arxiv url: http://arxiv.org/abs/2606.13684v1
• Date: Wed, 22 Apr 2026 13:40:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-27 00:46:12.879468
• Title: Cross-Dataset Bloom Question Classification: Supervised Models and Prompted LLMs
• Title（参考訳）: クロスデータセット・ブルーム質問分類:監視モデルとプロンプトLDM
• Abstract要約: ブルームの評価問題の分類分類は、インストラクターの作業負荷を大幅に削減することができる。 機械学習(ML)とディープラーニング(DL)のアプローチでは、強力なデータセット内結果が報告されたが、データセット間の設定で評価されることはめったにない。 既存のML/DL手法のクロスデータセット一般化と複数のプロンプト戦略を用いたLCMの評価を行った。
• 参考スコア（独自算出の注目度）: 0.9786690381850356
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automatic Bloom's taxonomy classification of assessment questions can substantially reduce instructor workload, but labeling is subjective and teacher-dependent. Prior machine learning (ML) and deep learning (DL) approaches reported strong within-dataset results, yet were rarely evaluated in cross-dataset settings, leaving real-world generalizability unclear; meanwhile, LLM effectiveness for Bloom question classification has not been systematically studied. We evaluated the cross-dataset generalization of existing ML/DL methods and assessed LLMs with multiple prompting strategies on five datasets; the best prompting strategy combined in-context examples with course-specific action verbs. Supervised ML/DL models degraded substantially on unseen datasets, whereas LLMs were more stable, suggesting a robust alternative across diverse educational contexts. Based on the best prompting strategy, we also presented a lightweight UI that supports instructors in automatically classifying large question banks; a usability study indicated low workload and high usability.
• Abstract（参考訳）: 自動ブルームの分類分類では、評価質問の分類はインストラクターの作業負荷を大幅に削減するが、ラベル付けは主観的で教師に依存している。 機械学習 (ML) と深層学習 (DL) のアプローチでは、強力なデータセット内結果が報告されているが、実際の一般化性は明らかになっていないが、ブルーム問題分類における LLM の有効性は体系的に研究されていない。 既存のML/DL手法のクロスデータセット一般化と5つのデータセット上での複数のプロンプト戦略を用いたLCMの評価を行った。 監視されたML/DLモデルは、目に見えないデータセットで大幅に劣化したが、LLMはより安定しており、多様な教育的文脈で堅牢な代替手段であることが示唆された。 また、最も優れたプロンプト戦略に基づいて、インストラクターが大規模質問銀行を自動的に分類するのをサポートする軽量UIも提示した。

関連論文リスト

• De-attribute to Forget for LLM Unlearning [79.82535763351594]
  大規模言語モデル(LLM)の急速な開発により、トレーニングに不適切なデータを使用することが懸念されている。 本稿では,DareU と呼ばれるデータ帰属報酬に基づく最初の LLM アンラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-29T07:03:20Z)
• LLMTabBench: Evaluating LLMs on Binary Tabular Classification From Zero to Few Shots [0.9056483898540896]
  大きな言語モデル(LLM)は、タスク記述から直接ゼロと少数ショットのインコンテキスト学習を通じて、より柔軟な代替手段を提供することができる。 LLMはゼロショット設定で非常に競争力があり、たとえこれらのモデルが少数ショットの例にアクセスできたとしても、代替モデルよりも優れている。 LLMのパフォーマンスが低下し、少数の例では効果が低下するデータ複雑性しきい値が存在する。
  論文  参考訳（メタデータ） (2026-05-23T06:05:20Z)
• Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets [0.0]
  大規模言語モデル(LLM)は、下流タスクを明示的に微調整することなく、構造化された入力に対して予測タスクを実行することができる。 分類,回帰,クラスタリングタスクのための小規模構造化データセット上でのLCMの実証関数近似能力について検討した。 以上の結果から,LLMは構造化データの汎用的予測エンジンとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-24T15:00:51Z)
• LLMs as Data Annotators: How Close Are We to Human Performance [47.61698665650761]
  データのマニュアルアノテーションは、労働集約的で、時間がかかり、コストがかかる。 In-context Learning (ICL) では、タスクに関連するいくつかの例がプロンプトで与えられると、非効率性や準最適モデルの性能につながる可能性がある。 本稿では,NERタスクの様々なデータセットに対して,異なる埋め込みモデルを考慮した複数のLLMの比較実験を行う。
  論文  参考訳（メタデータ） (2025-04-21T11:11:07Z)
• Concept-based Rubrics Improve LLM Formative Assessment and Data Synthesis [3.0748861313823]
  STEMトピックスにおける形式的評価は、学生の現在の理解を識別し、さらなる学習を促進する方法を目標にすることで、学生の学習を促進することを目的としている。 従来の研究では,現在生成型大規模言語モデル(LLM)のオープンエンド質問に対する応答に対する評価性能が,高品質なラベル付きデータに基づいて訓練された教師付き分類器よりも著しく低いことが示唆された。 我々は,LLMの性能を著しく向上させることで,LLMの棚外評価ツールとしてのギャップを狭めることと,大量のトレーニングデータを必要とする教師付きモデルとのギャップを小さくすることができることを実証した。
  論文  参考訳（メタデータ） (2025-04-04T19:02:07Z)
• From Selection to Generation: A Survey of LLM-based Active Learning [153.8110509961261]
  大きな言語モデル(LLM)は、全く新しいデータインスタンスを生成し、よりコスト効率の良いアノテーションを提供するために使われています。 本調査は,LSMに基づくAL手法の直感的な理解を目指して,研究者や実践者の最新のリソースとして機能することを目的としている。
  論文  参考訳（メタデータ） (2025-02-17T12:58:17Z)
• Aligning Large Language Models to Follow Instructions and Hallucinate Less via Effective Data Filtering [66.5524727179286]
  NOVAは、幻覚を減らすための学習知識とよく一致した高品質なデータを特定するために設計されたフレームワークである。 内部整合性探索(ICP)とセマンティック等価同定(SEI)が含まれており、LLMが命令データとどれだけ親しみやすいかを測定する。 選択したサンプルの品質を確保するため,親しみ以上の特性を考慮した専門家による報酬モデルを導入する。
  論文  参考訳（メタデータ） (2025-02-11T08:05:56Z)
• LLM-Forest: Ensemble Learning of LLMs with Graph-Augmented Prompts for Data Imputation [50.375567142250446]
  巨大なコーパスで訓練された大規模言語モデル(LLM)は、データ生成に強い可能性を示している。 我々は,信頼度に基づく重み付け投票によって出力を集約した,数発のプロンプト学習 LLM ツリーの "フォレスト" を導入した新しいフレームワーク LLM-Forest を提案する。 このフレームワークは、2部情報グラフという新しい概念に基づいて構築され、特徴と値の粒度の両方で高品質な関連項目を識別する。
  論文  参考訳（メタデータ） (2024-10-28T20:42:46Z)
• Self-training Large Language Models through Knowledge Detection [26.831873737733737]
  大規模な言語モデル(LLM)は、ダウンストリームタスク間で印象的なパフォーマンスを達成するために、広範囲のラベル付きデータセットとトレーニング計算を必要とすることが多い。 本稿では,LLMが独自ラベルを自動でキュレートし,未知のデータサンプルを選択的に学習する自己学習パラダイムについて検討する。 経験的評価は、複数の被験者にまたがる世代における幻覚の減少に有意な改善を示した。
  論文  参考訳（メタデータ） (2024-06-17T07:25:09Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。