論文の概要: Marking: Visual Grading with Highlighting Errors and Annotating Missing Bits
- arxiv url: http://arxiv.org/abs/2404.14301v1
- Date: Mon, 22 Apr 2024 16:00:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-23 13:27:39.604682
- Title: Marking: Visual Grading with Highlighting Errors and Annotating Missing Bits
- Title（参考訳）: Marking: ハイライトエラーとアノテーションの欠落によるビジュアルグレーディング
- Authors: Shashank Sonkar, Naiming Liu, Debshila B. Mallick, Richard G. Baraniuk,
- Abstract要約: マーキング(Marking)は、学生の反応の詳細な分析を行うことにより、自動階調システムを強化する新しい階調タスクである。
本稿では,この課題に特化して,主観的課題エキスパートが慎重にキュレートした新しいデータセットを提案する。
- 参考スコア（独自算出の注目度）: 23.71250100390303
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In this paper, we introduce "Marking", a novel grading task that enhances automated grading systems by performing an in-depth analysis of student responses and providing students with visual highlights. Unlike traditional systems that provide binary scores, "marking" identifies and categorizes segments of the student response as correct, incorrect, or irrelevant and detects omissions from gold answers. We introduce a new dataset meticulously curated by Subject Matter Experts specifically for this task. We frame "Marking" as an extension of the Natural Language Inference (NLI) task, which is extensively explored in the field of Natural Language Processing. The gold answer and the student response play the roles of premise and hypothesis in NLI, respectively. We subsequently train language models to identify entailment, contradiction, and neutrality from student response, akin to NLI, and with the added dimension of identifying omissions from gold answers. Our experimental setup involves the use of transformer models, specifically BERT and RoBERTa, and an intelligent training step using the e-SNLI dataset. We present extensive baseline results highlighting the complexity of the "Marking" task, which sets a clear trajectory for the upcoming study. Our work not only opens up new avenues for research in AI-powered educational assessment tools, but also provides a valuable benchmark for the AI in education community to engage with and improve upon in the future. The code and dataset can be found at https://github.com/luffycodes/marking.
- Abstract（参考訳）: 本稿では,学生の反応の詳細な分析を行い,学生に視覚的ハイライトを提供することにより,自動階調システムを強化する新しい階調タスクである「マーキング」を紹介する。
二進的なスコアを提供する従来のシステムとは異なり、"marking"は学生の反応のセグメントを正しい、間違って、あるいは無関係であると識別し、金の答えから欠落を検出する。
本稿では,この課題に特化して,主観的課題エキスパートが慎重にキュレートした新しいデータセットを提案する。
我々は、自然言語処理の分野で広く研究されている自然言語推論(NLI)タスクの拡張として「マーキング」の枠組みを定めている。
金の回答と学生の反応はそれぞれNLIにおける前提と仮説の役割を担っている。
我々はその後、NLIのような学生の反応と、金の答えから欠落を識別する追加の次元から、関係性、矛盾、中立性を識別するために言語モデルを訓練する。
実験では,変換モデル,特にBERTとRoBERTaの使用,およびe-SNLIデータセットを用いたインテリジェントなトレーニングステップについて検討した。
本稿では,「マーキング」課題の複雑さを浮き彫りにして,今後の研究の軌跡を明確にする広範なベースライン結果を示す。
私たちの研究は、AIを活用した教育アセスメントツールの研究のための新たな道を開くだけでなく、教育コミュニティにおけるAIが将来的に取り組み、改善するための貴重なベンチマークも提供します。
コードとデータセットはhttps://github.com/luffycodes/marking.orgにある。
関連論文リスト
- Learning Task Representations from In-Context Learning [73.72066284711462]
大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。
ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。
提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
論文 参考訳（メタデータ） (2025-02-08T00:16:44Z) - Web-Scale Visual Entity Recognition: An LLM-Driven Data Approach [56.55633052479446]
Webスケールのビジュアルエンティティ認識は、クリーンで大規模なトレーニングデータがないため、重大な課題を呈している。
本稿では,ラベル検証,メタデータ生成,合理性説明に多モーダル大言語モデル(LLM)を活用することによって,そのようなデータセットをキュレートする新しい手法を提案する。
実験により、この自動キュレートされたデータに基づいてトレーニングされたモデルは、Webスケールの視覚的エンティティ認識タスクで最先端のパフォーマンスを達成することが示された。
論文 参考訳（メタデータ） (2024-10-31T06:55:24Z) - "I understand why I got this grade": Automatic Short Answer Grading with Feedback [36.74896284581596]
本稿では,5.8kの学生回答と参照回答と自動短解答(ASAG)タスクに対する質問のデータセットを提案する。
EngSAFデータセットは、複数のエンジニアリングドメインのさまざまな主題、質問、回答パターンをカバーするために、慎重にキュレートされている。
論文 参考訳（メタデータ） (2024-06-30T15:42:18Z) - Deep Natural Language Feature Learning for Interpretable Prediction [1.6114012813668932]
本稿では,メインの複雑なタスクを仲介しやすいサブタスクの集合に分解する手法を提案する。
本手法では,これらの質問に対する回答からなるベクトルで各例を表現できる。
我々は,学生のオープンエンド数学試験に対する回答の不整合性の検出と,気候変動と農業学に関する科学的論文の体系的な文献レビューのための要約のスクリーニングという,2つのまったく異なるタスクにこの手法を適用した。
論文 参考訳（メタデータ） (2023-11-09T21:43:27Z) - Harnessing Explanations: LLM-to-LM Interpreter for Enhanced
Text-Attributed Graph Representation Learning [51.90524745663737]
重要なイノベーションは、機能として説明を使用することで、下流タスクにおけるGNNのパフォーマンス向上に利用できます。
提案手法は、確立されたTAGデータセットの最先端結果を実現する。
本手法はトレーニングを著しく高速化し,ogbn-arxivのベースラインに最も近い2.88倍の改善を実現した。
論文 参考訳（メタデータ） (2023-05-31T03:18:03Z) - Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。
我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。
第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
論文 参考訳（メタデータ） (2022-05-30T16:26:02Z) - Survey on Automated Short Answer Grading with Deep Learning: from Word
Embeddings to Transformers [5.968260239320591]
教育課題を学生数の増加に拡大する手段として,ASAG (Automated Short answer grading) が教育において注目を集めている。
自然言語処理と機械学習の最近の進歩はASAGの分野に大きな影響を与えた。
論文 参考訳（メタデータ） (2022-03-11T13:47:08Z) - SLUE: New Benchmark Tasks for Spoken Language Understanding Evaluation
on Natural Speech [44.68649535280397]
音声言語理解評価(SLUE)のための一連のベンチマークタスクを提案する。
SLUEは限定的なラベル付きトレーニングセットとそれに対応する評価セットで構成されている。
本稿では,SLUEベンチマークスイートの第1フェーズについて述べる。
本稿では,VoxCelebデータセットとVoxPopuliデータセットのサブセットに対する新たな書き起こしとアノテーション,ベースラインモデルの評価指標と結果,ベースラインを再現し,新しいモデルを評価するためのオープンソースツールキットを提供する。
論文 参考訳（メタデータ） (2021-11-19T18:59:23Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Visual Transformer for Task-aware Active Learning [49.903358393660724]
プールベースのアクティブラーニングのための新しいパイプラインを提案する。
提案手法は,学習中に使用可能なアンラベリング例を利用して,ラベル付き例との相関関係を推定する。
ビジュアルトランスフォーマーは、ラベル付き例と非ラベル付き例の間の非ローカルビジュアル概念依存性をモデル化する。
論文 参考訳（メタデータ） (2021-06-07T17:13:59Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳（メタデータ） (2020-11-03T07:49:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。