論文の概要: "I understand why I got this grade": Automatic Short Answer Grading with Feedback
- arxiv url: http://arxiv.org/abs/2407.12818v1
- Date: Sun, 30 Jun 2024 15:42:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 08:47:38.341738
- Title: "I understand why I got this grade": Automatic Short Answer Grading with Feedback
- Title（参考訳）: 「なぜこの成績を得たのか理解している」:フィードバック付き自動短解答答書
- Authors: Dishank Aggarwal, Pushpak Bhattacharyya, Bhaskaran Raman,
- Abstract要約: 本稿では,5.8kの学生回答と参照回答と自動短解答(ASAG)タスクに対する質問のデータセットを提案する。
EngSAFデータセットは、複数のエンジニアリングドメインのさまざまな主題、質問、回答パターンをカバーするために、慎重にキュレートされている。
- 参考スコア（独自算出の注目度）: 36.74896284581596
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The demand for efficient and accurate assessment methods has intensified as education systems transition to digital platforms. Providing feedback is essential in educational settings and goes beyond simply conveying marks as it justifies the assigned marks. In this context, we present a significant advancement in automated grading by introducing Engineering Short Answer Feedback (EngSAF) -- a dataset of 5.8k student answers accompanied by reference answers and questions for the Automatic Short Answer Grading (ASAG) task. The EngSAF dataset is meticulously curated to cover a diverse range of subjects, questions, and answer patterns from multiple engineering domains. We leverage state-of-the-art large language models' (LLMs) generative capabilities with our Label-Aware Synthetic Feedback Generation (LASFG) strategy to include feedback in our dataset. This paper underscores the importance of enhanced feedback in practical educational settings, outlines dataset annotation and feedback generation processes, conducts a thorough EngSAF analysis, and provides different LLMs-based zero-shot and finetuned baselines for future comparison. Additionally, we demonstrate the efficiency and effectiveness of the ASAG system through its deployment in a real-world end-semester exam at the Indian Institute of Technology Bombay (IITB), showcasing its practical viability and potential for broader implementation in educational institutions.
- Abstract（参考訳）: 教育制度がデジタルプラットフォームに移行するにつれ, 効率的かつ正確な評価手法の需要が高まっている。
フィードバックを提供することは教育的な設定に不可欠であり、割り当てられたマークを正当化するために単にマークを伝達するだけではない。
この文脈では、自動短解答(ASAG)タスクに対する参照回答と質問を伴う5.8kの学生回答のデータセットであるEngineering Short Answer Feedback (EngSAF)を導入することにより、自動階調の大幅な進歩を示す。
EngSAFデータセットは、複数のエンジニアリングドメインのさまざまな主題、質問、回答パターンをカバーするために、慎重にキュレートされている。
LLM(State-of-the-art large language model)の生成機能と、ラベル認識合成フィードバック生成(LASFG)戦略を活用して、データセットにフィードバックを含めます。
本稿では、実践的な教育環境でのフィードバック強化の重要性を強調し、データセットアノテーションとフィードバック生成プロセスを概説し、EngSAF分析を徹底的に実施し、将来の比較のために異なるLLMベースのゼロショットと微調整ベースラインを提供する。
さらに,インド工科大学ボンベイ(IITB)における実世界の終末試験への展開を通じて,ASAGシステムの有効性と効果を実証し,その実用性と教育機関における広範な実施の可能性を示した。
関連論文リスト
- Leveraging Retrieval-Augmented Generation for University Knowledge Retrieval [2.749898166276854]
本稿では,Large Language Models (LLM) を用いたレトリーバル拡張生成(RAG)パイプラインを用いた革新的なアプローチを提案する。
大学公式Webページからデータを体系的に抽出することにより、ユーザクエリに対する正確で文脈的に関連する応答を生成する。
実験の結果, 生成した応答の精度と関連性に大きな改善が認められた。
論文 参考訳（メタデータ） (2024-11-09T17:38:01Z) - Beyond Scores: A Modular RAG-Based System for Automatic Short Answer Scoring with Feedback [3.2734777984053887]
そこで本研究では,厳密なゼロショットと少数ショットの学習シナリオにおいて,回答のスコアとフィードバックを生成するモジュール型検索拡張生成システムASAS-Fを提案する。
その結果, 微調整に比べて解答精度が9%向上し, スケーラブルで費用対効果の高い解が得られた。
論文 参考訳（メタデータ） (2024-09-30T07:48:55Z) - Automated Long Answer Grading with RiceChem Dataset [19.34390869143846]
教育自然言語処理分野における新たな研究分野について紹介する:ALAG(Automated Long Answer Grading)
ALAGは、事実に基づく長い答えの複雑さと多面的な性質のために、ユニークな課題を提示している。
本稿では, 自然言語推論モデルを用いて, ALAG に対する新たなアプローチを提案する。
論文 参考訳（メタデータ） (2024-04-22T16:28:09Z) - Empowering Private Tutoring by Chaining Large Language Models [87.76985829144834]
本研究は,最先端の大規模言語モデル(LLM)を活用した,本格的な知的チューリングシステムの開発を探求する。
このシステムは、相互に接続された3つのコアプロセス(相互作用、反射、反応)に分けられる。
各プロセスは LLM ベースのツールと動的に更新されたメモリモジュールによって実装される。
論文 参考訳（メタデータ） (2023-09-15T02:42:03Z) - Towards LLM-based Autograding for Short Textual Answers [4.853810201626855]
この写本は、自動階調のための大きな言語モデルの評価である。
のLCMは貴重なツールであるが、独立した自動グルーピングのための準備がまだ進行中であることを示唆している。
論文 参考訳（メタデータ） (2023-09-09T22:25:56Z) - Survey on Automated Short Answer Grading with Deep Learning: from Word
Embeddings to Transformers [5.968260239320591]
教育課題を学生数の増加に拡大する手段として,ASAG (Automated Short answer grading) が教育において注目を集めている。
自然言語処理と機械学習の最近の進歩はASAGの分野に大きな影響を与えた。
論文 参考訳（メタデータ） (2022-03-11T13:47:08Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Get It Scored Using AutoSAS -- An Automated System for Scoring Short
Answers [63.835172924290326]
SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。
SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。
AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
論文 参考訳（メタデータ） (2020-12-21T10:47:30Z) - DAGA: Data Augmentation with a Generation Approach for Low-resource
Tagging Tasks [88.62288327934499]
線形化ラベル付き文に基づいて訓練された言語モデルを用いた新しい拡張手法を提案する。
本手法は, 教師付き設定と半教師付き設定の両方に適用可能である。
論文 参考訳（メタデータ） (2020-11-03T07:49:15Z) - Global Context-Aware Progressive Aggregation Network for Salient Object
Detection [117.943116761278]
我々は,低レベルな外観特徴,高レベルな意味特徴,グローバルな文脈特徴を統合化するための新しいネットワークGCPANetを提案する。
提案手法は, 定量的かつ定性的に, 最先端の手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2020-03-02T04:26:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。