論文の概要: Grade Guard: A Smart System for Short Answer Automated Grading
- arxiv url: http://arxiv.org/abs/2504.01253v1
- Date: Tue, 01 Apr 2025 23:45:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-03 19:59:19.197088
- Title: Grade Guard: A Smart System for Short Answer Automated Grading
- Title（参考訳）: Grade Guard: 短解像自動表示のためのスマートシステム
- Authors: Niharika Dadu, Harsh Vardhan Singh, Romi Banerjee,
- Abstract要約: グレードガードは、ニュアンスまたは部分的に正しい回答を評価するためのフレームワークである。
Indecisiveness Score (IS) を計算し、予測されたグレードの不確かさを反映する。
また、最適化されたIndecisiveness Score(IS)を生成し、精度を高めるためにグレードの合理性を生成する。
- 参考スコア（独自算出の注目度）: 0.9558392439655016
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The advent of large language models (LLMs) in the education sector has provided impetus to automate grading short answer questions. LLMs make evaluating short answers very efficient, thus addressing issues like staff shortage. However, in the task of Automated Short Answer Grading (ASAG), LLM responses are influenced by diverse perspectives in their training dataset, leading to inaccuracies in evaluating nuanced or partially correct answers. To address this challenge, we propose a novel framework, Grade Guard. 1. To enhance the task-based specialization of the LLMs, the temperature parameter has been fine-tuned using Root Mean Square Error (RMSE). 2. Unlike traditional approaches, LLMs in Grade Guard compute an Indecisiveness Score (IS) along with the grade to reflect uncertainty in predicted grades. 3. Introduced Confidence-Aware Loss (CAL) to generate an optimized Indecisiveness Score (IS). 4. To improve reliability, self-reflection based on the optimized IS has been introduced into the framework, enabling human re-evaluation to minimize incorrect grade assignments. Our experimentation shows that the best setting of Grade Guard outperforms traditional methods by 19.16% RMSE in Upstage Solar Pro, 23.64% RMSE in Upstage Solar Mini, 4.00% RMSE in Gemini 1.5 Flash, and 10.20% RMSE in GPT 4-o Mini. Future work includes improving interpretability by generating rationales for grades to enhance accuracy. Expanding benchmark datasets and annotating them with domain-specific nuances will enhance grading accuracy. Finally, analyzing feedback to enhance confidence in predicted grades, reduce biases, optimize grading criteria, and personalize learning while supporting multilingual grading systems will make the solution more accurate, adaptable, fair, and inclusive.
- Abstract（参考訳）: 教育分野における大規模言語モデル(LLM)の出現は、段階的な短い回答の質問を自動化するための衝動を与えてきた。
LLMは短い回答を非常に効率的に評価し、スタッフ不足のような問題に対処します。
しかし、ASAG(Automated Short Answer Grading)のタスクでは、LLM応答はトレーニングデータセットのさまざまな視点の影響を受け、ニュアンスや部分的に正しい回答を評価するのに不正確である。
この課題に対処するために,我々は新しい枠組みであるグレードガードを提案する。
1. LLMのタスクベース特殊化を強化するため,Root Mean Square Error (RMSE)を用いて温度パラメータを微調整した。
2) 従来のアプローチとは異なり, グレードガードのLLMは不確定性スコア(Indecisiveness Score, IS)を計算し, 予測等級の不確かさを反映している。
3. 信頼認識損失(CAL)を導入し、最適化された不決定性スコア(IS)を生成する。
4. 信頼性向上のため, 最適化ISに基づく自己回帰がフレームワークに導入され, 人間の再評価による不正な等級割り当ての最小化が可能となった。
我々の実験により、グレードガードの最適設定は、アップステージソーラープロで19.16%のRMSE、アップステージソーラーミニで23.64%のRMSE、ジェミニ1.5フラッシュで4.00%のRMSE、GPT 4-oミニで10.20%のRMSEで従来の手法よりも優れていた。
今後の作業には、精度を高めるためにグレードの合理性を生成することによって、解釈可能性を改善することが含まれる。
ベンチマークデータセットを拡張し、ドメイン固有のニュアンスでアノテートすることで、グレーディング精度が向上する。
最後に、フィードバックを分析して予測グレードの信頼性を高め、バイアスを低減し、グレーディング基準を最適化し、学習をパーソナライズし、マルチリンガルグレーディングシステムをサポートしながら、ソリューションをより正確、適応可能、公平、包括的にする。
関連論文リスト
- Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models [69.68265487134686]
Video SimpleQAは、LVLMの事実性評価に適した最初の総合的なベンチマークである。
私たちの研究は、以下の重要な機能を通じて、既存のビデオベンチマークと区別します。
答えは、簡潔なフォーマットで曖昧で決定的に正しいものとして作成されます。
論文 参考訳（メタデータ） (2025-03-24T17:46:09Z) - PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
大きな言語モデル(LLM)は予測不能に失敗することが多い。
これは、安全なデプロイメントを保証する上で、大きな課題となる。
PredictaBoardは,新しいベンチマークフレームワークである。
論文 参考訳（メタデータ） (2025-02-20T10:52:38Z) - Language Models are Few-Shot Graders [0.12289361708127876]
我々は最先端のLCMを利用したASAGパイプラインを提案する。
GPT-4、GPT-4o、o1-previewの3つのOpenAIモデルのグレーディング性能を比較した。
以上の結果より,RAGによる選択はランダム選択よりも優れており,グレードドドサンプルを提供することでグレーディング精度が向上することが示唆された。
論文 参考訳（メタデータ） (2025-02-18T23:38:21Z) - Training an LLM-as-a-Judge Model: Pipeline, Insights, and Practical Lessons [9.954960702259918]
本稿では,文脈認識評価を行うLLM(en:en:en:en:en:en:en:en:LLMs)ジャッジであるThemisを紹介する。
Themisの開発パイプラインの概要を概観し、シナリオに依存した評価プロンプトを強調します。
メタ評価のための人間ラベル付きベンチマークを2つ導入し、テミスが人間の嗜好を経済的に高度に調整できることを実証した。
論文 参考訳（メタデータ） (2025-02-05T08:35:55Z) - Protecting Privacy Through Approximating Optimal Parameters for Sequence Unlearning in Language Models [37.172662930947446]
言語モデル(LM)は、重大なプライバシーリスクを示す抽出攻撃に対して潜在的に脆弱である。
本稿では,事前学習したLMからターゲットトークンシーケンスを効果的に忘れる新しい未学習手法である,最適パラメータによるプライバシ保護(POP)を提案する。
POPは、9つの分類と4つのダイアログベンチマークにまたがって、保留後の顕著なパフォーマンスを示し、最先端を大きなマージンで上回っている。
論文 参考訳（メタデータ） (2024-06-20T08:12:49Z) - TeLeS: Temporal Lexeme Similarity Score to Estimate Confidence in
End-to-End ASR [1.8477401359673709]
クラス確率に基づく信頼スコアは、自信過剰なASR予測の品質を正確に表すものではない。
信頼度推定モデル(CEM)を訓練するためのTeLeS(Temporal-Lexeme similarity)の信頼性スコアを提案する。
我々は、ヒンディー語、タミル語、カナダ語という3つの言語で訓練されたASRモデルを用いて、様々なトレーニングデータサイズで実験を行う。
論文 参考訳（メタデータ） (2024-01-06T16:29:13Z) - Self-Evaluation Improves Selective Generation in Large Language Models [54.003992911447696]
オープンエンド生成タスクをトークンレベルの予測タスクに再構成する。
我々はLSMに答えを自己評価するように指示する。
自己評価に基づくスコアリング手法をベンチマークする。
論文 参考訳（メタデータ） (2023-12-14T19:09:22Z) - Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。
提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。
実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
論文 参考訳（メタデータ） (2023-11-20T11:56:25Z) - Augmenting Unsupervised Reinforcement Learning with Self-Reference [63.68018737038331]
人間は、新しいタスクを学ぶ際に、過去の経験を明確に表現する能力を持っている。
本稿では,歴史情報を活用するためのアドオンモジュールとして,自己参照(SR)アプローチを提案する。
提案手法は,非教師付き強化学習ベンチマークにおけるIQM(Interquartile Mean)性能と最適ギャップ削減の両面から,最先端の成果を実現する。
論文 参考訳（メタデータ） (2023-11-16T09:07:34Z) - Adaptation with Self-Evaluation to Improve Selective Prediction in LLMs [56.526095828316386]
大規模言語モデル(LLM)の選択予測性能を改善するために,自己評価による適応のための新しいフレームワークを提案する。
提案手法は,様々な質問応答(QA)データセット上で評価し,最先端の選択的予測手法よりも優れていることを示す。
論文 参考訳（メタデータ） (2023-10-18T03:34:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。