論文の概要: SAS-Bench: A Fine-Grained Benchmark for Evaluating Short Answer Scoring with Large Language Models

• arxiv url: http://arxiv.org/abs/2505.07247v1
• Date: Mon, 12 May 2025 05:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-13 20:21:49.267887
• Title: SAS-Bench: A Fine-Grained Benchmark for Evaluating Short Answer Scoring with Large Language Models
• Title（参考訳）: SAS-Bench: 大規模言語モデルによる短問合せ評価のための細粒度ベンチマーク
• Authors: Peichao Lai, Kexuan Zhang, Yi Lin, Linyihan Zhang, Feiyang Ye, Jinhao Yan, Yanwei Xu, Conghui He, Yilei Wang, Wentao Zhang, Bin Cui,
• Abstract要約: SAS-Benchは、大規模言語モデル(LLM)ベースのショートアンサースコーリングタスクのベンチマークである。 詳細な、段階的なスコアリング、専門家による注釈付きエラーカテゴリ、さまざまな質問タイプを提供する。 また,1030の質問と4,109人の学生回答を含むオープンソースデータセットも公開しています。
• 参考スコア（独自算出の注目度）: 36.10798324093408
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Subjective Answer Grading (SAG) plays a crucial role in education, standardized testing, and automated assessment systems, particularly for evaluating short-form responses in Short Answer Scoring (SAS). However, existing approaches often produce coarse-grained scores and lack detailed reasoning. Although large language models (LLMs) have demonstrated potential as zero-shot evaluators, they remain susceptible to bias, inconsistencies with human judgment, and limited transparency in scoring decisions. To overcome these limitations, we introduce SAS-Bench, a benchmark specifically designed for LLM-based SAS tasks. SAS-Bench provides fine-grained, step-wise scoring, expert-annotated error categories, and a diverse range of question types derived from real-world subject-specific exams. This benchmark facilitates detailed evaluation of model reasoning processes and explainability. We also release an open-source dataset containing 1,030 questions and 4,109 student responses, each annotated by domain experts. Furthermore, we conduct comprehensive experiments with various LLMs, identifying major challenges in scoring science-related questions and highlighting the effectiveness of few-shot prompting in improving scoring accuracy. Our work offers valuable insights into the development of more robust, fair, and educationally meaningful LLM-based evaluation systems.
• Abstract（参考訳）: 主観的Answer Grading (SAG) は, 教育, 標準化テスト, 自動評価システムにおいて重要な役割を担っている。 しかし、既存のアプローチはしばしば粗い粒度のスコアを生成し、詳細な推論を欠いている。 大型言語モデル(LLM)はゼロショット評価器としての可能性を示しているが、偏見、人間の判断の不整合、意思決定における透明性の制限などの影響を受けやすいままである。 これらの制約を克服するために,LSM ベースの SAS タスクに特化して設計されたベンチマーク SAS-Bench を導入する。 SAS-Benchは、精細で段階的なスコアリング、専門家による注釈付きエラーカテゴリ、および現実世界の被験者固有の試験から派生した様々な質問タイプを提供する。 このベンチマークは、モデル推論プロセスと説明可能性の詳細な評価を容易にする。 また,1030の質問と4,109人の学生回答を含むオープンソースデータセットも公開しています。 さらに,様々なLSMを用いて総合的な実験を行い,科学関連質問のスコアリングにおける大きな課題を特定し,スコアリング精度を向上させる上でのショットプロンプトの有効性を強調した。 我々の研究は、より堅牢で公正で、教育的に意味のあるLLMベースの評価システムの開発に関する貴重な洞察を提供する。

関連論文リスト

• Meta-Evaluating Local LLMs: Rethinking Performance Metrics for Serious Games [3.725822359130832]
  大規模言語モデル (LLMs) は、真剣なゲームにおける評価指標としてますます研究されている。 本研究では,エネルギーコミュニティにおける意思決定をシミュレートするゲームであるtextitEn-join において,5つの小規模 LLM の信頼性について検討した。 その結果、各モデルの長所と短所を強調し、感度、特異性、全体的なパフォーマンスのトレードオフを明らかにした。
  論文  参考訳（メタデータ） (2025-04-13T10:46:13Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)を評価するために最も広く使われているタスクの1つは、Multiple-Choice Question Answering (MCQA)である。 本研究は,MCQA評価戦略の不整合を軽視し,不正確かつ誤ったモデル比較に繋がる可能性がある。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• Beyond the Singular: The Essential Role of Multiple Generations in Effective Benchmark Evaluation and Analysis [10.133537818749291]
  大規模言語モデル(LLM)は、現実世界のアプリケーションにおいて重要なユーティリティを実証している。 LLMの能力を評価するにはベンチマーク評価が不可欠である。
  論文  参考訳（メタデータ） (2025-02-13T03:43:33Z)
• EQUATOR: A Deterministic Framework for Evaluating LLM Reasoning with Open-Ended Questions. # v1.0.0-beta [2.1249213103048414]
  本研究では,決定論的スコアと実測精度とロバストな推論評価に着目したEQUATOR評価器を提案する。 ベクトルデータベースを使用して、EQUATORは人間の評価された回答とオープンエンドの質問をペアリングし、より正確でスケーラブルな評価を可能にする。 この枠組みは,高精度な基準を維持しつつ,従来のマルチ選択評価を著しく上回っていることを示す。
  論文  参考訳（メタデータ） (2024-12-31T03:56:17Z)
• The BiGGen Bench: A Principled Benchmark for Fine-grained Evaluation of Language Models with Language Models [94.31327813151208]
  BiGGen Benchは、77のタスクにわたるLMの9つの異なる能力を徹底的に評価するために設計された、原則化された世代ベンチマークである。 BiGGen Benchの重要な特徴は、インスタンス固有の評価基準の使用であり、人間の評価のニュアンスな識別を忠実に反映している。
  論文  参考訳（メタデータ） (2024-06-09T12:30:30Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Get It Scored Using AutoSAS -- An Automated System for Scoring Short Answers [63.835172924290326]
  SAS(Automatic Short Answer Scoring)への高速でスケーラブルで正確なアプローチを提示します。 SASのためのシステム、すなわちAutoSASの設計と開発を提案し、説明します。 AutoSASは最先端のパフォーマンスを示し、いくつかの質問のプロンプトで8%以上良い結果が得られる。
  論文  参考訳（メタデータ） (2020-12-21T10:47:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。