論文の概要: Analysis of instruction-based LLMs' capabilities to score and judge text-input problems in an academic setting

• arxiv url: http://arxiv.org/abs/2509.20982v1
• Date: Thu, 25 Sep 2025 10:26:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:12.840666
• Title: Analysis of instruction-based LLMs' capabilities to score and judge text-input problems in an academic setting
• Title（参考訳）: 学習環境におけるテキスト入力問題の評価・判定のための指導型LLMの分析
• Authors: Valeria Ramirez-Garcia, David de-Fitero-Dominguez, Antonio Garcia-Cabot, Eva Garcia-Lopez,
• Abstract要約: LLM(Large Language Model)は、LLM-as-a-JudgeやLLMの微調整といった手法によって研究される評価器として機能する。 本稿では,3つのモデルを持つ高校生のコンピュータ科学に関する110の回答をカスタムデータセットで検証した5つの評価システムを提案する。 平均絶対偏差 (0.945) と最低根平均正方偏差 (1.214) を人的評価と比較すると, 基準支援評価は見識的, 完全評価とともに公正スコアを提供する。
• 参考スコア（独自算出の注目度）: 0.7699714865575188
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) can act as evaluators, a role studied by methods like LLM-as-a-Judge and fine-tuned judging LLMs. In the field of education, LLMs have been studied as assistant tools for students and teachers. Our research investigates LLM-driven automatic evaluation systems for academic Text-Input Problems using rubrics. We propose five evaluation systems that have been tested on a custom dataset of 110 answers about computer science from higher education students with three models: JudgeLM, Llama-3.1-8B and DeepSeek-R1-Distill-Llama-8B. The evaluation systems include: The JudgeLM evaluation, which uses the model's single answer prompt to obtain a score; Reference Aided Evaluation, which uses a correct answer as a guide aside from the original context of the question; No Reference Evaluation, which ommits the reference answer; Additive Evaluation, which uses atomic criteria; and Adaptive Evaluation, which is an evaluation done with generated criteria fitted to each question. All evaluation methods have been compared with the results of a human evaluator. Results show that the best method to automatically evaluate and score Text-Input Problems using LLMs is Reference Aided Evaluation. With the lowest median absolute deviation (0.945) and the lowest root mean square deviation (1.214) when compared to human evaluation, Reference Aided Evaluation offers fair scoring as well as insightful and complete evaluations. Other methods such as Additive and Adaptive Evaluation fail to provide good results in concise answers, No Reference Evaluation lacks information needed to correctly assess questions and JudgeLM Evaluations have not provided good results due to the model's limitations. As a result, we conclude that Artificial Intelligence-driven automatic evaluation systems, aided with proper methodologies, show potential to work as complementary tools to other academic resources.
• Abstract（参考訳）: LLM(Large Language Model)は、LLM-as-a-JudgeやLLMの微調整といった手法によって研究される評価器として機能する。 教育の分野では、LLMは学生や教師の補助ツールとして研究されている。 本研究では,筆跡を用いた学術テキスト入力問題に対するLLM駆動自動評価システムについて検討した。 本稿では,3つのモデルを持つ高校生のコンピュータ科学に関する110の回答をカスタムデータセットで検証した5つの評価システムを提案する。 評価システムには、モデルの単一回答プロンプトを用いてスコアを得る判定LM評価、質問の本来の文脈とは別に正しい回答をガイドとして利用する参照支援評価、参照回答を省略する参照評価、原子基準を使用する付加評価、各質問に適合した生成された基準で行う適応評価が含まれる。 評価手法はすべて、ヒト評価装置の結果と比較された。 その結果, LLMを用いてテキスト入力問題を自動的に評価し, 評価する最善の方法は, 参照支援評価であることがわかった。 最も低い絶対偏差 (0.945) と最低根の平均平方偏差 (1.214) により、基準支援評価は、見識と完全な評価と同様に公平なスコアを提供する。 適応的評価(Adaptive Evaluation)や適応的評価(Adaptive Evaluation)といった他の手法では、簡潔な回答が得られず、参照的評価(No Reference Evaluation)には、質問を正しく評価するために必要な情報が欠けている。 その結果,人工知能による自動評価システムには適切な手法が組み込まれており,他の学術資源と相補的なツールとして機能する可能性が示唆された。

関連論文リスト

• HREF: Human Response-Guided Evaluation of Instruction Following in Language Models [61.273153125847166]
  我々は新しい評価ベンチマークHREF(Human Response-Guided Evaluation of Instruction following)を開発した。 HREFは信頼性の高い評価を提供するだけでなく、個々のタスクのパフォーマンスを強調し、汚染を受けない。 本稿では,評価セットのサイズ,判断モデル,ベースラインモデル,プロンプトテンプレートなど,HREFにおける鍵設計選択の影響について検討する。
  論文  参考訳（メタデータ） (2024-12-20T03:26:47Z)
• An Automatic and Cost-Efficient Peer-Review Framework for Language Generation Evaluation [29.81362106367831]
  既存の評価手法は、しばしば高いコスト、限られたテスト形式、人間の参照の必要性、体系的な評価バイアスに悩まされる。 人間のアノテーションに依存する以前の研究とは対照的に、Auto-PREはそれら固有の特性に基づいて自動的に評価者を選択する。 実験結果から,我々のAuto-PREは最先端の性能を低コストで達成できることが示された。
  論文  参考訳（メタデータ） (2024-10-16T06:06:06Z)
• Evaluating the Evaluator: Measuring LLMs' Adherence to Task Evaluation Instructions [18.93335792080899]
  LLMs-as-a-judgeがAI判断と人間の判断の整合性に与える影響について検討する。 我々は、LLMによる最先端評価で一般的に使用される品質基準の分類を集約し、それを審査員として厳密なモデルベンチマークとして提供する。
  論文  参考訳（メタデータ） (2024-08-16T14:49:35Z)
• Large Language Model as an Assignment Evaluator: Insights, Feedback, and Challenges in a 1000+ Student Course [49.296957552006226]
  大規模言語モデル(LLM)を自動評価に用いることは,NLP研究において重要な評価手法となっている。 本報告では,1028人の大学生を対象に,GPT-4を自動課題評価装置として利用する方法について述べる。
  論文  参考訳（メタデータ） (2024-07-07T00:17:24Z)
• Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
  大規模言語モデル(LLM)は、生成された自然言語の品質を評価するための自動評価器として有望な能力を示した。 LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。 Pairwise-preference Search (PAIRS) は、LLMを用いた不確実性誘導検索に基づくランクアグリゲーション手法で、局所的にペアワイズ比較を行い、グローバルに候補テキストを効率よくランク付けする。
  論文  参考訳（メタデータ） (2024-03-25T17:11:28Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Style Over Substance: Evaluation Biases for Large Language Models [17.13064447978519]
  本研究では,大規模言語モデル(LLM)とともに,クラウドソースおよびエキスパートアノテータの挙動について検討する。 この結果から, 事実的誤りに対する回答は, 短すぎる, 文法的誤りを含む回答よりも好意的に評価され, 評価過程の偏りが示唆された。 評価面を1つのスコアにマージするのではなく,複数の次元にまたがるマシン生成テキストを独立に評価することを提案する。
  論文  参考訳（メタデータ） (2023-07-06T14:42:01Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。