論文の概要: Consistently Good vs. Occasionally Great: A Rubric for Open-Ended Feedback Quality from Humans and Machines

• arxiv url: http://arxiv.org/abs/2608.21850v1
• Date: Sat, 22 Aug 2026 08:48:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.493247
• Title: Consistently Good vs. Occasionally Great: A Rubric for Open-Ended Feedback Quality from Humans and Machines
• Title（参考訳）: 一貫して良い対時折素晴らしい:人間と機械によるオープンエンドフィードバック品質の反響
• Abstract要約: イントロダクティブプログラミングにおけるオープンエンドの短解問題に対するフィードバックに焦点をあてる。 我々は,フィードバックの質を評価するために,教育文献を基盤とした5基準ルーブリックを開発した。
• 参考スコア（独自算出の注目度）: 3.4020399898813145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Providing high-quality feedback on student work is essential for learning, yet delivering such feedback at scale remains challenging. In this paper, we focus on feedback for open-ended short answer questions in introductory programming, with the goal of nudging students toward success on reattempts without revealing the correct answer. We develop a five-criteria rubric grounded in educational literature for evaluating feedback quality: (1) acknowledging correct portions of the student answer, (2) identifying at least one flaw (if present), (3) providing actionable guidance for improvement, (4) maintaining appropriate concealment of the answer, and (5) using an appropriate conversational tone. Using this rubric, we compare feedback generated by a frontier LLM (OpenAI o1) to feedback from nine teaching assistants across 90 student responses, with three researchers and an LLM independently scoring all feedback. Our results show that while one TA often produced the best feedback, the LLM demonstrated consistently higher average performance than TAs, as evaluated by humans. However, we also uncover significant self-preference bias when using LLMs to evaluate feedback quality: the LLM systematically rated its own outputs higher than human experts did. This bias, which research suggests persists even in cross-model evaluation, raises important methodological concerns for researchers employing LLM-based evaluation. We provide detailed characterization of both TA and LLM performance, analyze sources of variance in TA feedback quality, and discuss implications for deploying LLM-generated feedback in educational settings.
• Abstract（参考訳）: 学生労働に高品質なフィードバックを提供することは学習に不可欠であるが、そのようなフィードバックを大規模に提供することは依然として困難である。 本稿では,導入プログラミングにおけるオープンエンドの短解問題に対するフィードバックに着目し,学生に正しい解答を提示することなく再試行を成功させるという目標を掲げる。 本研究は,(1)学生の回答の正しい部分を認識すること,(2)少なくとも1つの欠陥を識別すること,(3)改善のための実行可能なガイダンスを提供すること,(4)適切な回答の隠蔽を維持すること,(5)適切な会話音を使用すること,の5つの基準を基礎として,フィードバックの質を評価するための5つの基準のルーリックを開発する。 このルーリックを用いて,フロンティア LLM (OpenAI o1) が生成したフィードバックと,90名の学生の回答を対象とする9人の教職員からのフィードバックとを比較し,3人の研究者と1人のLLMが独立してすべてのフィードバックを評価した。 その結果,1つのTAが最高のフィードバックを得られることが多かったが,LLMはTAよりも常に高い平均性能を示した。 しかし,LLMを用いてフィードバックの質を評価する際にも,自己選好バイアスが顕著であることが判明した: LLMは,人間の専門家よりも,自らのアウトプットを体系的に評価した。 このバイアスは, クロスモデル評価においても持続することが示唆され, LLMに基づく評価を用いた研究者にとって重要な方法論的懸念を提起する。 TAとLLMの性能を詳細に評価し、TAのフィードバック品質のばらつきを解析し、LLM生成したフィードバックを教育環境に展開する上での意義について議論する。

関連論文リスト

• LLM-as-a-Coach: Experiential Learning for Non-Verifiable Tasks [89.13372484640392]
  LLM-as-a-JudgeからLLM-as-a-Coachへのフィードバックモデルを再利用した経験的学習(EL)を提案する。 ELは、保持された未確認のオープンエンドタスクにおいて、ルブリックベースのRLを一貫して上回る。 これらの知見は、検証不可能なタスクのポストトレーニングにおいて、より豊かでより一般化可能な学習信号として経験的知識を確立した。
  論文  参考訳（メタデータ） (2026-07-20T16:08:49Z)
• A Systematic Study of Pseudo-Relevance Feedback with LLMs [49.53124785319461]
  大規模言語モデル(LLM)上に構築された擬似関連フィードバック(PRF)は、2つの重要な設計次元に沿って構成できる。 制御実験により,フィードバック源の選択とフィードバックモデルの選択がPRFの有効性に与える影響について検討した。
  論文  参考訳（メタデータ） (2026-03-11T17:31:50Z)
• FeedEval: Pedagogically Aligned Evaluation of LLM-Generated Essay Feedback [6.88204255655161]
  本稿では,LLM生成エッセイフィードバックを評価するためのフレームワークFeedEvalを提案する。 ASAP++ベンチマークの実験では、FeedEvalは人間の専門家による判断と密接に一致しており、FeedEvalでフィルタされた高品質なフィードバックでトレーニングされたモデルを評価するエッセイは、優れたスコアリング性能を実現している。
  論文  参考訳（メタデータ） (2026-01-08T04:04:29Z)
• Dean of LLM Tutors: Exploring Comprehensive and Automated Evaluation of LLM-generated Educational Feedback via LLM Feedback Evaluators [5.838566576554449]
  LLM フィードバック評価器を用いて,LLM チュータが生成したフィードバックを自動的に,包括的に評価する手法を提案する。 これにより、低品質なフィードバックを拒否することができ、LLMチューターが評価結果に基づいて生成されたフィードバックを改善することができる。 その結果,o3-proはフィードバックのゼロショットラベリングにおいて最高の性能を示し,o4-miniは数ショットラベリングにおいて最高の性能を示した。
  論文  参考訳（メタデータ） (2025-08-08T02:36:23Z)
• DeepCritic: Deliberate Critique with Large Language Models [77.5516314477878]
  我々は,Large Language Models(LLMs)の数学批判能力の研究と向上に焦点をあてる。 Qwen2.5-7B-Instructをベースとした批判モデルを開発した。
  論文  参考訳（メタデータ） (2025-05-01T17:03:17Z)
• Pairwise or Pointwise? Evaluating Feedback Protocols for Bias in LLM-Based Evaluation [57.380464382910375]
  評価のためのフィードバックプロトコルの選択は,評価信頼性に大きく影響し,系統的なバイアスを生じさせることを示す。 ジェネレータモデルは、気を散らす機能を埋め込むことで好みをひっくり返すことができる。 我々は,データセットの特徴と評価目標に基づくフィードバックプロトコルの選択を推奨する。
  論文  参考訳（メタデータ） (2025-04-20T19:05:59Z)
• Zero-Shot LLMs in Human-in-the-Loop RL: Replacing Human Feedback for Reward Shaping [2.427844597259453]
  強化学習(Reinforcement Learning, RL)は、しばしば報酬のミスアライメントに苦しむ。 HITL(Human-in-the-loop)メソッドはこの問題を緩和するが、バイアスも導入する。 これらの課題に対処するための2つの重要な貢献を提案する。
  論文  参考訳（メタデータ） (2025-03-26T03:17:12Z)
• Video SimpleQA: Towards Factuality Evaluation in Large Video Language Models [77.96693360763925]
  Video SimpleQAは、ビデオコンテキストにおける事実性評価に適した最初の包括的なベンチマークである。 我々の研究は、既存のビデオベンチマークとは以下の重要な特徴によって異なる: 知識: ビデオの明示的な物語を超えた外部知識の統合を要求する。 短い形式の決定的な答え: 回答は、最小のスコアリング分散を持つ短いフォーマットで、曖昧で決定的に正しいものとして作成されます。
  論文  参考訳（メタデータ） (2025-03-24T17:46:09Z)
• Towards Adaptive Feedback with AI: Comparing the Feedback Quality of LLMs and Teachers on Experimentation Protocols [8.71931996488953]
  本研究では,大規模言語モデル(LLM)のフィードバック品質を,人間教師や理科教育専門家のフィードバック品質と比較した。 その結果,LLMによるフィードバックは,教師や専門家の全体的な品質に有意な差は認められなかった。
  論文  参考訳（メタデータ） (2025-02-18T13:22:14Z)
• Automated Feedback in Math Education: A Comparative Analysis of LLMs for Open-Ended Responses [0.0]
  本研究では,大規模言語モデル(LLM)が数学教育における自動フィードバックを促進する可能性を探究することを目的とする。 我々は,Llamaの数学版であるMistralを採用し,このモデルを用いて,中学校数学問題に対する生徒の回答と教師によるフィードバックのデータセットを活用することによって,学生の反応を評価する。 2人の教師の判断を生かして,評価精度とフィードバックの質を評価する。
  論文  参考訳（メタデータ） (2024-10-29T16:57:45Z)
• Large Language Model as an Assignment Evaluator: Insights, Feedback, and Challenges in a 1000+ Student Course [49.296957552006226]
  大規模言語モデル(LLM)を自動評価に用いることは,NLP研究において重要な評価手法となっている。 本報告では,1028人の大学生を対象に,GPT-4を自動課題評価装置として利用する方法について述べる。
  論文  参考訳（メタデータ） (2024-07-07T00:17:24Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Can Large Language Models Be an Alternative to Human Evaluations? [80.81532239566992]
  大規模言語モデル(LLM)は、タスク命令のみを提供する場合、目に見えないタスクに対して例外的な性能を示す。 LLM評価の結果は、専門家による評価の結果と一致していることを示す。
  論文  参考訳（メタデータ） (2023-05-03T07:28:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。