論文の概要: Evaluating Feedback Focus and Pedagogical Adaptivity in LLM-Generated Feedback on Student Writing

• arxiv url: http://arxiv.org/abs/2609.28026v1
• Date: Wed, 23 Sep 2026 12:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 00:05:18.020164
• Title: Evaluating Feedback Focus and Pedagogical Adaptivity in LLM-Generated Feedback on Student Writing
• Title（参考訳）: LLMによる学生書字フィードバックにおけるフィードバック焦点と教育適応性の評価
• Abstract要約: 本研究では,現在最先端の大規模言語モデルが,専門家の教育実践を反映したフィードバックを,フィードバックの焦点と適応性の観点から生成するかどうかを検討する。 我々は,Narcissの分類学を7つのフィードバック焦点タイプに分類し,教師に注釈を付け,LLMが生成するフィードバックを3つの大学書記コースに分けて導入する。 本研究は,LLMが学生のパフォーマンスレベルやドラフトステージに適応するかどうかを専門家のインストラクターが行なっているように,フィードバックフォーカスタイプのカバレッジと分布を評価した。
• 参考スコア（独自算出の注目度）: 2.8515158137991805
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate whether state-of-the-art large language models (LLMs) generate feedback that reflects the pedagogical practices of expert teachers in terms of feedback focus and adaptivity. Previous evaluation efforts have examined feedback characteristics, its impact on learning, and its target, yet the focus of feedback and its adaptivity remains largely overlooked. To bridge this gap, we adopt and refine Narciss's taxonomy into seven feedback focus types to annotate teacher and LLM-generated feedback across three university writing courses. We release FeedType, a benchmark containing annotated teacher and LLM feedback from six LLMs under three prompting strategies. We assess the coverage and distribution of feedback focus types, and examine whether LLMs adapt their feedback across draft stages and student performance levels as an expert instructor does. Our findings show that while most LLMs cover most feedback focus types, they fail to reflect teacher feedback distributions and show varying levels of adaptivity, with none matching the teachers' adaptive behavior. We believe FeedType will support future research on pedagogical alignment in LLM feedback generation.
• Abstract（参考訳）: 本研究では,現状の大規模言語モデル(LLM)が,専門教員の教育実践を反映したフィードバックを,フィードバックの焦点と適応性の観点から生成するかどうかを検討する。 これまでの評価努力では、フィードバックの特性、学習への影響、目標について検討されてきたが、フィードバックの焦点と適応性はほとんど見過ごされてはいない。 このギャップを埋めるために、我々はナルシスの分類学を7つのフィードバック焦点タイプに洗練し、教師とLCMが生成するフィードバックを3つの大学書記コースで注釈付けする。 アノテーション付き教師とLLMフィードバックを含むベンチマークであるFeedTypeを,3つのプロンプト戦略の下でリリースする。 本研究は, フィードバックフォーカスタイプのカバーと分布を評価し, 専門家が行うように, LLMがドラフトステージや学生のパフォーマンスレベルにわたって, フィードバックに適応するかどうかを検討する。 その結果,ほとんどのLLMは,ほとんどのフィードバックフォーカスタイプをカバーしているが,教師のフィードバックの分布を反映できず,適応性のレベルも様々であり,教師の適応行動と一致しないことがわかった。 われわれはFeedTypeがLLMフィードバック生成における教育的アライメントの今後の研究を支援すると信じている。

関連論文リスト

• Consistently Good vs. Occasionally Great: A Rubric for Open-Ended Feedback Quality from Humans and Machines [3.4020399898813145]
  イントロダクティブプログラミングにおけるオープンエンドの短解問題に対するフィードバックに焦点をあてる。 我々は,フィードバックの質を評価するために,教育文献を基盤とした5基準ルーブリックを開発した。
  論文  参考訳（メタデータ） (2026-08-22T08:48:53Z)
• Exposía: Academic Writing Assessment of Exposés and Peer Feedback [56.428320613219306]
  高等教育における文章とフィードバックアセスメントを結びつける最初の公開データセットであるExposaを提示する。 我々はExposaを使って,(1)提案の自動スコアリング,(2)学生レビューの2つのタスクに対して,最先端のオープンソース大言語モデル(LLM)をベンチマークする。
  論文  参考訳（メタデータ） (2026-01-10T11:33:26Z)
• Personalized and Constructive Feedback for Computer Science Students Using the Large Language Model (LLM) [0.8409304328108455]
  本稿では,学生評価における言語モデル(LLM)の性能について,事前に定義されたルーリックとマーキング基準を用いて検討する。 我々は,既存のLCMによるマーキングアセスメント,追跡,評価(LLM-MATE)の力を活用して,学生の学習を促進することを目的としている。
  論文  参考訳（メタデータ） (2025-10-13T15:59:30Z)
• Partnering with AI: A Pedagogical Feedback System for LLM Integration into Programming Education [21.37197118335639]
  本稿では,大規模言語モデル(LLM)によるフィードバック生成のための新しいフレームワークを提案する。 本研究は, 教員が枠組みに整合すると, LLMが学生を効果的に支援できると考えていることを示唆する。 しかし、動的な教室環境にフィードバックを適応できないなど、いくつかの制限があった。
  論文  参考訳（メタデータ） (2025-07-01T03:48:48Z)
• Large Language Model as an Assignment Evaluator: Insights, Feedback, and Challenges in a 1000+ Student Course [49.296957552006226]
  大規模言語モデル(LLM)を自動評価に用いることは,NLP研究において重要な評価手法となっている。 本報告では,1028人の大学生を対象に,GPT-4を自動課題評価装置として利用する方法について述べる。
  論文  参考訳（メタデータ） (2024-07-07T00:17:24Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。