論文の概要: SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework
- arxiv url: http://arxiv.org/abs/2607.00274v1
- Date: Tue, 30 Jun 2026 23:48:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.663614
- Title: SEFORA: Student Essays with Feedback Corpus and LLM Feedback Evaluation Framework
- Title（参考訳）: SEFORA:フィードバックコーパスとLLMフィードバック評価フレームワークを用いた学生評価
- Abstract要約: SEFORAは公開コーパスペアインストラクターのインラインフィードバックであり、アサインプロンプト、ルーリック、スコア、マルチドラフトリビジョンを備えている。
UniMatchは、オープン・エンド・ジェネレーションのための参照ベースの評価フレームワークである。
フィードバックをフィードバック単位に分割し、インストラクター由来の基準の下で意味対応をスコアし、最適なマッチングによってそれらを調整し、解釈可能な精度、リコール、F1を得る。
- 参考スコア（独自算出の注目度）: 2.7531308685466183
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Effective writing feedback is among the strongest drivers of student learning, yet producing it at scale is labor-intensive. LLMs offer a natural path to scaling writing support, but two gaps stand in the way: few public corpora capture how instructors actually deliver feedback in real classrooms, and no reliable method measures whether generated feedback aligns with what an instructor would write. We address both. SEFORA is a public corpus pairing instructor inline feedback with assignment prompts, rubrics, scores, and multi-draft revisions across various college writing genres, comprising 564 drafts and 8,240 instructor annotations. UniMatch is a reference-based evaluation framework for open-ended generation: it segments feedback into feedback units, scores their semantic correspondence under instructor-derived criteria, and aligns them via optimal matching to yield interpretable precision, recall, and F1. Across 74 experimental configurations spanning multiple LLMs, no setting exceeds 0.4 F1. UniMatch reveals that models struggle to identify the feedback instructors would prioritize, and performance degrades as models generate more.
- Abstract（参考訳）: 効果的な文章のフィードバックは、学生の学習の最も強力な原動力のひとつですが、大規模にそれを生産することは、労働集約的です。
LLMは、書き込みサポートのスケーリングに自然な道筋を提供するが、2つのギャップがある: インストラクターが実際の教室で実際にフィードバックを提供する方法をキャプチャする公共コーパスはほとんどなく、また、生成されたフィードバックがインストラクターが書くものと一致しているかどうかの信頼性の高い測定方法がない。
私たちは両方に対処します。
SEFORAは564のドラフトと8,240のインストラクターアノテーションを含む、様々な大学の執筆ジャンルにおける課題のプロンプト、ルーリック、スコア、複数ドラフトの改訂を含む、パブリックコーパスペアインストラクターのインラインフィードバックである。
UniMatchは、フィードバックをフィードバック単位に分割し、インストラクター由来の基準で意味的対応をスコアし、最適なマッチングによってそれらを調整し、解釈可能な精度、リコール、F1を得る、オープンエンド生成のための参照ベースの評価フレームワークである。
複数のLSMにまたがる74の実験的な構成は0.4 F1を超えない。
UniMatchは、モデルがインストラクターが優先するフィードバックの特定に苦労していることを明らかにし、モデルがより多くを生成するにつれてパフォーマンスが低下する。
関連論文リスト
- Generating Constructive Feedback on Stories via Reinforcement Learning [17.493071928687993]
構成的フィードバックは、創造的な作家がストーリーテリング能力を洗練させることに不可欠である。
人間の専門家からのフィードバックは費用がかかり時間もかかることが多いため、大規模言語モデル(LLM)はスケーラブルで効率的な代替手段を提供する。
提案手法は,LLMを操り,地道フィードバックを必要とせずに建設的フィードバックを生成するための強化学習手法である。
論文 参考訳（メタデータ） (2026-09-04T07:26:23Z) - Identifying Quality Indicators in Student Self-Reflections in Software Engineering [4.435094091999926]
本研究は,ソフトウェア工学における学生のリフレクションを評価するための8指標スキームを作成するために,リフレクティブ・ライティング・フレームワークを構築した。
さらに,本研究では,フレームワークに対するリフレクション評価のための自動分類器を検証する。
論文 参考訳（メタデータ） (2026-06-21T21:52:00Z) - FOXGLOVE: Understanding Goal-Oriented and Anchored Writing Feedback from Experts and LLMs on Argumentative Essays [21.90557945161922]
FOXGLOVE(FOXGLOVE)は,69級の論論エッセイにおいて,教官による696件のフィードバックコメントのデータセットである。
インストラクターとLLMは、目標やエッセイの位置にも同様にフィードバックを分配するが、インストラクターとモデルはフィードバックを提供する特定の文に基づいて分散する。
論文 参考訳（メタデータ） (2026-06-04T15:13:25Z) - Simulating Students or Sycophantic Problem Solving? On Misconception Faithfulness of LLM Simulators [55.617099475539305]
大規模言語モデル(LLM)は、生徒のような反応を流線型に生成できるため、AI教師や人間教育者のトレーニングや評価のための模擬学生として魅力的である。
しかし、このようなシミュレータは、実際の学生と出力の類似性によって評価され、相互作用中に一貫性のある誤解を持つ学生のように振る舞うかどうかによって評価される。
シミュレーションが誤解駆動の信念状態を維持しているかどうかを判断し、フィードバックが誤解に対処した場合に選択的に更新する。
論文 参考訳（メタデータ） (2026-05-12T20:55:23Z) - A Systematic Study of Pseudo-Relevance Feedback with LLMs [49.53124785319461]
大規模言語モデル(LLM)上に構築された擬似関連フィードバック(PRF)は、2つの重要な設計次元に沿って構成できる。
制御実験により,フィードバック源の選択とフィードバックモデルの選択がPRFの有効性に与える影響について検討した。
論文 参考訳（メタデータ） (2026-03-11T17:31:50Z) - Expanding the Capabilities of Reinforcement Learning via Text Feedback [49.561885700139676]
テキストフィードバックをトレーニング中に利用できるが、推論では利用できないマルチターンRLセットアップであるテキストフィードバック(RLTF)を形式化する。
そこで本研究では, 自己蒸留法(RLTF-SD)と, フィードバック条件付き第2ターン世代に適合するように単一ターンポリシーを訓練するフィードバックモデリング法(RLTF-FM)の2つの手法を提案する。
以上の結果から,両手法はベンチマークにおいて強いベースラインを一貫して上回っていることが明らかとなった。
論文 参考訳（メタデータ） (2026-02-02T18:56:56Z) - Exposía: Academic Writing Assessment of Exposés and Peer Feedback [56.428320613219306]
高等教育における文章とフィードバックアセスメントを結びつける最初の公開データセットであるExposaを提示する。
我々はExposaを使って,(1)提案の自動スコアリング,(2)学生レビューの2つのタスクに対して,最先端のオープンソース大言語モデル(LLM)をベンチマークする。
論文 参考訳（メタデータ） (2026-01-10T11:33:26Z) - Scaling Equitable Reflection Assessment in Education via Large Language Models and Role-Based Feedback Agents [2.825140278227664]
形式的フィードバックは、学生学習の最も効果的な要因の1つである。
大規模または低リソースのコースでは、インストラクターは学生のリフレクションのレビューや応答に必要な時間、スタッフ、帯域幅を欠いていることが多い。
本稿では,5つの協調型ロールベースLLMエージェントを用いて学習者の反射をスコアリングする理論基底システムを提案する。
論文 参考訳（メタデータ） (2025-11-14T09:46:21Z) - Help Me Write a Story: Evaluating LLMs' Ability to Generate Writing Feedback [57.200668979963694]
我々は1,300のストーリーからなる新しいテストセットを提示し、故意に執筆問題を紹介した。
本研究では,この作業においてよく用いられるLCMの性能を,自動評価と人的評価の両方を用いて検討する。
論文 参考訳（メタデータ） (2025-07-21T18:56:50Z) - Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - LLM-as-a-tutor in EFL Writing Education: Focusing on Evaluation of Student-LLM Interaction [40.76665188171691]
LLM-as-a-tutorは、英語を外国語(EFL)として書く場合、エッセイにリアルタイムでフィードバックを提供することで、学生を支援することができる。
このギャップを埋めるために、学生とLLMの相互作用を評価する教育原則を統合する。
論文 参考訳（メタデータ） (2023-10-08T15:00:04Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。