論文の概要: eRevise+RF: A Writing Evaluation System for Assessing Student Essay Revisions and Providing Formative Feedback
- arxiv url: http://arxiv.org/abs/2501.00715v1
- Date: Wed, 01 Jan 2025 03:49:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-01-05 17:16:52.611660
- Title: eRevise+RF: A Writing Evaluation System for Assessing Student Essay Revisions and Providing Formative Feedback
- Title（参考訳）: eRevise+RF: 学生評価評価と形式的フィードバック提供のための文章評価システム
- Authors: Zhexiong Liu, Diane Litman, Elaine Wang, Tianwen Li, Mason Gobat, Lindsay Clare Matsumura, Richard Correnti,
- Abstract要約: eRevise+RFは、学生エッセイのリビジョンを評価し、リビジョンフィードバックを提供するための拡張されたAWEシステムである。
ペンシルベニアとルイジアナの3校に6人の教師と406人の学生を配置した。
その結果,(1)エッセイのエッセイのエビデンス評価,(2)エッセイ間のエビデンスと推論のリビジョンの抽出,(3)フィードバックに対するリビジョンの成功判定において有効性が確認された。
- 参考スコア（独自算出の注目度）: 1.5367711550341163
- License:
- Abstract: The ability to revise essays in response to feedback is important for students' writing success. An automated writing evaluation (AWE) system that supports students in revising their essays is thus essential. We present eRevise+RF, an enhanced AWE system for assessing student essay revisions (e.g., changes made to an essay to improve its quality in response to essay feedback) and providing revision feedback. We deployed the system with 6 teachers and 406 students across 3 schools in Pennsylvania and Louisiana. The results confirmed its effectiveness in (1) assessing student essays in terms of evidence usage, (2) extracting evidence and reasoning revisions across essays, and (3) determining revision success in responding to feedback. The evaluation also suggested eRevise+RF is a helpful system for young students to improve their argumentative writing skills through revision and formative feedback.
- Abstract（参考訳）: 学生の執筆成功には,フィードバックに応えてエッセイを改訂する能力が重要である。
学生によるエッセイの改訂を支援する自動筆記評価システム(AWE)が不可欠である。
eRevise+RF(eRevise+RF)は,学生のエッセイリビジョン(例えば,エッセイのフィードバックに応じた品質向上のためのエッセイの変更)を評価し,リフレッシュフィードバックを提供する。
ペンシルベニアとルイジアナの3校に6人の教師と406人の学生を配置した。
その結果,(1)エッセイのエッセイのエビデンス評価,(2)エッセイ間のエビデンスと推論のリビジョンの抽出,(3)フィードバックに対するリビジョンの成功判定において有効性が確認された。
また,eRevise+RFは,リビジョンや形式的フィードバックを通じて,議論的書き方を改善する上で有用なシステムであることも示唆した。
関連論文リスト
- Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation [13.854903594424876]
大規模言語モデル(LLM)は、一貫性と文脈に関連のあるテキストを生成する上で、強力な性能を示している。
本研究は,LLMをベースとしたゼロショットと数発のエッセイフィードバックの促進戦略について検討する。
Chain-of-Thoughtのプロンプトにインスパイアされた私たちは、自動エッセイスコア(AES)が生成したフィードバックの品質にどのような影響を及ぼすか、その程度について調査する。
論文 参考訳（メタデータ） (2024-04-24T12:48:06Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Evaluation of ChatGPT Feedback on ELL Writers' Coherence and Cohesion [0.7028778922533686]
ChatGPTは、学生が宿題を手伝うために利用し、教師が教育実践に積極的に採用している教育に変革をもたらす。
本研究は,英語学習者(ELL)のエッセイの一貫性と凝集性について,ChatGPTが生み出したフィードバックの質を評価した。
論文 参考訳（メタデータ） (2023-10-10T10:25:56Z) - PapagAI:Automated Feedback for Reflective Essays [48.4434976446053]
ドクティック理論をベースとして,ハイブリッドAIシステムとして実装された,初のオープンソース自動フィードバックツールを提案する。
本研究の主な目的は,学生の学習成果の向上と,講師の指導活動を補完することである。
論文 参考訳（メタデータ） (2023-07-10T11:05:51Z) - Review of feedback in Automated Essay Scoring [6.445605125467574]
最初の自動エッセイ評価システムは50年前に開発された。
本稿では,異なるフィードバックタイプやエッセイ特性を含むフィードバックについて,自動エッセイ評価について検討する。
論文 参考訳（メタデータ） (2023-07-09T11:04:13Z) - Predicting the Quality of Revisions in Argumentative Writing [2.0572032297930503]
チェーン・オブ・ソートは、ChatGPTで生成されたACをAR品質予測に役立てる。
2つのコーパス(注釈付き初等エッセイと既存の大学エッセイベンチマーク)の実験は、ベースラインよりも提案されたACの優位性を実証している。
論文 参考訳（メタデータ） (2023-06-01T13:39:33Z) - SETSum: Summarization and Visualization of Student Evaluations of
Teaching [74.76373136325032]
学生の教育評価(SET)は、大学や大学で広く使われている。
SETSumは、インストラクターや他のレビュアーにSETの調査結果の組織化されたイラストを提供している。
論文 参考訳（メタデータ） (2022-07-08T01:40:11Z) - Ranking Scientific Papers Using Preference Learning [48.78161994501516]
我々はこれをピアレビューテキストとレビュアースコアに基づく論文ランキング問題とみなした。
ピアレビューに基づいて最終決定を行うための,新しい多面的総合評価フレームワークを提案する。
論文 参考訳（メタデータ） (2021-09-02T19:41:47Z) - Annotation and Classification of Evidence and Reasoning Revisions in
Argumentative Writing [0.9449650062296824]
本稿では,エビデンスの使用と推論の文レベルの改訂の性質を捉えるためのアノテーションスキームを提案する。
信頼性のある手書きアノテーションが達成できることを示し,修正アノテーションはエッセイ改善の全体的評価と相関することを示す。
論文 参考訳（メタデータ） (2021-07-14T20:58:26Z) - ReviewRobot: Explainable Paper Review Generation based on Knowledge
Synthesis [62.76038841302741]
レビュースコアを自動的に割り当てて,新規性や意味のある比較など,複数のカテゴリのコメントを書くための,新しいReviewRobotを構築した。
実験の結果,レビュースコア予測器の精度は71.4%-100%であった。
ドメインの専門家による人間による評価は、ReviewRobotが生成したコメントの41.7%-70.5%が有効で建設的であり、その20%は人間が書いたものよりも優れていることを示している。
論文 参考訳（メタデータ） (2020-10-13T02:17:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。