論文の概要: Exploring LLM-Generated Feedback for Economics Essays: How Teaching Assistants Evaluate and Envision Its Use
- arxiv url: http://arxiv.org/abs/2505.15596v1
- Date: Wed, 21 May 2025 14:50:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-22 15:42:59.709616
- Title: Exploring LLM-Generated Feedback for Economics Essays: How Teaching Assistants Evaluate and Envision Its Use
- Title（参考訳）: 経済評価のためのLCM生成フィードバックの探索 : 教師がいかにしてその利用を評価し、検討するか
- Authors: Xinyi Lu, Aditya Mahesh, Zejia Shen, Mitchell Dudley, Larissa Sano, Xu Wang,
- Abstract要約: 本研究は,AIによるフィードバックを人的インストラクターのフィードバック提供の迅速化と向上のための提案として活用する可能性を検討する。
学生のエッセイからフィードバックを得られるフィードバックエンジンを開発した。
我々は、20回の1時間のセッションで5つのTAでシンクアラウド研究を行い、AIのフィードバックを評価し、手書きのフィードバックとAIのフィードバックを対比させ、もし提案された場合、AIのフィードバックを使ってどのように想定するかを共有した。
- 参考スコア（独自算出の注目度）: 3.345149032274467
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: This project examines the prospect of using AI-generated feedback as suggestions to expedite and enhance human instructors' feedback provision. In particular, we focus on understanding the teaching assistants' perspectives on the quality of AI-generated feedback and how they may or may not utilize AI feedback in their own workflows. We situate our work in a foundational college Economics class, which has frequent short essay assignments. We developed an LLM-powered feedback engine that generates feedback on students' essays based on grading rubrics used by the teaching assistants (TAs). To ensure that TAs can meaningfully critique and engage with the AI feedback, we had them complete their regular grading jobs. For a randomly selected set of essays that they had graded, we used our feedback engine to generate feedback and displayed the feedback as in-text comments in a Word document. We then performed think-aloud studies with 5 TAs over 20 1-hour sessions to have them evaluate the AI feedback, contrast the AI feedback with their handwritten feedback, and share how they envision using the AI feedback if they were offered as suggestions. The study highlights the importance of providing detailed rubrics for AI to generate high-quality feedback for knowledge-intensive essays. TAs considered that using AI feedback as suggestions during their grading could expedite grading, enhance consistency, and improve overall feedback quality. We discuss the importance of decomposing the feedback generation task into steps and presenting intermediate results, in order for TAs to use the AI feedback.
- Abstract（参考訳）: 本研究は,AIによるフィードバックを人的インストラクターのフィードバック提供の迅速化と向上のための提案として活用する可能性を検討する。
特に、AI生成フィードバックの品質と、AIフィードバックを自分たちのワークフローでどのように活用するか、あるいは利用しないのかについて、アシスタントの視点を理解することに重点を置いている。
我々は、しばしば短いエッセイの課題がある基礎的な大学経済学の授業で仕事をしている。
LLMを利用したフィードバックエンジンを開発し,教職支援者(TA)が用いた格付けごみをもとに,学生のエッセイにフィードバックを生成する。
TAがAIのフィードバックを有意義に批判し、関与できることを保証するため、彼らは通常のグレーディングジョブを完了させました。
ランダムに選抜されたエッセイのセットに対して、フィードバックエンジンを使用してフィードバックを生成し、Wordドキュメントにインテキストコメントとして表示しました。
次に、20回の1時間のセッションで5つのTAでシンクアラウド研究を行い、AIフィードバックを評価し、手書きのフィードバックと対比させ、もし提案された場合のAIフィードバックの使用方法を共有しました。
この研究は、知識集約エッセイのための高品質なフィードバックを生成するために、AIに詳細なルーリックを提供することの重要性を強調している。
TAは、グレーディング中にAIフィードバックを推奨として使用すると、グレーディングが早くなり、一貫性が向上し、全体的なフィードバック品質が向上すると考えた。
TAがAIフィードバックを利用するためには、フィードバック生成タスクをステップに分解し、中間結果を提示することの重要性について議論する。
関連論文リスト
- Evaluating Trust in AI, Human, and Co-produced Feedback Among Undergraduate Students [2.935250567679577]
学生は一般的にAIを好んでおり、人間のフィードバックよりも有用性や客観性という観点でフィードバックを共同生成している。
男性学生は、すべてのフィードバックタイプが女性や非バイナリーのタイプよりも価値が低いと一貫して評価した。
これらの知見は、高等教育フィードバックシステムにAIを統合するためのエビデンスベースのガイドラインを示唆する。
論文 参考訳（メタデータ） (2025-04-15T08:06:36Z) - Supporting Students' Reading and Cognition with AI [12.029238454394445]
私たちは124セッションのテキストをAIツールで分析し、ユーザの読書プロセスと認知的エンゲージメントを理解しました。
我々は、低レベルの認知タスクのための構造化足場を含む、将来のAI読解支援システムの設計意味について提案する。
私たちは、学生やインストラクターがAIで読書体験をカスタマイズできる適応的で人間的なループ機能を提案しています。
論文 参考訳（メタデータ） (2025-04-07T17:51:27Z) - Understanding and Supporting Peer Review Using AI-reframed Positive Summary [18.686807993563168]
本研究は,筆記作業のピアレビューに自動生成された肯定的な要約を付加することの影響について検討した。
さもなくば過酷なフィードバックにAIを再構成した肯定的な要約を加えると、著者の批判的受け入れが増大することがわかった。
我々は、ピアフィードバックにおけるAIの利用の意味について論じ、それが批判的受容にどのように影響するかに注目し、研究コミュニティを支援する。
論文 参考訳（メタデータ） (2025-03-13T11:22:12Z) - Exploring LLM Prompting Strategies for Joint Essay Scoring and Feedback Generation [13.854903594424876]
大規模言語モデル(LLM)は、一貫性と文脈に関連のあるテキストを生成する上で、強力な性能を示している。
本研究は,LLMをベースとしたゼロショットと数発のエッセイフィードバックの促進戦略について検討する。
Chain-of-Thoughtのプロンプトにインスパイアされた私たちは、自動エッセイスコア(AES)が生成したフィードバックの品質にどのような影響を及ぼすか、その程度について調査する。
論文 参考訳（メタデータ） (2024-04-24T12:48:06Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - UltraFeedback: Boosting Language Models with Scaled AI Feedback [99.4633351133207]
大規模で高品質で多様なAIフィードバックデータセットである textscUltraFeedback を提示する。
我々の研究は、強力なオープンソースのチャット言語モデルを構築する上で、スケールしたAIフィードバックデータの有効性を検証する。
論文 参考訳（メタデータ） (2023-10-02T17:40:01Z) - PapagAI:Automated Feedback for Reflective Essays [48.4434976446053]
ドクティック理論をベースとして,ハイブリッドAIシステムとして実装された,初のオープンソース自動フィードバックツールを提案する。
本研究の主な目的は,学生の学習成果の向上と,講師の指導活動を補完することである。
論文 参考訳（メタデータ） (2023-07-10T11:05:51Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Effects of Human vs. Automatic Feedback on Students' Understanding of AI
Concepts and Programming Style [0.0]
自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。
コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。
本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
論文 参考訳（メタデータ） (2020-11-20T21:40:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。