論文の概要: SEFL: Harnessing Large Language Model Agents to Improve Educational Feedback Systems
- arxiv url: http://arxiv.org/abs/2502.12927v1
- Date: Tue, 18 Feb 2025 15:09:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-19 20:12:09.013623
- Title: SEFL: Harnessing Large Language Model Agents to Improve Educational Feedback Systems
- Title（参考訳）: SEFL:大規模言語モデルエージェントによる教育フィードバックシステムの改善
- Authors: Mike Zhang, Amalie Pernille Dilling, Léon Gondelman, Niels Erik Ruan Lyngdorf, Euan D. Lindsay, Johannes Bjerva,
- Abstract要約: Synthetic Educational Feedback Loops (SEFL)は、大規模に即時かつオンデマンドなフィードバックを提供するように設計された新しいフレームワークである。
2つの大きな言語モデル(LLM)は、課題完了と形式的フィードバックをシミュレートするために教師の役割で機能する。
また,SEFL調整モデルでは,フィードバック品質,明瞭度,タイムラインの非チューニングモデルよりも優れていることを示す。
- 参考スコア（独自算出の注目度）: 5.191286314473505
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Providing high-quality feedback is crucial for student success but is constrained by time, cost, and limited data availability. We introduce Synthetic Educational Feedback Loops (SEFL), a novel framework designed to deliver immediate, on-demand feedback at scale without relying on extensive, real-world student data. In SEFL, two large language models (LLMs) operate in teacher--student roles to simulate assignment completion and formative feedback, generating abundant synthetic pairs of student work and corresponding critiques. We then fine-tune smaller, more computationally efficient LLMs on these synthetic pairs, enabling them to replicate key features of high-quality, goal-oriented feedback. Unlike personalized tutoring approaches that offer multi-turn, individualized instruction, SEFL specifically focuses on replicating the teacher-->student feedback loop for diverse assignments. Through both LLM-as-a-judge and human evaluations, we demonstrate that SEFL-tuned models outperform their non-tuned counterparts in feedback quality, clarity, and timeliness. These findings reveal SEFL's potential to transform feedback processes for higher education and beyond, offering an ethical and scalable alternative to conventional manual feedback cycles.
- Abstract（参考訳）: 高品質なフィードバックを提供することは、学生の成功には不可欠だが、時間、コスト、データ可用性の制限がある。
実世界の学生データに頼らずに、即時かつオンデマンドなフィードバックを大規模に提供するように設計された新しいフレームワーク、SEFL(Synthetic Educational Feedback Loops)を紹介した。
SEFLでは、2つの大きな言語モデル(LLM)が教師の役割を担い、課題完了と形式的フィードバックをシミュレートし、学生作品とそれに対応する批評の豊富な合成ペアを生成する。
次に、これらの合成ペア上でより小さく、より計算効率の良いLLMを微調整し、高品質でゴール指向のフィードバックの主要な特徴を再現する。
マルチターンで個別化された指導を提供するパーソナライズされた家庭教師のアプローチとは異なり、SEFLは特に、多様な課題のための教師のフィードバックループを複製することに焦点を当てている。
LLM-as-a-judgeと人的評価の両方を通して、SEFLをチューニングしたモデルは、フィードバックの品質、明確性、タイムラインにおいて、チューニングされていないモデルよりも優れていることを示す。
これらの結果から、SEFLは、従来の手動フィードバックサイクルに代わる倫理的かつスケーラブルな代替手段として、高等教育以降のフィードバックプロセスを変革する可能性を示している。
関連論文リスト
- Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。
本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。
本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
論文 参考訳（メタデータ） (2025-02-26T20:50:11Z) - FSPO: Few-Shot Preference Optimization of Synthetic Preference Data in LLMs Elicits Effective Personalization to Real Users [111.56469697145519]
メタ学習問題として報酬モデルを再設計するFew-Shot Preference Optimizationを提案する。
このフレームワークでは、LDMはそのユーザからいくつかのラベル付けされた好みを通じてユーザへの迅速な適応を学び、パーソナライズされた報酬関数を構築する。
公開されているLLMを用いて100万以上の合成パーソナライズされた好みを生成する。
本研究は,映画レビュー,教育背景に基づく教育適応,一般質問応答の3分野を対象に,最大1,500人の総合ユーザを対象に,パーソナライズされたオープンエンド世代に対するFSPOの評価を行った。
論文 参考訳（メタデータ） (2025-02-26T17:08:46Z) - Automated Feedback in Math Education: A Comparative Analysis of LLMs for Open-Ended Responses [0.0]
本研究では,大規模言語モデル(LLM)が数学教育における自動フィードバックを促進する可能性を探究することを目的とする。
我々は,Llamaの数学版であるMistralを採用し,このモデルを用いて,中学校数学問題に対する生徒の回答と教師によるフィードバックのデータセットを活用することによって,学生の反応を評価する。
2人の教師の判断を生かして,評価精度とフィードバックの質を評価する。
論文 参考訳（メタデータ） (2024-10-29T16:57:45Z) - Closing the Loop: Learning to Generate Writing Feedback via Language Model Simulated Student Revisions [6.216542656489173]
本稿では,LM シミュレーションによる学生のリビジョンの学習を通じてフィードバックを生成できる ProF を提案する。
本稿では,PROFの有効性を実証的に検証し,本手法が学生の筆跡改善に有効であることを示す。
論文 参考訳（メタデータ） (2024-10-10T15:52:48Z) - Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。
粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。
きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
論文 参考訳（メタデータ） (2024-06-24T17:19:34Z) - UniFL: Improve Latent Diffusion Model via Unified Feedback Learning [61.66652875042845]
提案するUniFLは,フィードバック学習を活用して拡張モデルを包括的に拡張する統合フレームワークである。
UniFLは、視覚的品質を高める知覚的フィードバック学習、美的魅力を改善する分離されたフィードバック学習、推論を加速する敵対的フィードバック学習の3つの主要な構成要素から構成される。
詳細な実験と広範囲なユーザスタディにより、生成品質と推論加速度を向上させる上で、提案手法の優れた性能が検証された。
論文 参考訳（メタデータ） (2024-04-08T15:14:20Z) - Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - DRESS: Instructing Large Vision-Language Models to Align and Interact with Humans via Natural Language Feedback [61.28463542324576]
本稿では,大規模言語モデルから自然言語フィードバック(NLF)を革新的に活用する大規模視覚言語モデル(LVLM)であるDRESSを紹介する。
我々は,NLFの新たな分類法を2つの重要なタイプに分類する。
実験の結果、DRESSはより有用な(9.76%)、正直な(11.52%)、無害な(21.03%)を生成できることが示された。
論文 参考訳（メタデータ） (2023-11-16T18:37:29Z) - Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。
我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。
このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
論文 参考訳（メタデータ） (2023-10-10T09:20:14Z) - PREFER: Prompt Ensemble Learning via Feedback-Reflect-Refine [24.888093229577965]
提案する制約に対処するため,Prefer という,シンプルで普遍的で自動的な手法を提案する。
我々のPreferは、複数のタスクにおける最先端のパフォーマンスを、大きなマージンで達成する。
論文 参考訳（メタデータ） (2023-08-23T09:46:37Z) - Aligning Large Language Models through Synthetic Feedback [43.84431341195111]
本研究では,ヒトのアノテーションに依存しない合成フィードバックを用いたアライメント学習フレームワークを提案する。
人間の評価では,我々のモデルはアルパカとドリー-v2にそれぞれ55.0%,58.5%が好まれる。
論文 参考訳（メタデータ） (2023-05-23T06:41:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。