論文の概要: SEFL: Enhancing Educational Assignment Feedback with LLM Agents

• arxiv url: http://arxiv.org/abs/2502.12927v2
• Date: Fri, 01 Aug 2025 13:19:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 14:06:53.324743
• Title: SEFL: Enhancing Educational Assignment Feedback with LLM Agents
• Title（参考訳）: SEFL: LLMエージェントによる教育課題フィードバックの強化
• Authors: Mike Zhang, Amalie Pernille Dilling, Léon Gondelman, Niels Erik Ruan Lyngdorf, Euan D. Lindsay, Johannes Bjerva,
• Abstract要約: Synthetic Educational Feedback Loops (SEFL) は、オンデマンドの即時フィードバックに似たデータを生成するために設計された合成データフレームワークである。 このタイプのデータを得るために、2つの大きな言語モデル (LLM) は、課題完了と形式的フィードバックをシミュレートするために教師と学生の役割で機能する。 フィードバック品質と既存のベースラインの両面において,SEFL調整モデルの方が優れていることを示す。
• 参考スコア（独自算出の注目度）: 5.191286314473505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Providing high-quality feedback to student assignments is crucial for student success, but it is constrained by time and costs. In this work, we introduce Synthetic Educational Feedback Loops (SEFL), a synthetic data framework designed to generate data that resembles immediate, on-demand feedback at scale without relying on extensive, real-world student assignments. To get this type of data, two large language models (LLMs) operate in teacher-student roles to simulate assignment completion and formative feedback, generating synthetic pairs of student work and corresponding critiques and actionable improvements from a teacher. With this data, we fine-tune smaller, more computationally efficient LLMs on these synthetic pairs, enabling them to replicate key features of high-quality, goal-oriented feedback. Unlike personalized tutoring approaches that offer multi-turn, individualized instruction, SEFL specifically focuses on replicating the teacher-student assignment feedback loop in higher education. Through comprehensive evaluations with four LLM judges and three human experts, we demonstrate that SEFL-tuned models outperform both their non-tuned counterparts in feedback quality and an existing baseline. The potential for societal impact is reinforced by extensive qualitative comments by ratings by human stakeholders -- both students and higher education instructors. All in all, SEFL has substantial potential to transform feedback processes for higher education and beyond.
• Abstract（参考訳）: 学生の課題に対する高品質なフィードバックを提供することは、学生の成功に不可欠であるが、時間とコストに制約されている。 本研究では,実世界の学生の課題に頼らずに,即時的,オンデマンドなフィードバックに類似したデータを生成するための合成データフレームワークであるSEFLを紹介する。 このタイプのデータを得るために、2つの大きな言語モデル(LLM)が教師学生の役割を担い、課題完了と形式的フィードバックをシミュレートし、学生作品の合成ペアを生成し、それに対応する批評と教師から実行可能な改善を行う。 このデータを用いて、これらの合成ペア上でより小さく、より計算効率の良いLCMを微調整し、高品質でゴール指向のフィードバックの主要な特徴を再現する。 マルチターンで個別化された指導を提供するパーソナライズされた家庭教師のアプローチとは異なり、SEFLは特に高等教育における教師-学生の課題フィードバックループの複製に焦点を当てている。 4人のLLM審査員と3人の人間専門家による総合的な評価を通じて、SEFL学習モデルは、フィードバック品質と既存のベースラインの両方において、調整されていないモデルよりも優れていることを示した。 社会的影響の可能性は、学生と高等教育のインストラクターの両方が、人間の利害関係者による評価による広範囲な質的なコメントによって強化されている。 全体として、SEFLは高等教育以降のフィードバックプロセスを変革する大きな可能性を秘めている。

関連論文リスト

• DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs [58.4911494598431]
  DistiLLM-2は、教師の反応の可能性を同時に増加させ、生徒の反応を減少させる対照的なアプローチである。 実験の結果,DistiLLM-2は様々なタスクにまたがって高性能な学生モデルを構築するだけでなく,多様なアプリケーションをサポートすることがわかった。
  論文  参考訳（メタデータ） (2025-03-10T08:51:32Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• FSPO: Few-Shot Preference Optimization of Synthetic Preference Data in LLMs Elicits Effective Personalization to Real Users [111.56469697145519]
  メタ学習問題として報酬モデルを再設計するFew-Shot Preference Optimizationを提案する。 このフレームワークでは、LDMはそのユーザからいくつかのラベル付けされた好みを通じてユーザへの迅速な適応を学び、パーソナライズされた報酬関数を構築する。 公開されているLLMを用いて100万以上の合成パーソナライズされた好みを生成する。 本研究は,映画レビュー,教育背景に基づく教育適応,一般質問応答の3分野を対象に,最大1,500人の総合ユーザを対象に,パーソナライズされたオープンエンド世代に対するFSPOの評価を行った。
  論文  参考訳（メタデータ） (2025-02-26T17:08:46Z)
• Automated Assignment Grading with Large Language Models: Insights From a Bioinformatics Course [0.0]
  自然言語処理と大規模言語モデル(LLM)は、パーソナライズされたフィードバックの効率的な配信を可能にすることで、有望なソリューションを提供する。 自然言語処理と大規模言語モデル(LLM)の最近の進歩は、パーソナライズされたフィードバックの効率的な配信を可能にすることによって、有望なソリューションを提供する。 提案手法により,LLMは人間の評価値に匹敵する評価精度とフィードバック品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-01-24T13:59:14Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• Automated Feedback in Math Education: A Comparative Analysis of LLMs for Open-Ended Responses [0.0]
  本研究では,大規模言語モデル(LLM)が数学教育における自動フィードバックを促進する可能性を探究することを目的とする。 我々は,Llamaの数学版であるMistralを採用し,このモデルを用いて,中学校数学問題に対する生徒の回答と教師によるフィードバックのデータセットを活用することによって,学生の反応を評価する。 2人の教師の判断を生かして,評価精度とフィードバックの質を評価する。
  論文  参考訳（メタデータ） (2024-10-29T16:57:45Z)
• Training Language Models to Critique With Multi-agent Feedback [102.42751835338233]
  MultiCritique パイプラインはマルチエージェントフィードバックを利用することで LLM の批判能力を向上させる。 パイプラインは、単一のモデルではなく、複数のエージェントからの高品質な批評を集約する。 我々の微調整された7Bモデルは、他の高度な7B-13Bオープンソースモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2024-10-20T04:57:45Z)
• Closing the Loop: Learning to Generate Writing Feedback via Language Model Simulated Student Revisions [6.216542656489173]
  本稿では,LM シミュレーションによる学生のリビジョンの学習を通じてフィードバックを生成できる ProF を提案する。 本稿では,PROFの有効性を実証的に検証し,本手法が学生の筆跡改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-10T15:52:48Z)
• "I understand why I got this grade": Automatic Short Answer Grading with Feedback [33.63970664152288]
  本稿では,フィードバックによる短時間回答自動グルーピングのためのデータセットであるEngineering Short Answer Feedback (EngSAF)を紹介する。 我々は,我々のラベル認識合成フィードバック生成(LASFG)戦略を用いて,最先端の大規模言語モデル(LLM)の生成能力を活用することで,データセットにフィードバックを組み込む。 最高のパフォーマンスモデル(Mistral-7B)は、それぞれ75.4%と58.7%の精度で、未確認の回答と未確認の質問テストセットで達成している。
  論文  参考訳（メタデータ） (2024-06-30T15:42:18Z)
• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• UniFL: Improve Latent Diffusion Model via Unified Feedback Learning [61.66652875042845]
  提案するUniFLは,フィードバック学習を活用して拡張モデルを包括的に拡張する統合フレームワークである。 UniFLは、視覚的品質を高める知覚的フィードバック学習、美的魅力を改善する分離されたフィードバック学習、推論を加速する敵対的フィードバック学習の3つの主要な構成要素から構成される。 詳細な実験と広範囲なユーザスタディにより、生成品質と推論加速度を向上させる上で、提案手法の優れた性能が検証された。
  論文  参考訳（メタデータ） (2024-04-08T15:14:20Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning [39.73918872205541]
  最近の多くの手法はデータ品質の改善に重点を置いているが、学生モデルとの互換性を見落としていることが多い。 本稿では,教師のLLMのリフレクションとイントロスペクションを相乗化して既存のデータ品質を改善する新パラダイムであるSelective Reflection-Tuningを紹介する。 この教師と学生の協調作業により、高品質で生徒互換の授業応答ペアが作成され、結果としてサンプル効率のよい指導チューニングがもたらされる。
  論文  参考訳（メタデータ） (2024-02-15T17:06:21Z)
• Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs [13.262711792955377]
  本研究では,Large Language Models (LLMs) のエッセイ自動評価における有効性について検討した。 本稿では,デュアルプロセス理論にインスパイアされたオープンソースのLLMベースのAESシステムを提案する。 本システムでは, 学習過程の自動化だけでなく, 成績や効率の向上も図っている。
  論文  参考訳（メタデータ） (2024-01-12T07:50:10Z)
• DRESS: Instructing Large Vision-Language Models to Align and Interact with Humans via Natural Language Feedback [61.28463542324576]
  本稿では,大規模言語モデルから自然言語フィードバック(NLF)を革新的に活用する大規模視覚言語モデル(LVLM)であるDRESSを紹介する。 我々は,NLFの新たな分類法を2つの重要なタイプに分類する。 実験の結果、DRESSはより有用な(9.76%)、正直な(11.52%)、無害な(21.03%)を生成できることが示された。
  論文  参考訳（メタデータ） (2023-11-16T18:37:29Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• PREFER: Prompt Ensemble Learning via Feedback-Reflect-Refine [24.888093229577965]
  提案する制約に対処するため,Prefer という,シンプルで普遍的で自動的な手法を提案する。 我々のPreferは、複数のタスクにおける最先端のパフォーマンスを、大きなマージンで達成する。
  論文  参考訳（メタデータ） (2023-08-23T09:46:37Z)
• Aligning Large Language Models through Synthetic Feedback [43.84431341195111]
  本研究では,ヒトのアノテーションに依存しない合成フィードバックを用いたアライメント学習フレームワークを提案する。 人間の評価では,我々のモデルはアルパカとドリー-v2にそれぞれ55.0%,58.5%が好まれる。
  論文  参考訳（メタデータ） (2023-05-23T06:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。