論文の概要: SEFL: Harnessing Large Language Model Agents to Improve Educational Feedback Systems

• arxiv url: http://arxiv.org/abs/2502.12927v1
• Date: Tue, 18 Feb 2025 15:09:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-19 20:12:09.013623
• Title: SEFL: Harnessing Large Language Model Agents to Improve Educational Feedback Systems
• Title（参考訳）: SEFL:大規模言語モデルエージェントによる教育フィードバックシステムの改善
• Authors: Mike Zhang, Amalie Pernille Dilling, Léon Gondelman, Niels Erik Ruan Lyngdorf, Euan D. Lindsay, Johannes Bjerva,
• Abstract要約: Synthetic Educational Feedback Loops (SEFL)は、大規模に即時かつオンデマンドなフィードバックを提供するように設計された新しいフレームワークである。 2つの大きな言語モデル(LLM)は、課題完了と形式的フィードバックをシミュレートするために教師の役割で機能する。 また,SEFL調整モデルでは,フィードバック品質,明瞭度,タイムラインの非チューニングモデルよりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 5.191286314473505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Providing high-quality feedback is crucial for student success but is constrained by time, cost, and limited data availability. We introduce Synthetic Educational Feedback Loops (SEFL), a novel framework designed to deliver immediate, on-demand feedback at scale without relying on extensive, real-world student data. In SEFL, two large language models (LLMs) operate in teacher--student roles to simulate assignment completion and formative feedback, generating abundant synthetic pairs of student work and corresponding critiques. We then fine-tune smaller, more computationally efficient LLMs on these synthetic pairs, enabling them to replicate key features of high-quality, goal-oriented feedback. Unlike personalized tutoring approaches that offer multi-turn, individualized instruction, SEFL specifically focuses on replicating the teacher-->student feedback loop for diverse assignments. Through both LLM-as-a-judge and human evaluations, we demonstrate that SEFL-tuned models outperform their non-tuned counterparts in feedback quality, clarity, and timeliness. These findings reveal SEFL's potential to transform feedback processes for higher education and beyond, offering an ethical and scalable alternative to conventional manual feedback cycles.
• Abstract（参考訳）: 高品質なフィードバックを提供することは、学生の成功には不可欠だが、時間、コスト、データ可用性の制限がある。 実世界の学生データに頼らずに、即時かつオンデマンドなフィードバックを大規模に提供するように設計された新しいフレームワーク、SEFL(Synthetic Educational Feedback Loops)を紹介した。 SEFLでは、2つの大きな言語モデル(LLM)が教師の役割を担い、課題完了と形式的フィードバックをシミュレートし、学生作品とそれに対応する批評の豊富な合成ペアを生成する。 次に、これらの合成ペア上でより小さく、より計算効率の良いLLMを微調整し、高品質でゴール指向のフィードバックの主要な特徴を再現する。 マルチターンで個別化された指導を提供するパーソナライズされた家庭教師のアプローチとは異なり、SEFLは特に、多様な課題のための教師のフィードバックループを複製することに焦点を当てている。 LLM-as-a-judgeと人的評価の両方を通して、SEFLをチューニングしたモデルは、フィードバックの品質、明確性、タイムラインにおいて、チューニングされていないモデルよりも優れていることを示す。 これらの結果から、SEFLは、従来の手動フィードバックサイクルに代わる倫理的かつスケーラブルな代替手段として、高等教育以降のフィードバックプロセスを変革する可能性を示している。

関連論文リスト

• DistiLLM-2: A Contrastive Approach Boosts the Distillation of LLMs [58.4911494598431]
  DistiLLM-2は、教師の反応の可能性を同時に増加させ、生徒の反応を減少させる対照的なアプローチである。 実験の結果,DistiLLM-2は様々なタスクにまたがって高性能な学生モデルを構築するだけでなく,多様なアプリケーションをサポートすることがわかった。
  論文  参考訳（メタデータ） (2025-03-10T08:51:32Z)
• Distill Not Only Data but Also Rewards: Can Smaller Language Models Surpass Larger Ones? [58.80794196076336]
  大型言語モデル(LLM)の蒸留は、教師による微調整(SFT)を通して教師モデルの応答を伝達するのが一般的である。 本稿では, 応答と報酬の両方を伝達する新しい蒸留パイプラインを提案する。 本手法は,教師と生徒の両方の反応の固有構造を利用した自己教師機構によって擬似回帰を生成する。
  論文  参考訳（メタデータ） (2025-02-26T20:50:11Z)
• FSPO: Few-Shot Preference Optimization of Synthetic Preference Data in LLMs Elicits Effective Personalization to Real Users [111.56469697145519]
  メタ学習問題として報酬モデルを再設計するFew-Shot Preference Optimizationを提案する。 このフレームワークでは、LDMはそのユーザからいくつかのラベル付けされた好みを通じてユーザへの迅速な適応を学び、パーソナライズされた報酬関数を構築する。 公開されているLLMを用いて100万以上の合成パーソナライズされた好みを生成する。 本研究は,映画レビュー,教育背景に基づく教育適応,一般質問応答の3分野を対象に,最大1,500人の総合ユーザを対象に,パーソナライズされたオープンエンド世代に対するFSPOの評価を行った。
  論文  参考訳（メタデータ） (2025-02-26T17:08:46Z)
• Automated Assignment Grading with Large Language Models: Insights From a Bioinformatics Course [0.0]
  自然言語処理と大規模言語モデル(LLM)は、パーソナライズされたフィードバックの効率的な配信を可能にすることで、有望なソリューションを提供する。 自然言語処理と大規模言語モデル(LLM)の最近の進歩は、パーソナライズされたフィードバックの効率的な配信を可能にすることによって、有望なソリューションを提供する。 提案手法により,LLMは人間の評価値に匹敵する評価精度とフィードバック品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2025-01-24T13:59:14Z)
• Self-Evolving Critique Abilities in Large Language Models [59.861013614500024]
  本稿では,Large Language Models (LLM) の批判能力の向上について検討する。 SCRITは、LCMを自己生成データで訓練し、批判能力を進化させるフレームワークである。 分析の結果,SCRITの性能はデータやモデルサイズと正の相関関係にあることが明らかとなった。
  論文  参考訳（メタデータ） (2025-01-10T05:51:52Z)
• Automated Feedback in Math Education: A Comparative Analysis of LLMs for Open-Ended Responses [0.0]
  本研究では,大規模言語モデル(LLM)が数学教育における自動フィードバックを促進する可能性を探究することを目的とする。 我々は,Llamaの数学版であるMistralを採用し,このモデルを用いて,中学校数学問題に対する生徒の回答と教師によるフィードバックのデータセットを活用することによって,学生の反応を評価する。 2人の教師の判断を生かして,評価精度とフィードバックの質を評価する。
  論文  参考訳（メタデータ） (2024-10-29T16:57:45Z)
• Training Language Models to Critique With Multi-agent Feedback [102.42751835338233]
  MultiCritique パイプラインはマルチエージェントフィードバックを利用することで LLM の批判能力を向上させる。 パイプラインは、単一のモデルではなく、複数のエージェントからの高品質な批評を集約する。 我々の微調整された7Bモデルは、他の高度な7B-13Bオープンソースモデルを大きく上回っている。
  論文  参考訳（メタデータ） (2024-10-20T04:57:45Z)
• Closing the Loop: Learning to Generate Writing Feedback via Language Model Simulated Student Revisions [6.216542656489173]
  本稿では,LM シミュレーションによる学生のリビジョンの学習を通じてフィードバックを生成できる ProF を提案する。 本稿では,PROFの有効性を実証的に検証し,本手法が学生の筆跡改善に有効であることを示す。
  論文  参考訳（メタデータ） (2024-10-10T15:52:48Z)
• "I understand why I got this grade": Automatic Short Answer Grading with Feedback [33.63970664152288]
  本稿では,フィードバックによる短時間回答自動グルーピングのためのデータセットであるEngineering Short Answer Feedback (EngSAF)を紹介する。 我々は,我々のラベル認識合成フィードバック生成(LASFG)戦略を用いて,最先端の大規模言語モデル(LLM)の生成能力を活用することで,データセットにフィードバックを組み込む。 最高のパフォーマンスモデル(Mistral-7B)は、それぞれ75.4%と58.7%の精度で、未確認の回答と未確認の質問テストセットで達成している。
  論文  参考訳（メタデータ） (2024-06-30T15:42:18Z)
• Beyond Thumbs Up/Down: Untangling Challenges of Fine-Grained Feedback for Text-to-Image Generation [67.88747330066049]
  きめ細かいフィードバックは、画像の品質と迅速な調整におけるニュアンスドの区別を捉えます。 粗いフィードバックに対する優位性を示すことは、自動ではないことを示す。 きめ細かいフィードバックを抽出し活用する上で重要な課題を特定します。
  論文  参考訳（メタデータ） (2024-06-24T17:19:34Z)
• UniFL: Improve Latent Diffusion Model via Unified Feedback Learning [61.66652875042845]
  提案するUniFLは,フィードバック学習を活用して拡張モデルを包括的に拡張する統合フレームワークである。 UniFLは、視覚的品質を高める知覚的フィードバック学習、美的魅力を改善する分離されたフィードバック学習、推論を加速する敵対的フィードバック学習の3つの主要な構成要素から構成される。 詳細な実験と広範囲なユーザスタディにより、生成品質と推論加速度を向上させる上で、提案手法の優れた性能が検証された。
  論文  参考訳（メタデータ） (2024-04-08T15:14:20Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [46.667783153759636]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• Selective Reflection-Tuning: Student-Selected Data Recycling for LLM Instruction-Tuning [39.73918872205541]
  最近の多くの手法はデータ品質の改善に重点を置いているが、学生モデルとの互換性を見落としていることが多い。 本稿では,教師のLLMのリフレクションとイントロスペクションを相乗化して既存のデータ品質を改善する新パラダイムであるSelective Reflection-Tuningを紹介する。 この教師と学生の協調作業により、高品質で生徒互換の授業応答ペアが作成され、結果としてサンプル効率のよい指導チューニングがもたらされる。
  論文  参考訳（メタデータ） (2024-02-15T17:06:21Z)
• Human-AI Collaborative Essay Scoring: A Dual-Process Framework with LLMs [13.262711792955377]
  本研究では,Large Language Models (LLMs) のエッセイ自動評価における有効性について検討した。 本稿では,デュアルプロセス理論にインスパイアされたオープンソースのLLMベースのAESシステムを提案する。 本システムでは, 学習過程の自動化だけでなく, 成績や効率の向上も図っている。
  論文  参考訳（メタデータ） (2024-01-12T07:50:10Z)
• DRESS: Instructing Large Vision-Language Models to Align and Interact with Humans via Natural Language Feedback [61.28463542324576]
  本稿では,大規模言語モデルから自然言語フィードバック(NLF)を革新的に活用する大規模視覚言語モデル(LVLM)であるDRESSを紹介する。 我々は,NLFの新たな分類法を2つの重要なタイプに分類する。 実験の結果、DRESSはより有用な(9.76%)、正直な(11.52%)、無害な(21.03%)を生成できることが示された。
  論文  参考訳（メタデータ） (2023-11-16T18:37:29Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• PREFER: Prompt Ensemble Learning via Feedback-Reflect-Refine [24.888093229577965]
  提案する制約に対処するため,Prefer という,シンプルで普遍的で自動的な手法を提案する。 我々のPreferは、複数のタスクにおける最先端のパフォーマンスを、大きなマージンで達成する。
  論文  参考訳（メタデータ） (2023-08-23T09:46:37Z)
• Aligning Large Language Models through Synthetic Feedback [43.84431341195111]
  本研究では,ヒトのアノテーションに依存しない合成フィードバックを用いたアライメント学習フレームワークを提案する。 人間の評価では,我々のモデルはアルパカとドリー-v2にそれぞれ55.0%,58.5%が好まれる。
  論文  参考訳（メタデータ） (2023-05-23T06:41:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。