論文の概要: REFINE: Real-world Exploration of Interactive Feedback and Student Behaviour
- arxiv url: http://arxiv.org/abs/2603.29142v1
- Date: Tue, 31 Mar 2026 01:48:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-01 15:25:03.035712
- Title: REFINE: Real-world Exploration of Interactive Feedback and Student Behaviour
- Title（参考訳）: REFINE: 対話型フィードバックと学生の行動の現実的な探索
- Authors: Fares Fawzi, Seyed Parsa Neshaei, Marta Knezevic, Tanya Nazaretsky, Tanja Käser,
- Abstract要約: 本稿では、ローカルにデプロイ可能なマルチエージェントフィードバックシステムであるREFINEを紹介し、フィードバックを対話的なプロセスとして扱う。
REFINEは、人力判断器を用いて、台座フィードバック生成剤とLSM-as-a-judge-guided regeneration loopを併用する。
本研究は,多エージェント・ツール拡張型フィードバックシステムの有効性と有効性を示すものである。
- 参考スコア（独自算出の注目度）: 12.059739840538638
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Formative feedback is central to effective learning, yet providing timely, individualised feedback at scale remains a persistent challenge. While recent work has explored the use of large language models (LLMs) to automate feedback, most existing systems still conceptualise feedback as a static, one-way artifact, offering limited support for interpretation, clarification, or follow-up. In this work, we introduce REFINE, a locally deployable, multi-agent feedback system built on small, open-source LLMs that treats feedback as an interactive process. REFINE combines a pedagogically-grounded feedback generation agent with an LLM-as-a-judge-guided regeneration loop using a human-aligned judge, and a self-reflective tool-calling interactive agent that supports student follow-up questions with context-aware, actionable responses. We evaluate REFINE through controlled experiments and an authentic classroom deployment in an undergraduate computer science course. Automatic evaluations show that judge-guided regeneration significantly improves feedback quality, and that the interactive agent produces efficient, high-quality responses comparable to a state-of-the-art closed-source model. Analysis of real student interactions further reveals distinct engagement patterns and indicates that system-generated feedback systematically steers subsequent student inquiry. Our findings demonstrate the feasibility and effectiveness of multi-agent, tool-augmented feedback systems for scalable, interactive feedback.
- Abstract（参考訳）: フォーマティブなフィードバックは効果的な学習の中心ですが、タイムリーに個人化されたフィードバックを大規模に提供することは、依然として永続的な課題です。
最近の研究では、フィードバックの自動化に大規模な言語モデル(LLM)を使用することを検討しているが、既存のシステムの多くは、フィードバックを静的な一方的なアーティファクトとして概念化し、解釈、明確化、フォローアップを限定的にサポートしている。
本稿では,小規模でオープンソースのLDM上に構築された,ローカルにデプロイ可能なマルチエージェントフィードバックシステムであるREFINEを紹介し,フィードバックを対話的なプロセスとして扱う。
REFINEは、教育的なフィードバック生成エージェントと、人間による判断を用いたLLM-as-a-judge-guided Regeneration loopと、学生のフォローアップ質問をコンテキスト対応、行動可能な応答で支援する自己反射型ツール呼び出し対話エージェントを組み合わせる。
我々は、制御実験と、学部コンピュータサイエンス科における真の教室配置を通して、REFINEを評価した。
自動評価により,判断誘導再生はフィードバックの質を著しく向上し,対話型エージェントは最先端のクローズドソースモデルに匹敵する効率的で高品質な応答を生成できることが示された。
実際の学生同士の相互作用の分析は、さらに異なるエンゲージメントパターンを明らかにし、システム生成されたフィードバックがその後の学生調査を体系的に支援することを示す。
本研究は,多エージェント・ツール拡張型フィードバックシステムの有効性と有効性を示すものである。
関連論文リスト
- Multimodal Peer Review Simulation with Actionable To-Do Recommendations for Community-Aware Manuscript Revisions [16.556181117253473]
論文提出前の効果的な原稿改訂を実現するために,マルチモーダル・コミュニティ対応のピアレビューシミュレーションのための対話型Webベースシステムを提案する。
本フレームワークは,マルチモーダル LLM を用いてテキスト情報と視覚情報を統合し,Web スケールの OpenReview データに基づく検索拡張生成 (RAG) によるレビュー品質を向上させる。
このシステムは既存の学術書記プラットフォームにシームレスに統合され、リアルタイムフィードバックとリビジョントラッキングのためのインタラクティブインターフェースを提供する。
論文 参考訳（メタデータ） (2025-11-14T02:29:23Z) - Personalized and Constructive Feedback for Computer Science Students Using the Large Language Model (LLM) [0.8409304328108455]
本稿では,学生評価における言語モデル(LLM)の性能について,事前に定義されたルーリックとマーキング基準を用いて検討する。
我々は,既存のLCMによるマーキングアセスメント,追跡,評価(LLM-MATE)の力を活用して,学生の学習を促進することを目的としている。
論文 参考訳（メタデータ） (2025-10-13T15:59:30Z) - Playpen: An Environment for Exploring Learning Through Conversational Interaction [84.0413820245725]
本研究は,対話ゲームが学習のフィードバック信号の源として機能するかどうかを考察する。
本稿では,対話ゲームによるオフラインおよびオンライン学習環境であるPlaypenを紹介する。
SFTによる模倣学習は、目に見えないインスタンスのパフォーマンスを向上させるが、他のスキルに悪影響を及ぼす。
論文 参考訳（メタデータ） (2025-04-11T14:49:33Z) - On the Role of Feedback in Test-Time Scaling of Agentic AI Workflows [71.92083784393418]
エージェントAI(自律的な計画と行動を行うシステム)は広く普及しているが、複雑なタスクにおけるタスクの成功率は低いままである。
推論時のアライメントは、サンプリング、評価、フィードバックの3つのコンポーネントに依存します。
本稿では,様々な形態の批判から抽出されたフィードバックを繰り返し挿入するIterative Agent Decoding(IAD)を紹介する。
論文 参考訳（メタデータ） (2025-04-02T17:40:47Z) - Using Generative AI and Multi-Agents to Provide Automatic Feedback [4.883570605293337]
本研究では、生成型AIとマルチエージェントシステムを用いて、教育的文脈における自動フィードバックを提供する。
この研究は、AutoFeedbackと呼ばれるマルチエージェントシステムが、GenAI生成したフィードバックの品質をどのように改善するかを探求することによって、この分野における重要なギャップに対処する。
論文 参考訳（メタデータ） (2024-11-11T22:27:36Z) - AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment [15.969280805269976]
AERA Chatは、生徒の回答の自動評価のために設計されたインタラクティブな視覚化プラットフォームである。
AERA Chatは複数の言語モデル(LLM)を活用して、生徒の回答を同時にスコアし、説明的合理性を生成する。
複数のデータセットに対する複数の合理的生成手法の評価を通じて,プラットフォームの有効性を実証する。
論文 参考訳（メタデータ） (2024-10-12T11:57:53Z) - "My Grade is Wrong!": A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays [6.810086342993699]
本稿では,対話型フィードバックを自動生成するContestable AI Empowered LLM FrameworkであるCAELFを紹介する。
CAELFは、マルチエージェントシステムと計算的議論を統合することで、学生がフィードバックをクエリし、挑戦し、明確化することができる。
ユーザスタディを用いた500の批判的思考エッセイのケーススタディでは,CAELFが対話的フィードバックを大幅に改善することが示された。
論文 参考訳（メタデータ） (2024-09-11T17:59:01Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - PEBBLE: Feedback-Efficient Interactive Reinforcement Learning via
Relabeling Experience and Unsupervised Pre-training [94.87393610927812]
我々は、フィードバックと非政治学習の両方の長所を生かした、非政治的、インタラクティブな強化学習アルゴリズムを提案する。
提案手法は,従来ヒト・イン・ザ・ループ法で検討されていたよりも複雑度の高いタスクを学習可能であることを実証する。
論文 参考訳（メタデータ） (2021-06-09T14:10:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。