論文の概要: An LLM -Powered Assessment Retrieval-Augmented Generation (RAG) For Higher Education

• arxiv url: http://arxiv.org/abs/2601.06141v1
• Date: Mon, 05 Jan 2026 15:13:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.608692
• Title: An LLM -Powered Assessment Retrieval-Augmented Generation (RAG) For Higher Education
• Title（参考訳）: 高等教育のためのLLM-Powered Assessment Retrieval-Augmented Generation (RAG)
• Authors: Reza Vatankhah Barenji, Nazila Salimi, Sina Khoshgoftar,
• Abstract要約: 本研究では,Retrieval-Augmented Generationアーキテクチャに基づくエージェントアセスメントシステムを提案する。 このシステムは,大規模な言語モデルと,ルーブリック基準やエッセイ,インストラクターのフィードバックなどにアクセスする構造化された検索機構を統合している。 以上の結果から,RAGシステムは信頼性の高いルーブリック整合フィードバックを大規模に生成し,94～99%の人が評価できることがわかった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Providing timely, consistent, and high-quality feedback in large-scale higher education courses remains a persistent challenge, often constrained by instructor workload and resource limitations. This study presents an LLM-powered, agentic assessment system built on a Retrieval-Augmented Generation (RAG) architecture to address these challenges. The system integrates a large language model with a structured retrieval mechanism that accesses rubric criteria, exemplar essays, and instructor feedback to generate contextually grounded grades and formative comments. A mixed-methods evaluation was conducted using 701 student essays, combining quantitative analyses of inter-rater reliability, scoring alignment, and consistency with instructor assessments, alongside qualitative evaluation of feedback quality, pedagogical relevance, and student support. Results demonstrate that the RAG system can produce reliable, rubric-aligned feedback at scale, achieving 94--99% agreement with human evaluators, while also enhancing students' opportunities for self-regulated learning and engagement with assessment criteria. The discussion highlights both pedagogical limitations, including potential constraints on originality and feedback dialogue, and the transformative potential of RAG systems to augment instructors' capabilities, streamline assessment workflows, and support scalable, adaptive learning environments. This research contributes empirical evidence for the application of agentic AI in higher education, offering a scalable and pedagogically informed model for enhancing feedback accessibility, consistency, and quality.
• Abstract（参考訳）: 大規模高等教育コースにおいて、タイムリーで一貫性があり、高品質なフィードバックを提供することは、しばしばインストラクターの作業負荷とリソース制限によって制約される、永続的な課題である。 本研究では,これらの課題に対処するために,レトリーバル拡張生成(RAG)アーキテクチャ上に構築されたLLMを利用したエージェントアセスメントシステムを提案する。 このシステムは大きな言語モデルと構造化された検索機構を統合し、ルーリックな基準、模範的なエッセイ、インストラクターのフィードバックにアクセスし、文脈的に基礎付けられたグレードと形式的なコメントを生成する。 701名の学生エッセイを用いて混合メソッド評価を行い, 学生の信頼性, スコアリングアライメント, およびインストラクター評価との整合性を定量的に分析し, フィードバック品質, 教育的妥当性, 学生支援の質的評価を行った。 以上の結果から,RAGシステムは,評価者との94～99%の合意を達成しつつ,学生の自己統制学習の機会と,評価基準によるエンゲージメントを高めるとともに,信頼性の高いルーブリック・アライメント・フィードバックを大規模に生成できることが示唆された。 議論では、独創性とフィードバックの対話に関する潜在的な制約や、インストラクターの能力向上のためのRAGシステムの変革的ポテンシャル、合理化評価ワークフロー、スケーラブルで適応的な学習環境のサポートなど、教育上の制限を強調している。 この研究は、高等教育におけるエージェントAIの適用に関する実証的な証拠を提供し、フィードバックのアクセシビリティ、一貫性、品質を高めるためのスケーラブルで教育的なインフォメーションモデルを提供する。

関連論文リスト

• AGACCI : Affiliated Grading Agents for Criteria-Centric Interface in Educational Coding Contexts [0.6050976240234864]
  本稿では,協調エージェント間で専門的な評価を分散するマルチエージェントシステムAGACCIを紹介する。 AGACCIは、ルーブリックとフィードバックの正確性、妥当性、一貫性、一貫性の点で、単一のGPTベースのベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-07-07T15:50:46Z)
• The AI Imperative: Scaling High-Quality Peer Review in Machine Learning [49.87236114682497]
  AIによるピアレビューは、緊急の研究とインフラの優先事項になるべきだ、と私たちは主張する。 我々は、事実検証の強化、レビュアーのパフォーマンスの指導、品質改善における著者の支援、意思決定におけるAC支援におけるAIの具体的な役割を提案する。
  論文  参考訳（メタデータ） (2025-06-09T18:37:14Z)
• RAG-Zeval: Towards Robust and Interpretable Evaluation on RAG Responses through End-to-End Rule-Guided Reasoning [64.46921169261852]
  RAG-Zevalは、ルール誘導推論タスクとして忠実さと正しさの評価を定式化する、新しいエンドツーエンドフレームワークである。 提案手法は、強化学習による評価者を訓練し、コンパクトなモデルにより包括的および音質評価を生成する。 実験では、RAG-Zevalの優れた性能を示し、人間の判断と最も強い相関性を達成した。
  論文  参考訳（メタデータ） (2025-05-28T14:55:33Z)
• Enhancing LLM-Based Short Answer Grading with Retrieval-Augmented Generation [32.12573291200363]
  大型言語モデル(LLM)は、言語タスクにおいて人間のような能力を持つ。 Retrieval-augmented Generation (RAG) は有望な解決策として現れる。 自動グレーティングのための適応的なRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-07T17:17:41Z)
• A Zero-Shot LLM Framework for Automatic Assignment Grading in Higher Education [0.6141800972050401]
  ゼロショット大言語モデル(LLM)に基づく自動アサインメントグレーディング(AAG)システムを提案する。 このフレームワークはプロンプトエンジニアリングを利用して、追加のトレーニングや微調整を必要とせず、計算と説明の両方の学生の反応を評価する。 AAGシステムは、個々の強みと改善の領域を強調した調整されたフィードバックを提供し、それによって学生の学習結果を向上する。
  論文  参考訳（メタデータ） (2025-01-24T08:01:41Z)
• AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment [15.969280805269976]
  AERA Chatは、生徒の回答の自動評価のために設計されたインタラクティブな視覚化プラットフォームである。 AERA Chatは複数の言語モデル(LLM)を活用して、生徒の回答を同時にスコアし、説明的合理性を生成する。 複数のデータセットに対する複数の合理的生成手法の評価を通じて,プラットフォームの有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-12T11:57:53Z)
• Modelling Assessment Rubrics through Bayesian Networks: a Pragmatic Approach [40.06500618820166]
  本稿では,学習者モデルを直接評価ルーリックから導出する手法を提案する。 本稿では,コンピュータ思考のスキルをテストするために開発された活動の人的評価を自動化するために,この手法を適用する方法について述べる。
  論文  参考訳（メタデータ） (2022-09-07T10:09:12Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。