論文の概要: Enhancing LLM-Based Short Answer Grading with Retrieval-Augmented Generation

• arxiv url: http://arxiv.org/abs/2504.05276v1
• Date: Mon, 07 Apr 2025 17:17:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-15 15:05:17.299687
• Title: Enhancing LLM-Based Short Answer Grading with Retrieval-Augmented Generation
• Title（参考訳）: 検索拡張生成によるLLMによる短解像の強化
• Authors: Yucheng Chu, Peng He, Hang Li, Haoyu Han, Kaiqi Yang, Yu Xue, Tingting Li, Joseph Krajcik, Jiliang Tang,
• Abstract要約: 大型言語モデル(LLM)は、言語タスクにおいて人間のような能力を持つ。 Retrieval-augmented Generation (RAG) は有望な解決策として現れる。 自動グレーティングのための適応的なRAGフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 32.12573291200363
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Short answer assessment is a vital component of science education, allowing evaluation of students' complex three-dimensional understanding. Large language models (LLMs) that possess human-like ability in linguistic tasks are increasingly popular in assisting human graders to reduce their workload. However, LLMs' limitations in domain knowledge restrict their understanding in task-specific requirements and hinder their ability to achieve satisfactory performance. Retrieval-augmented generation (RAG) emerges as a promising solution by enabling LLMs to access relevant domain-specific knowledge during assessment. In this work, we propose an adaptive RAG framework for automated grading that dynamically retrieves and incorporates domain-specific knowledge based on the question and student answer context. Our approach combines semantic search and curated educational sources to retrieve valuable reference materials. Experimental results in a science education dataset demonstrate that our system achieves an improvement in grading accuracy compared to baseline LLM approaches. The findings suggest that RAG-enhanced grading systems can serve as reliable support with efficient performance gains.
• Abstract（参考訳）: 短い回答評価は科学教育の重要な要素であり、学生の複雑な3次元理解を評価することができる。 言語タスクにおいて人間に似た能力を持つ大規模言語モデル(LLM)は、人間のグレードラーが作業負荷を減らす手助けをするのに人気が高まっている。 しかし、LLMのドメイン知識における制限は、タスク固有の要求に対する理解を制限し、満足なパフォーマンスを達成する能力を妨げる。 検索拡張世代(RAG)は、LLMが評価中に関連するドメイン固有の知識にアクセスできるようにすることによって、有望な解決策として現れる。 本研究では,質問や学生の回答コンテキストに基づいて,ドメイン固有の知識を動的に検索し,組み込むための適応的なRAGフレームワークを提案する。 提案手法はセマンティック検索とキュレートされた教育ソースを組み合わせて,貴重な参考資料の検索を行う。 理科教育データセットにおける実験結果から,本システムは,ベースラインLLMアプローチと比較して,評価精度の向上を実現していることが示された。 以上の結果から,RAGにより強化されたグレーティングシステムは,高い性能向上を期待できる可能性が示唆された。

関連論文リスト

• LLM-based Automated Grading with Human-in-the-Loop [32.14015215819979]
  大規模言語モデル (LLM) は、自動短応答グレーディング (ASAG) にますます使われている。 本研究では,Human-in-the-loop (HITL) アプローチを用いて,ASAGタスクにおけるLLMの可能性を探究する。 提案するフレームワークである GradeHITL は LLM の生成特性を利用して人間の専門家に質問を投げかける。
  論文  参考訳（メタデータ） (2025-04-07T16:23:07Z)
• R1-Searcher: Incentivizing the Search Capability in LLMs via Reinforcement Learning [87.30285670315334]
  textbfR1-Searcherは、大規模言語モデルの検索能力を高めるために設計された、2段階の結果に基づく新しいRLアプローチである。 本フレームワークは, コールドスタート時に, プロセス報酬や蒸留を必要とせず, RLのみに依存している。 提案手法は, クローズドソースGPT-4o-miniと比較して, 従来の強力なRAG法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2025-03-07T17:14:44Z)
• Towards Efficient Educational Chatbots: Benchmarking RAG Frameworks [2.362412515574206]
  大規模言語モデル(LLM)は、大量の文献に基づく情報を収集することで、教育において非常に有益であることが証明されている。 本稿では,LLMを活用してGATEソリューションを説明し,学生の試験準備を支援するAIを活用した質問応答フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-02T08:11:07Z)
• SteLLA: A Structured Grading System Using LLMs with RAG [2.630522349105014]
  本稿では,SteLLA (Structured Grading System Using LLMs with RAG) について述べる。 受験生の回答を含む実世界のデータセットを大学レベルの生物学コースから収集した。 実験により,本システムでは,人間の学級との相当な合意を達成でき,また,その問題で検討されたすべての知識点について,ブレークダウングレードとフィードバックを提供することができた。
  論文  参考訳（メタデータ） (2025-01-15T19:24:48Z)
• Towards Knowledge Checking in Retrieval-augmented Generation: A Representation Perspective [48.40768048080928]
  Retrieval-Augmented Generation (RAG) システムは,Large Language Models (LLM) の性能向上を約束している。 本研究の目的は,RAGシステムにおける知識チェックに関する体系的研究を提供することである。
  論文  参考訳（メタデータ） (2024-11-21T20:39:13Z)
• Exploring Knowledge Boundaries in Large Language Models for Retrieval Judgment [56.87031484108484]
  大規模言語モデル(LLM)は、その実践的応用でますます認識されている。 Retrieval-Augmented Generation (RAG)はこの課題に取り組み、LLMに大きな影響を与えている。 中立あるいは有害な結果をもたらす検索要求を最小化することにより、時間と計算コストの両方を効果的に削減できる。
  論文  参考訳（メタデータ） (2024-11-09T15:12:28Z)
• Fact, Fetch, and Reason: A Unified Evaluation of Retrieval-Augmented Generation [19.312330150540912]
  新たなアプリケーションは、Large Language Models(LLMs)を使用して、検索強化世代(RAG)機能を強化している。 FRAMESは,LLMが現実的な応答を提供する能力をテストするために設計された高品質な評価データセットである。 本稿では,最先端のLLMでもこの課題に対処し,0.40の精度で検索を行なわないことを示す。
  論文  参考訳（メタデータ） (2024-09-19T17:52:07Z)
• VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
  textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
  論文  参考訳（メタデータ） (2024-09-18T16:10:47Z)
• SeRTS: Self-Rewarding Tree Search for Biomedical Retrieval-Augmented Generation [50.26966969163348]
  大規模言語モデル(LLM)は,検索増強世代(RAG)の進展に伴い,生物医学領域において大きな可能性を示した。 既存の検索強化アプローチは、様々なクエリやドキュメント、特に医療知識クエリに対処する上で、課題に直面している。 モンテカルロ木探索(MCTS)と自己回帰パラダイムに基づく自己回帰木探索(SeRTS)を提案する。
  論文  参考訳（メタデータ） (2024-06-17T06:48:31Z)
• A Survey on RAG Meeting LLMs: Towards Retrieval-Augmented Large Language Models [71.25225058845324]
  大規模言語モデル(LLM)は、言語理解と生成において革命的な能力を示している。 Retrieval-Augmented Generation (RAG)は、信頼性と最新の外部知識を提供する。 RA-LLMは、モデルの内部知識に頼るのではなく、外部および権威的な知識ベースを活用するために登場した。
  論文  参考訳（メタデータ） (2024-05-10T02:48:45Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Investigating the Factual Knowledge Boundary of Large Language Models with Retrieval Augmentation [109.8527403904657]
  大規模言語モデル(LLM)は,その知識に対する信頼度が低く,内部知識と外部知識の衝突をうまく扱えないことを示す。 検索の強化は、LLMの知識境界に対する認識を高める効果的なアプローチであることが証明されている。 本稿では,文書を動的に活用するための簡易な手法を提案する。
  論文  参考訳（メタデータ） (2023-07-20T16:46:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。