論文の概要: Evaluating Students' Open-ended Written Responses with LLMs: Using the RAG Framework for GPT-3.5, GPT-4, Claude-3, and Mistral-Large

• arxiv url: http://arxiv.org/abs/2405.05444v1
• Date: Wed, 8 May 2024 22:23:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-10 14:42:14.307873
• Title: Evaluating Students' Open-ended Written Responses with LLMs: Using the RAG Framework for GPT-3.5, GPT-4, Claude-3, and Mistral-Large
• Title（参考訳）: GPT-3.5, GPT-4, Claude-3, Mistral-LargeのRAGフレームワークを用いたLLMによる学生のオープンエンド対応の評価
• Authors: Jussi S. Jauhiainen, Agustín Garagorry Guerra,
• Abstract要約: 学生からのオープンエンドの回答を評価することは、教育者にとって不可欠だが時間を要する課題である。 近年のLarge Language Models (LLMs) の発展は,教育者の時間的有効利用と徹底的な評価の必要性のバランスをとる上で有望な機会となる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Evaluating open-ended written examination responses from students is an essential yet time-intensive task for educators, requiring a high degree of effort, consistency, and precision. Recent developments in Large Language Models (LLMs) present a promising opportunity to balance the need for thorough evaluation with efficient use of educators' time. In our study, we explore the effectiveness of LLMs ChatGPT-3.5, ChatGPT-4, Claude-3, and Mistral-Large in assessing university students' open-ended answers to questions made about reference material they have studied. Each model was instructed to evaluate 54 answers repeatedly under two conditions: 10 times (10-shot) with a temperature setting of 0.0 and 10 times with a temperature of 0.5, expecting a total of 1,080 evaluations per model and 4,320 evaluations across all models. The RAG (Retrieval Augmented Generation) framework was used as the framework to make the LLMs to process the evaluation of the answers. As of spring 2024, our analysis revealed notable variations in consistency and the grading outcomes provided by studied LLMs. There is a need to comprehend strengths and weaknesses of LLMs in educational settings for evaluating open-ended written responses. Further comparative research is essential to determine the accuracy and cost-effectiveness of using LLMs for educational assessments.
• Abstract（参考訳）: 学生からのオープンエンドテストの回答を評価することは、教育者にとって不可欠だが時間を要する課題であり、高い努力、一貫性、精度を必要とする。 近年のLarge Language Models (LLMs) の発展は,教育者の時間的有効利用と徹底的な評価の必要性のバランスをとる上で有望な機会となる。 本研究では,LLMs ChatGPT-3.5,ChatGPT-4,Claude-3,Mistral-Largeの大学生による基準資料に関する質問に対するオープンな回答の評価における有効性を検討した。 各モデルでは, 温度設定が10回, 温度が0.5の10回, モデル毎の1,080回, 全モデル毎の4,320回という2つの条件下で, 54の回答を繰り返し評価するように指示した。 RAG(Retrieval Augmented Generation)フレームワークは、LCMが回答の評価を処理するためのフレームワークとして使用された。 2024年春の時点で, 解析結果から, LLMによる一貫性の顕著な変動と, 階調の低下が認められた。 学習環境におけるLLMの強みや弱みを解明し,オープンエンドの応答を評価する必要がある。 さらなる比較研究は、LLMを教育評価に使用する際の精度と費用対効果を決定するために不可欠である。

関連論文リスト

• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• Automated Feedback in Math Education: A Comparative Analysis of LLMs for Open-Ended Responses [0.0]
  本研究では,大規模言語モデル(LLM)が数学教育における自動フィードバックを促進する可能性を探究することを目的とする。 我々は,Llamaの数学版であるMistralを採用し,このモデルを用いて,中学校数学問題に対する生徒の回答と教師によるフィードバックのデータセットを活用することによって,学生の反応を評価する。 2人の教師の判断を生かして,評価精度とフィードバックの質を評価する。
  論文  参考訳（メタデータ） (2024-10-29T16:57:45Z)
• Large Language Model as an Assignment Evaluator: Insights, Feedback, and Challenges in a 1000+ Student Course [49.296957552006226]
  大規模言語モデル(LLM)を自動評価に用いることは,NLP研究において重要な評価手法となっている。 本報告では,1028人の大学生を対象に,GPT-4を自動課題評価装置として利用する方法について述べる。
  論文  参考訳（メタデータ） (2024-07-07T00:17:24Z)
• Finding Blind Spots in Evaluator LLMs with Interpretable Checklists [23.381287828102995]
  テキスト生成タスクにおける評価器として,Large Language Models (LLMs) の有効性を検討する。 我々は,4つの重要な能力を評価する上で,評価用LLMの習熟度を評価するための新しいフレームワークであるFBIを提案する。
  論文  参考訳（メタデータ） (2024-06-19T10:59:48Z)
• Decompose and Aggregate: A Step-by-Step Interpretable Evaluation Framework [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• State of What Art? A Call for Multi-Prompt LLM Evaluation [28.307860675006545]
  我々は650万インスタンスにわたる単発評価により得られた結果の脆さを包括的に分析した。 解析のロバスト性を改善するために,多様なプロンプトのセットを用いてLSMを評価することを提案する。
  論文  参考訳（メタデータ） (2023-12-31T22:21:36Z)
• LLMEval: A Preliminary Study on How to Evaluate Large Language Models [47.12588320134504]
  我々は,様々な基準を手動評価と自動評価を比較し,現場,クラウドソーシング,パブリックアノテータ,GPT-4を用いて評価方法を分析する。 計2,186人が参加し、243,337のマニュアルアノテーションと57,511の自動評価結果が作成された。
  論文  参考訳（メタデータ） (2023-12-12T16:14:43Z)
• Benchmarking Generation and Evaluation Capabilities of Large Language Models for Instruction Controllable Summarization [132.25202059478065]
  命令制御可能なテキスト要約の大規模言語モデル(LLM)をベンチマークする。 本研究は,LLMにおいて,命令制御可能なテキスト要約が依然として困難な課題であることを示す。
  論文  参考訳（メタデータ） (2023-11-15T18:25:26Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• A Survey on Evaluation of Large Language Models [87.60417393701331]
  大規模言語モデル(LLM)は、学術と産業の両方で人気が高まっている。 本稿では,評価方法,評価方法,評価方法の3つの重要な側面に焦点をあてる。
  論文  参考訳（メタデータ） (2023-07-06T16:28:35Z)
• Boosting Theory-of-Mind Performance in Large Language Models via Prompting [2.538209532048867]
  本研究は,GPT-4および3種類のGPT-3.5のToM特性を測定する。 ToM理解の改善における文脈内学習の有効性を検討した。
  論文  参考訳（メタデータ） (2023-04-22T22:50:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。