論文の概要: Leveraging Lecture Content for Improved Feedback: Explorations with GPT-4 and Retrieval Augmented Generation
- arxiv url: http://arxiv.org/abs/2405.06681v1
- Date: Sun, 5 May 2024 18:32:06 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-27 03:27:39.844913
- Title: Leveraging Lecture Content for Improved Feedback: Explorations with GPT-4 and Retrieval Augmented Generation
- Title(参考訳): フィードバック改善のための講義内容の活用:GPT-4と検索拡張生成による探索
- Authors: Sven Jacobs, Steffen Jaschke,
- Abstract要約: 本稿では,大規模言語モデルによるプログラミングタスクのフィードバックを改善するために,検索拡張生成(Retrieval Augmented Generation)を提案する。
対応する講義記録は転写され、外部知識源としてLarge Language Model GPT-4で利用可能となった。
この目的は、幻覚を予防し、講義の技術的用語やフレーズの使用を強制することである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper presents the use of Retrieval Augmented Generation (RAG) to improve the feedback generated by Large Language Models for programming tasks. For this purpose, corresponding lecture recordings were transcribed and made available to the Large Language Model GPT-4 as external knowledge source together with timestamps as metainformation by using RAG. The purpose of this is to prevent hallucinations and to enforce the use of the technical terms and phrases from the lecture. In an exercise platform developed to solve programming problems for an introductory programming lecture, students can request feedback on their solutions generated by GPT-4. For this task GPT-4 receives the students' code solution, the compiler output, the result of unit tests and the relevant passages from the lecture notes available through the use of RAG as additional context. The feedback generated by GPT-4 should guide students to solve problems independently and link to the lecture content, using the time stamps of the transcript as meta-information. In this way, the corresponding lecture videos can be viewed immediately at the corresponding positions. For the evaluation, students worked with the tool in a workshop and decided for each feedback whether it should be extended by RAG or not. First results based on a questionnaire and the collected usage data show that the use of RAG can improve feedback generation and is preferred by students in some situations. Due to the slower speed of feedback generation, the benefits are situation dependent.
- Abstract(参考訳): 本稿では,大規模言語モデルによるプログラミングタスクのフィードバックを改善するためにRAG(Retrieval Augmented Generation)を提案する。
この目的のために、対応する講義記録を転写し、RAGを用いてタイムスタンプと共に外部知識源としてLarge Language Model GPT-4に提供した。
この目的は、幻覚を予防し、講義の技術的用語やフレーズの使用を強制することである。
プログラミング入門講座のプログラミング問題を解くために開発された演習プラットフォームにおいて,学生はGPT-4で生成したソリューションに対するフィードバックを要求できる。
このタスクのために、GPT-4は、学生のコードソリューション、コンパイラ出力、ユニットテストの結果、RAGを付加コンテキストとして使用することで利用可能な講義ノートからの関連パスを受信する。
GPT-4 が生み出したフィードバックは,学習者が個別に問題を解き,講義内容にリンクするように指導し,そのタイムスタンプをメタ情報として利用する。
このようにして、対応する講義映像を対応する位置に即座に見ることができる。
評価のために、学生はワークショップでツールを使って作業し、RAGによって拡張されるべきか否かを各フィードバックで判断した。
アンケートと収集した利用データから,RAGの使用によりフィードバック生成が向上し,一部の状況では学生が好むことが示唆された。
フィードバック生成の速度が遅いため、そのメリットは状況によって異なります。
関連論文リスト
- Evaluating the Application of Large Language Models to Generate Feedback in Programming Education [0.0]
本研究では,大規模言語モデル,特にGPT-4のプログラミング教育への応用について検討する。
本研究は, GPT-4 を用いてプログラミングタスクに対するフィードバックを提供する Web アプリケーションの設計について概説する。
論文 参考訳(メタデータ) (2024-03-13T23:14:35Z) - Feedback-Generation for Programming Exercises With GPT-4 [0.0]
本稿では,プログラミングタスク仕様と学生が入力として提出した入力の両方を含むプロンプトに対して,GPT-4 Turboが生成する出力の品質について検討する。
アウトプットは, 正当性, パーソナライゼーション, フォールトローカライゼーション, その他の特徴について質的に分析した。
論文 参考訳(メタデータ) (2024-03-07T12:37:52Z) - Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳(メタデータ) (2024-03-02T20:25:50Z) - Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
InFO-RAG という情報改質訓練手法を提案する。
InFO-RAGは低コストで、様々なタスクにまたがっている。
LLaMA2の性能を平均9.39%向上させる。
論文 参考訳(メタデータ) (2024-02-28T08:24:38Z) - CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。
CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
論文 参考訳(メタデータ) (2023-11-30T16:52:42Z) - Question-Answering Approach to Evaluating Legal Summaries [0.43512163406551996]
GPT-4は、メインポイントと参照サマリーの情報をカバーする一連の質問応答ペアを生成するために使用される。
GPT-4は、参照要約から生成された質問の要約に基づいて回答を生成する。
GPT-4は、参照要約と生成された要約から回答を格付けする。
論文 参考訳(メタデータ) (2023-09-26T15:36:29Z) - Large Language Models (GPT) for automating feedback on programming
assignments [0.0]
我々は,プログラミング課題を解決するためのパーソナライズされたヒントを生成するために,OpenAIのGPT-3.5モデルを採用している。
学生はGPT生成ヒントの有用性を肯定的に評価した。
論文 参考訳(メタデータ) (2023-06-30T21:57:40Z) - Instruction Tuning with GPT-4 [107.55078894215798]
本稿では, GPT-4を用いて命令追従データを生成し, 大規模言語モデルを微調整する試みについて述べる。
命令調整型LLaMAモデルの初期実験では、52Kの英語と中国語の命令追従データがGPT-4によって生成され、新しいタスクにおけるゼロショット性能が向上することが示された。
論文 参考訳(メタデータ) (2023-04-06T17:58:09Z) - Error syntax aware augmentation of feedback comment generation dataset [116.73173348201341]
本稿では、2022年のGenChalの共有タスクに対して、フィードバックによるコメント生成を学習に用いたソリューションを提案する。
このタスクは、エラーのあるテキストとエラーのスパンを与えられた場合、システムは、書き手(言語学習者)が書き方を改善するのに役立つ説明メモを生成する。
論文 参考訳(メタデータ) (2022-12-29T12:57:23Z) - Object Relational Graph with Teacher-Recommended Learning for Video
Captioning [92.48299156867664]
本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。
具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。
一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
論文 参考訳(メタデータ) (2020-02-26T15:34:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。