論文の概要: Leveraging Lecture Content for Improved Feedback: Explorations with GPT-4 and Retrieval Augmented Generation

• arxiv url: http://arxiv.org/abs/2405.06681v1
• Date: Sun, 5 May 2024 18:32:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-27 03:27:39.844913
• Title: Leveraging Lecture Content for Improved Feedback: Explorations with GPT-4 and Retrieval Augmented Generation
• Title（参考訳）: フィードバック改善のための講義内容の活用:GPT-4と検索拡張生成による探索
• Authors: Sven Jacobs, Steffen Jaschke,
• Abstract要約: 本稿では,大規模言語モデルによるプログラミングタスクのフィードバックを改善するために,検索拡張生成(Retrieval Augmented Generation)を提案する。 対応する講義記録は転写され、外部知識源としてLarge Language Model GPT-4で利用可能となった。 この目的は、幻覚を予防し、講義の技術的用語やフレーズの使用を強制することである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the use of Retrieval Augmented Generation (RAG) to improve the feedback generated by Large Language Models for programming tasks. For this purpose, corresponding lecture recordings were transcribed and made available to the Large Language Model GPT-4 as external knowledge source together with timestamps as metainformation by using RAG. The purpose of this is to prevent hallucinations and to enforce the use of the technical terms and phrases from the lecture. In an exercise platform developed to solve programming problems for an introductory programming lecture, students can request feedback on their solutions generated by GPT-4. For this task GPT-4 receives the students' code solution, the compiler output, the result of unit tests and the relevant passages from the lecture notes available through the use of RAG as additional context. The feedback generated by GPT-4 should guide students to solve problems independently and link to the lecture content, using the time stamps of the transcript as meta-information. In this way, the corresponding lecture videos can be viewed immediately at the corresponding positions. For the evaluation, students worked with the tool in a workshop and decided for each feedback whether it should be extended by RAG or not. First results based on a questionnaire and the collected usage data show that the use of RAG can improve feedback generation and is preferred by students in some situations. Due to the slower speed of feedback generation, the benefits are situation dependent.
• Abstract（参考訳）: 本稿では,大規模言語モデルによるプログラミングタスクのフィードバックを改善するためにRAG(Retrieval Augmented Generation)を提案する。 この目的のために、対応する講義記録を転写し、RAGを用いてタイムスタンプと共に外部知識源としてLarge Language Model GPT-4に提供した。 この目的は、幻覚を予防し、講義の技術的用語やフレーズの使用を強制することである。 プログラミング入門講座のプログラミング問題を解くために開発された演習プラットフォームにおいて,学生はGPT-4で生成したソリューションに対するフィードバックを要求できる。 このタスクのために、GPT-4は、学生のコードソリューション、コンパイラ出力、ユニットテストの結果、RAGを付加コンテキストとして使用することで利用可能な講義ノートからの関連パスを受信する。 GPT-4 が生み出したフィードバックは,学習者が個別に問題を解き,講義内容にリンクするように指導し,そのタイムスタンプをメタ情報として利用する。 このようにして、対応する講義映像を対応する位置に即座に見ることができる。 評価のために、学生はワークショップでツールを使って作業し、RAGによって拡張されるべきか否かを各フィードバックで判断した。 アンケートと収集した利用データから,RAGの使用によりフィードバック生成が向上し,一部の状況では学生が好むことが示唆された。 フィードバック生成の速度が遅いため、そのメリットは状況によって異なります。

関連論文リスト

• Evaluating GPT-4 at Grading Handwritten Solutions in Math Exams [48.99818550820575]
  我々は、最先端のマルチモーダルAIモデル、特にGPT-4oを利用して、大学レベルの数学試験に対する手書きの応答を自動的に評価する。 確率論試験における質問に対する実際の学生の反応を用いて, GPT-4oのスコアと, 様々なプロンプト技術を用いて, 人間の学級のスコアとの整合性を評価する。
  論文  参考訳（メタデータ） (2024-11-07T22:51:47Z)
• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• GPT-4 as a Homework Tutor can Improve Student Engagement and Learning Outcomes [80.60912258178045]
  我々は,中学生が第二言語として英語を学習するための対話型宿題セッションを,GPT-4で実施できるプロンプト戦略を開発した。 従来の宿題を GPT-4 の宿題に置き換え,4つの高校生の授業でランダム化比較試験(RCT)を行った。 学習結果の大幅な改善,特に文法の増大,学生のエンゲージメントについて検討した。
  論文  参考訳（メタデータ） (2024-09-24T11:22:55Z)
• Evaluating the Application of Large Language Models to Generate Feedback in Programming Education [0.0]
  本研究では,大規模言語モデル,特にGPT-4のプログラミング教育への応用について検討する。 本研究は, GPT-4 を用いてプログラミングタスクに対するフィードバックを提供する Web アプリケーションの設計について概説する。
  論文  参考訳（メタデータ） (2024-03-13T23:14:35Z)
• Feedback-Generation for Programming Exercises With GPT-4 [0.0]
  本稿では,プログラミングタスク仕様と学生が入力として提出した入力の両方を含むプロンプトに対して,GPT-4 Turboが生成する出力の品質について検討する。 アウトプットは, 正当性, パーソナライゼーション, フォールトローカライゼーション, その他の特徴について質的に分析した。
  論文  参考訳（メタデータ） (2024-03-07T12:37:52Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• Question-Answering Approach to Evaluating Legal Summaries [0.43512163406551996]
  GPT-4は、メインポイントと参照サマリーの情報をカバーする一連の質問応答ペアを生成するために使用される。 GPT-4は、参照要約から生成された質問の要約に基づいて回答を生成する。 GPT-4は、参照要約と生成された要約から回答を格付けする。
  論文  参考訳（メタデータ） (2023-09-26T15:36:29Z)
• Error syntax aware augmentation of feedback comment generation dataset [116.73173348201341]
  本稿では、2022年のGenChalの共有タスクに対して、フィードバックによるコメント生成を学習に用いたソリューションを提案する。 このタスクは、エラーのあるテキストとエラーのスパンを与えられた場合、システムは、書き手(言語学習者)が書き方を改善するのに役立つ説明メモを生成する。
  論文  参考訳（メタデータ） (2022-12-29T12:57:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。