論文の概要: Generating Feedback-Ladders for Logical Errors in Programming using Large Language Models

• arxiv url: http://arxiv.org/abs/2405.00302v1
• Date: Wed, 1 May 2024 03:52:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-02 16:37:17.244812
• Title: Generating Feedback-Ladders for Logical Errors in Programming using Large Language Models
• Title（参考訳）: 大規模言語モデルを用いたプログラミングにおける論理エラーに対するフィードバックラダーの生成
• Authors: Hasnain Heickal, Andrew Lan,
• Abstract要約: 大規模言語モデル(LLM)に基づく手法は,プログラムの代入に対するフィードバック生成において大きな可能性を秘めている。 本稿では、LLMを用いて「フィードバック・ラダー」、すなわち、同じ問題とサブミッションのペアに対する複数のレベルのフィードバックを生成する。 本研究では, 学生, 教育者, 研究者によるユーザスタディにより, 生成したフィードバックラダーの品質を評価する。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In feedback generation for logical errors in programming assignments, large language model (LLM)-based methods have shown great promise. These methods ask the LLM to generate feedback given the problem statement and a student's (buggy) submission. There are several issues with these types of methods. First, the generated feedback messages are often too direct in revealing the error in the submission and thus diminish valuable opportunities for the student to learn. Second, they do not consider the student's learning context, i.e., their previous submissions, current knowledge, etc. Third, they are not layered since existing methods use a single, shared prompt for all student submissions. In this paper, we explore using LLMs to generate a "feedback-ladder", i.e., multiple levels of feedback for the same problem-submission pair. We evaluate the quality of the generated feedback-ladder via a user study with students, educators, and researchers. We have observed diminishing effectiveness for higher-level feedback and higher-scoring submissions overall in the study. In practice, our method enables teachers to select an appropriate level of feedback to show to a student based on their personal learning context, or in a progressive manner to go more detailed if a higher-level feedback fails to correct the student's error.
• Abstract（参考訳）: プログラム代入における論理的誤りに対するフィードバック生成において,大規模言語モデル(LLM)に基づく手法は大きな可能性を秘めている。 これらの方法は、問題ステートメントと学生の(バグ)提出を前提として、LSMにフィードバックを生成するよう要求する。 このような方法にはいくつかの問題がある。 第一に、生成されたフィードバックメッセージは、しばしば、提出中のエラーを明らかにするために直接的すぎるので、学生が学ぶ貴重な機会を減らします。 第二に、学生の学習の文脈、すなわち、以前の提出書、現在の知識などを考慮していない。 第3に、既存のメソッドでは、すべての学生の応募に対して単一の共有プロンプトを使用するため、レイヤ化されていない。 本稿では,LLMを用いて「フィードバック・ラダー」、すなわち同じ問題・サブミッション・ペアに対するフィードバックのレベルを複数生成する方法について検討する。 本研究では, 学生, 教育者, 研究者によるユーザスタディにより, 生成したフィードバックラダーの品質を評価する。 本研究は,高レベルのフィードバックと高レベルの提案に対する効果の低下を総合的に観察した。 実際に,本手法では,教師が個人的学習状況に基づいて,生徒に適切なレベルのフィードバックを提示するか,あるいは高レベルのフィードバックが生徒の誤りを訂正できなかった場合に,より詳細に学習することができる。

関連論文リスト

• CANDERE-COACH: Reinforcement Learning from Noisy Feedback [12.232688822099325]
  CANDERE-COACHアルゴリズムは、非最適教師によるノイズフィードバックから学習することができる。 本稿では,教師のフィードバックの最大40%が誤りであった場合,RLエージェントが学習を成功させるためのノイズフィルタリング機構を提案する。
  論文  参考訳（メタデータ） (2024-09-23T20:14:12Z)
• "My Grade is Wrong!": A Contestable AI Framework for Interactive Feedback in Evaluating Student Essays [6.810086342993699]
  本稿では,対話型フィードバックを自動生成するContestable AI Empowered LLM FrameworkであるCAELFを紹介する。 CAELFは、マルチエージェントシステムと計算的議論を統合することで、学生がフィードバックをクエリし、挑戦し、明確化することができる。 ユーザスタディを用いた500の批判的思考エッセイのケーススタディでは,CAELFが対話的フィードバックを大幅に改善することが示された。
  論文  参考訳（メタデータ） (2024-09-11T17:59:01Z)
• Stepwise Verification and Remediation of Student Reasoning Errors with Large Language Model Tutors [78.53699244846285]
  大規模言語モデル(LLM)は、高品質なパーソナライズされた教育を全員に拡大する機会を提供する。 LLMは、学生のエラーを正確に検知し、これらのエラーに対するフィードバックを調整するのに苦労する。 教師が学生の誤りを識別し、それに基づいて回答をカスタマイズする現実世界の教育実践に触発され、我々は学生ソリューションの検証に焦点をあてる。
  論文  参考訳（メタデータ） (2024-07-12T10:11:40Z)
• Show, Don't Tell: Aligning Language Models with Demonstrated Feedback [54.10302745921713]
  Demonstration ITerated Task Optimization (DITTO)は、言語モデルの出力とユーザの実証された振る舞いを直接調整する。 我々は,DITTOがニュース記事やメール,ブログ記事などのドメイン間できめ細かいスタイルやタスクアライメントを学習する能力を評価する。
  論文  参考訳（メタデータ） (2024-06-02T23:13:56Z)
• Can Large Language Models Replicate ITS Feedback on Open-Ended Math Questions? [3.7399138244928145]
  本研究では,大規模言語モデルのオープンエンド数学質問に対するフィードバック生成能力について検討する。 オープンソースのモデルとプロプライエタリなモデルの両方が、トレーニング中に見たフィードバックを複製する可能性を示していますが、以前は見つからなかった学生のエラーに対して、十分に一般化していません。
  論文  参考訳（メタデータ） (2024-05-10T11:53:53Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• System-Level Natural Language Feedback [83.24259100437965]
  システムレベルの設計決定を人為的なループプロセスで形式化する上で,フィードバックの活用方法を示す。 検索クエリと対話応答生成を改善するために,本手法のケーススタディを2つ実施する。 システムレベルのフィードバックとインスタンスレベルのフィードバックの組み合わせは、さらなる利益をもたらします。
  論文  参考訳（メタデータ） (2023-06-23T16:21:40Z)
• Fine-Grained Human Feedback Gives Better Rewards for Language Model Training [108.25635150124539]
  言語モデル(LM)は、しばしば偽、有毒、無関係な出力を生成するなど、望ましくないテキスト生成の振る舞いを示す。 本研究では,2つの点において微細な報酬関数から学習と学習を可能にするフレームワークであるFine-Grained RLHFを紹介する。
  論文  参考訳（メタデータ） (2023-06-02T17:11:37Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。