論文の概要: How Helpful do Novice Programmers Find the Feedback of an Automated Repair Tool?

• arxiv url: http://arxiv.org/abs/2310.00954v2
• Date: Sat, 7 Oct 2023 13:49:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-13 02:19:16.338530
• Title: How Helpful do Novice Programmers Find the Feedback of an Automated Repair Tool?
• Title（参考訳）: 初心者プログラマは自動修復ツールのフィードバックをいかに役に立ちますか?
• Authors: Oka Kurniawan, Christopher M. Poskitt, Ismam Al Hoque, Norman Tiong Seng Lee, Cyrille J\'egourel, Nachamma Sockalingam
• Abstract要約: 自動修復ツールであるCLARAを使って初心者にフィードバックを提供する経験について述べる。 まず、私たちはCLARAを拡張してPython言語のより大きなサブセットをサポートし、それからプログラミング演習に使用するJupyter Notebooksと統合しました。 初心者は、しばしば、提案された修復を理解するのに苦労し、コンパイラ/解釈メッセージを理解するのがよく知られた課題であることがわかった。
• 参考スコア（独自算出の注目度）: 1.2990666399718034
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Immediate feedback has been shown to improve student learning. In programming courses, immediate, automated feedback is typically provided in the form of pre-defined test cases run by a submission platform. While these are excellent for highlighting the presence of logical errors, they do not provide novice programmers enough scaffolding to help them identify where an error is or how to fix it. To address this, several tools have been developed that provide richer feedback in the form of program repairs. Studies of such tools, however, tend to focus more on whether correct repairs can be generated, rather than how novices are using them. In this paper, we describe our experience of using CLARA, an automated repair tool, to provide feedback to novices. First, we extended CLARA to support a larger subset of the Python language, before integrating it with the Jupyter Notebooks used for our programming exercises. Second, we devised a preliminary study in which students tackled programming problems with and without support of the tool using the 'think aloud' protocol. We found that novices often struggled to understand the proposed repairs, echoing the well-known challenge to understand compiler/interpreter messages. Furthermore, we found that students valued being told where a fix was needed - without necessarily the fix itself - suggesting that 'less may be more' from a pedagogical perspective.
• Abstract（参考訳）: 即時フィードバックは学生の学習を改善することが示されている。 プログラミングコースでは、即時、自動化されたフィードバックは、通常、提出プラットフォームによって実行される事前定義されたテストケースの形で提供される。 これらは論理的エラーの存在を強調するのに優れているが、エラーの所在や修正方法を特定するのに役立つ、初心者プログラマの足場を提供していない。 これを解決するために、プログラム修復の形でよりリッチなフィードバックを提供するツールが開発されている。 しかし、そのようなツールの研究は、初心者がそれを使う方法よりも、正しい修理ができるかどうかに重点を置いている。 本稿では,自動修復ツールであるCLARAを用いて初心者にフィードバックを提供する経験について述べる。 まず、私たちはCLARAを拡張してPython言語のより大きなサブセットをサポートし、それからプログラミング演習に使用するJupyter Notebooksと統合しました。 第2に,学生が'think aloud'プロトコルを用いて,ツールのサポートの有無に関わらずプログラミング問題に取り組む予備的な研究を考案した。 初心者は、しばしば、提案された修復を理解するのに苦労し、コンパイラ/解釈メッセージを理解するのがよく知られた課題であることがわかった。 さらに, 学生は, 必ずしも修正自体を使わずに, 修正が必要な場所を指示されることが大切であることを見出し, 教育的観点から「それ以上ではないかもしれない」と示唆した。

関連論文リスト

• A Novel Approach for Automatic Program Repair using Round-Trip Translation with Large Language Models [50.86686630756207]
  研究によると、ある文の文法的誤りは、それを他の言語に翻訳し、その語を返せば修正できる。 現在の自動プログラム修復(APR)生成モデルは、ソースコードで事前訓練され、修正のために微調整されている。 本稿では,あるプログラミング言語から別のプログラミング言語,あるいは自然言語へのコード変換,そして,その逆といった,微調整ステップをバイパスし,ラウンド・トリップ変換(RTT)を用いる手法を提案する。
  論文  参考訳（メタデータ） (2024-01-15T22:36:31Z)
• Flexible Control Flow Graph Alignment for Delivering Data-Driven Feedback to Novice Programming Learners [0.847136673632881]
  我々は,オープンソースのデータ駆動型自動修復手法であるCLARAに,いくつかの改良を加えて提案する。 我々はCLARAの抽象構文木プロセッサを拡張し、一般的な入門プログラミング構造を扱う。 CLARAの修復プロセスを適用するために,不正プログラムの制御フローグラフを修正した。
  論文  参考訳（メタデータ） (2024-01-02T19:56:50Z)
• Dcc --help: Generating Context-Aware Compiler Error Explanations with Large Language Models [53.04357141450459]
  dcc --helpはCS1とCS2のコースにデプロイされ、2565人の学生が10週間で64,000回以上このツールを使っている。 LLMが生成した説明は、コンパイル時間の90%と実行時の75%で概念的に正確であるが、コードに解決策を提供しない命令を無視することが多かった。
  論文  参考訳（メタデータ） (2023-08-23T02:36:19Z)
• A large language model-assisted education tool to provide feedback on open-ended responses [2.624902795082451]
  本稿では,大規模言語モデル (LLM) をインストラクター定義基準でガイドし,オープンエンド質問に対する応答を自動化するツールを提案する。 本ツールでは,素早いパーソナライズされたフィードバックを提供することで,学生が知識を迅速にテストし,改善すべき領域を特定できる。
  論文  参考訳（メタデータ） (2023-07-25T19:49:55Z)
• Generating High-Precision Feedback for Programming Syntax Errors using Large Language Models [23.25258654890813]
  大規模言語モデル(LLM)は,学生のフィードバックを自動的に生成することによって,プログラミング教育の強化に大きく貢献する。 Codexを利用した高精度フィードバック生成技術であるPyFiXVを紹介する。
  論文  参考訳（メタデータ） (2023-01-24T13:00:25Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• Repairing Bugs in Python Assignments Using Large Language Models [9.973714032271708]
  本稿では,プログラム代入のためのAPRシステムを構築するために,コード上で訓練された大規模言語モデルを提案する。 本システムでは,複数モーダルプロンプト,反復クエリ,テストケースベースの数ショット選択,プログラムチャンキングを組み合わせることで,構文的および意味的誤りを解消することができる。 我々は,286の実際の学生プログラム上でMMAPRを評価し,最新のPython構文修復エンジン,BIFI,最新のPython意味修復エンジンを組み合わせたベースラインであるRefactoryと比較した。
  論文  参考訳（メタデータ） (2022-09-29T15:41:17Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Break-It-Fix-It: Unsupervised Learning for Program Repair [90.55497679266442]
  我々は2つの重要なアイデアを持つ新しいトレーニング手法であるBreak-It-Fix-It (BIFI)を提案する。 批判者は、実際の悪い入力でフィクスダーの出力をチェックし、トレーニングデータに良い(固定された)出力を追加する。 これらのアイデアに基づいて、よりペア化されたデータを生成するために、ブレーカとフィクスチャを同時に使用しながら、繰り返し更新する。 BIFIは既存のメソッドより優れており、GitHub-Pythonで90.5%、DeepFixで71.7%の修正精度がある。
  論文  参考訳（メタデータ） (2021-06-11T20:31:04Z)
• SYNFIX: Automatically Fixing Syntax Errors using Compiler Diagnostics [0.0]
  生徒は、構文エラーに対処する際の自動修正提案によって助けられ、インストラクターの時間を節約できる。 最新技術を大幅に向上させる機械学習ベースのツールであるSYNFIXを紹介します。 私たちはSYNFIXを無償のVisual Studio Codeのオープンソースバージョンに作りました。すべてのソースコードとモデルを自由に利用できるようにしています。
  論文  参考訳（メタデータ） (2021-04-29T21:57:44Z)
• Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
  本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。 次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。 オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-05-20T07:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。