論文の概要: Giving Feedback on Interactive Student Programs with Meta-Exploration
- arxiv url: http://arxiv.org/abs/2211.08802v1
- Date: Wed, 16 Nov 2022 10:00:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-17 13:42:54.415715
- Title: Giving Feedback on Interactive Student Programs with Meta-Exploration
- Title（参考訳）: メタ探索による対話型学生プログラムへのフィードバック
- Authors: Evan Zheran Liu, Moritz Stephan, Allen Nie, Chris Piech, Emma
Brunskill, Chelsea Finn
- Abstract要約: ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。
Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
- 参考スコア（独自算出の注目度）: 74.5597783609281
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Developing interactive software, such as websites or games, is a particularly
engaging way to learn computer science. However, teaching and giving feedback
on such software is time-consuming -- standard approaches require instructors
to manually grade student-implemented interactive programs. As a result, online
platforms that serve millions, like Code.org, are unable to provide any
feedback on assignments for implementing interactive programs, which critically
hinders students' ability to learn. One approach toward automatic grading is to
learn an agent that interacts with a student's program and explores states
indicative of errors via reinforcement learning. However, existing work on this
approach only provides binary feedback of whether a program is correct or not,
while students require finer-grained feedback on the specific errors in their
programs to understand their mistakes. In this work, we show that exploring to
discover errors can be cast as a meta-exploration problem. This enables us to
construct a principled objective for discovering errors and an algorithm for
optimizing this objective, which provides fine-grained feedback. We evaluate
our approach on a set of over 700K real anonymized student programs from a
Code.org interactive assignment. Our approach provides feedback with 94.3%
accuracy, improving over existing approaches by 17.7% and coming within 1.5% of
human-level accuracy. Project web page: https://ezliu.github.io/dreamgrader.
- Abstract（参考訳）: ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。
しかし、そのようなソフトウェアを教育し、フィードバックを与えるのに時間がかかり、標準的なアプローチでは、インストラクターが手動で学生が実装したインタラクティブプログラムを評価しなければならない。
結果として、code.orgのような数百万のオンラインプラットフォームは、インタラクティブなプログラムを実装するための課題に対するフィードバックが得られず、学生の学習能力が著しく阻害される。
自動格付けへのアプローチの1つは、生徒のプログラムと相互作用するエージェントを学習し、強化学習を通してエラーを示す状態を調べることである。
しかし、このアプローチに関する既存の研究は、プログラムが正しいかどうかについてのバイナリフィードバックのみを提供しており、学生はプログラムの特定のエラーについてよりきめ細かいフィードバックを必要としている。
本研究では,エラー発見の探索をメタ爆発問題としてキャストできることを示す。
これにより、エラーを発見するための原則化された目的と、この目的を最適化するアルゴリズムを構築し、きめ細かいフィードバックを提供する。
Code.orgの対話型課題から,700万以上の実匿名化学生プログラムに対するアプローチを評価する。
我々のアプローチは94.3%の精度でフィードバックを提供し、既存のアプローチを17.7%改善し、人間レベルの精度の1.5%以内になる。
プロジェクトwebページ: https://ezliu.github.io/dreamgrader。
関連論文リスト
- WIP: A Unit Testing Framework for Self-Guided Personalized Online Robotics Learning [3.613641107321095]
本稿では,授業ワークフローに統合しながら,単体テストのためのシステムを構築することに焦点を当てる。
フレームワークのパーソナライズされた学生中心のアプローチに合わせて、この方法は学生がプログラミング作業を簡単に修正し、デバッグできるようにする。
単体テストを含むコースワークフローは、学習環境を強化し、学生が自己指導型でロボットをプログラムする方法を学習できるように、よりインタラクティブにする。
論文 参考訳（メタデータ） (2024-05-18T00:56:46Z) - Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Exploring the Potential of Large Language Models to Generate Formative
Programming Feedback [0.5371337604556311]
計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。
これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。
その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。
しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
論文 参考訳（メタデータ） (2023-08-31T15:22:11Z) - Generating High-Precision Feedback for Programming Syntax Errors using
Large Language Models [23.25258654890813]
大規模言語モデル(LLM)は,学生のフィードバックを自動的に生成することによって,プログラミング教育の強化に大きく貢献する。
Codexを利用した高精度フィードバック生成技術であるPyFiXVを紹介する。
論文 参考訳（メタデータ） (2023-01-24T13:00:25Z) - Automatic Assessment of the Design Quality of Student Python and Java
Programs [0.0]
本研究では,学生プログラムを設計の質を評価するルールベースシステムを提案し,作業改善のための個人的かつ正確なフィードバックを提供する。
学生はシステムから恩恵を受け、設計品質の欠陥の率は4つの異なる割り当てで47.84%減少し、Pythonは2、Javaは2が2だった。
論文 参考訳（メタデータ） (2022-08-22T06:04:10Z) - Learning from Self-Sampled Correct and Partially-Correct Programs [96.66452896657991]
そこで本研究では,モデルが学習中にサンプリングを行い,自己サンプリングされた完全正当プログラムと部分正当プログラムの両方から学習することを提案する。
自己サンプリング型プログラムと部分修正型プログラムを併用することで,学習とサンプリングプロセスのガイドに役立てることができることを示す。
提案手法は,MLEを用いた単一の参照プログラムからの学習と比較して,パス@kの性能を3.1%から12.3%向上させる。
論文 参考訳（メタデータ） (2022-05-28T03:31:07Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳（メタデータ） (2021-07-23T22:41:28Z) - Enforcing Consistency in Weakly Supervised Semantic Parsing [68.2211621631765]
本稿では,関連する入力に対する出力プログラム間の整合性を利用して,スプリアスプログラムの影響を低減することを提案する。
より一貫性のあるフォーマリズムは、一貫性に基づくトレーニングを必要とせずに、モデルパフォーマンスを改善することにつながります。
論文 参考訳（メタデータ） (2021-07-13T03:48:04Z) - Graph-based, Self-Supervised Program Repair from Diagnostic Feedback [108.48853808418725]
本稿では,ソースコードの修復や診断フィードバックに関連するシンボルを結合するプログラムフィードバックグラフを提案する。
次に、推論プロセスのモデル化にグラフニューラルネットワークを適用します。
オンラインで利用可能なラベルのないプログラムを活用するプログラム修復のための自己指導型学習パラダイムを提案する。
論文 参考訳（メタデータ） (2020-05-20T07:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。