論文の概要: Mining patterns in syntax trees to automate code reviews of student solutions for programming exercises

• arxiv url: http://arxiv.org/abs/2405.01579v1
• Date: Fri, 26 Apr 2024 14:03:19 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-12 16:00:17.747078
• Title: Mining patterns in syntax trees to automate code reviews of student solutions for programming exercises
• Title（参考訳）: プログラミング演習における学生ソリューションのコードレビューを自動化する構文木におけるマイニングパターン
• Authors: Charlotte Van Petegem, Kasper Demeyere, Rien Maertens, Niko Strijbol, Bram De Wever, Bart Mesuere, Peter Dawyndt,
• Abstract要約: 本稿では,教育コードレビューにおけるフィードバックの再利用を自動化する機械学習手法ECHOを紹介する。 自動リンティングツールとヒューマンレビュアーの両方のアノテーションに基づいて,ECHOが適切なフィードバックアノテーションを正確かつ迅速に予測できることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In programming education, providing manual feedback is essential but labour-intensive, posing challenges in consistency and timeliness. We introduce ECHO, a machine learning method to automate the reuse of feedback in educational code reviews by analysing patterns in abstract syntax trees. This study investigates two primary questions: whether ECHO can predict feedback annotations to specific lines of student code based on previously added annotations by human reviewers (RQ1), and whether its training and prediction speeds are suitable for using ECHO for real-time feedback during live code reviews by human reviewers (RQ2). Our results, based on annotations from both automated linting tools and human reviewers, show that ECHO can accurately and quickly predict appropriate feedback annotations. Its efficiency in processing and its flexibility in adapting to feedback patterns can significantly reduce the time and effort required for manual feedback provisioning in educational settings.
• Abstract（参考訳）: プログラミング教育では、手動によるフィードバックは不可欠だが労働集約的であり、一貫性とタイムラインの課題を提起する。 本稿では,抽象構文木におけるパターンの分析により,教育コードレビューにおけるフィードバックの再利用を自動化する機械学習手法ECHOを紹介する。 本研究は,人間レビュアーによるアノテーション(RQ1)に基づいて,学生コードの特定の行に対するフィードバックアノテーションを予測できるかどうか,および,そのトレーニングと予測速度が,人間レビュアーによるライブコードレビュー中のリアルタイムフィードバックにECHOを使用するのに適しているか(RQ2),の2点について検討する。 本結果は,自動採点ツールとヒューマンレビュアーの両方のアノテーションに基づいて,ECHOが適切なフィードバックアノテーションを正確にかつ迅速に予測可能であることを示す。 その処理効率とフィードバックパターンへの適応の柔軟性は、教育現場での手動フィードバック提供に必要な時間と労力を大幅に削減することができる。

関連論文リスト

• Enhancing LLM Reasoning via Critique Models with Test-Time and Training-Time Supervision [120.40788744292739]
  本稿では、推論と批判モデルの役割を分離する2人プレイヤパラダイムを提案する。 まず、批判データを収集する自動化およびスケーラブルなフレームワークであるAutoMathCritiqueを提案する。 テスト時間における難解なクエリに対するアクターのパフォーマンスを,批判モデルが一貫して改善することが実証された。
  論文  参考訳（メタデータ） (2024-11-25T17:11:54Z)
• Predicting Expert Evaluations in Software Code Reviews [8.012861163935904]
  本稿では,その複雑さや主観性から回避されるコードレビューの側面を自動化するアルゴリズムモデルを提案する。 手作業によるレビューを置き換える代わりに、私たちのモデルは、レビュアーがより影響力のあるタスクに集中するのに役立つ洞察を追加します。
  論文  参考訳（メタデータ） (2024-09-23T16:01:52Z)
• Improving the Validity of Automatically Generated Feedback via Reinforcement Learning [50.067342343957876]
  強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。 具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
  論文  参考訳（メタデータ） (2024-03-02T20:25:50Z)
• A large language model-assisted education tool to provide feedback on open-ended responses [2.624902795082451]
  本稿では,大規模言語モデル (LLM) をインストラクター定義基準でガイドし,オープンエンド質問に対する応答を自動化するツールを提案する。 本ツールでは,素早いパーソナライズされたフィードバックを提供することで,学生が知識を迅速にテストし,改善すべき領域を特定できる。
  論文  参考訳（メタデータ） (2023-07-25T19:49:55Z)
• Prefer to Classify: Improving Text Classifiers via Auxiliary Preference Learning [76.43827771613127]
  本稿では、このような補助データアノテーションの新しい代替手段として、入力テキストのペア間のタスク固有の嗜好について検討する。 本稿では、与えられた分類課題と補助的選好の両方を学ぶことの協調効果を享受できる、P2Cと呼ばれる新しいマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T04:04:47Z)
• An Exploratory Analysis of Feedback Types Used in Online Coding Exercises [0.0]
  本研究の目的は,CodingBat,Scratch,Blocklyが適用したフィードバックタイプを特定することである。 この研究は、フィードバックタイプ間の明確な境界を特定することの難しさを明らかにした。
  論文  参考訳（メタデータ） (2022-06-07T07:52:17Z)
• Simulating Bandit Learning from User Feedback for Extractive Question Answering [51.97943858898579]
  教師付きデータを用いたフィードバックのシミュレーションにより,ユーザフィードバックからの学習を抽出的質問応答に適用する。 当初は少数の例でトレーニングしたシステムが,モデル予測された回答に対するユーザからのフィードバックを劇的に改善できることが示される。
  論文  参考訳（メタデータ） (2022-03-18T17:47:58Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Annotation Curricula to Implicitly Train Non-Expert Annotators [56.67768938052715]
  自発的な研究は、しばしば、アノテータがタスク、そのアノテーションスキーム、およびデータドメインに精通することを要求する。 これは最初は圧倒的であり、精神的に課税され、結果として生じるアノテーションにエラーを誘導する。 暗黙的にアノテータを訓練する新しい手法であるアノテーションキュリキュラを提案する。
  論文  参考訳（メタデータ） (2021-06-04T09:48:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。