Fugu-MT 論文翻訳(概要): Evaluation of Systems Programming Exercises through Tailored Static Analysis

論文の概要: Evaluation of Systems Programming Exercises through Tailored Static Analysis

arxiv url: http://arxiv.org/abs/2410.17260v2
Date: Mon, 28 Oct 2024 14:35:08 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-29 12:19:49.627024
Title: Evaluation of Systems Programming Exercises through Tailored Static Analysis
Title（参考訳）: 定常解析によるシステムプログラミング演習の評価
Authors: Roberto Natella,
Abstract要約: 大規模なプログラミングクラスでは、エクササイズを評価し、詳細なフィードバックを提供するために、教員から多大な努力を払っている。システムでは、詳細なプログラミングやリソース管理のバグを再現することが難しいため、テストケースはエクササイズを評価するには不十分です。本稿では,システムプログラミング演習の自動評価のための静的解析に関する経験報告を示す。
参考スコア（独自算出の注目度）: 4.335676282295717
License:
Abstract: In large programming classes, it takes a significant effort from teachers to evaluate exercises and provide detailed feedback. In systems programming, test cases are not sufficient to assess exercises, since concurrency and resource management bugs are difficult to reproduce. This paper presents an experience report on static analysis for the automatic evaluation of systems programming exercises. We design systems programming assignments with static analysis rules that are tailored for each assignment, to provide detailed and accurate feedback. Our evaluation shows that static analysis can identify a significant number of erroneous submissions missed by test cases.
Abstract（参考訳）: 大規模なプログラミングクラスでは、エクササイズを評価し、詳細なフィードバックを提供するために、教員から多大な努力を払っている。システムプログラミングでは、並行性やリソース管理のバグが再現しにくいため、テストケースはエクササイズを評価するには不十分です。本稿では,システムプログラミング演習の自動評価のための静的解析に関する経験報告を示す。我々は,各割り当てに適した静的解析ルールを用いたシステムプログラミング代行を設計し,詳細なフィードバックと正確なフィードバックを提供する。評価の結果, 静的解析により, テストケースで欠落した誤投稿のかなりの数を特定することができることがわかった。

関連論文リスト

Easing Maintenance of Academic Static Analyzers [0.0]
Mopsaは、音を出すことを目的とした静的分析プラットフォームである。この記事では、2017年以来のMopsaのメンテナンスを簡素化するために、私たちが作り出したツールとテクニックについて説明する。
論文参考訳（メタデータ） (2024-07-17T11:29:21Z)
LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
本研究では,自然言語フィードバック型検証器Math-Minosを提案する。実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
論文参考訳（メタデータ） (2024-06-20T06:42:27Z)
Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。我々は、ReasonEvalが人間のラベル付きデータセット上で最先端のパフォーマンスを達成することを示す。我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
論文参考訳（メタデータ） (2024-04-08T17:18:04Z)
Understanding and Detecting Annotation-Induced Faults of Static Analyzers [4.824956210843882]
本稿では,注釈誘発断層(AIF)の総合的研究について紹介する。 PMD、SpotBugs、CheckStyle、Infer、SonarQube、Sootの6つのオープンソースおよび人気のある静的アナライザの246の問題を解析した。
論文参考訳（メタデータ） (2024-02-22T08:09:01Z)
Computer Aided Design and Grading for an Electronic Functional Programming Exam [0.0]
本稿では,既存の編集距離に基づくアルゴリズムと比較して公平性を向上させる証明ラインの正しいシーケンスを探索し,Proof Puzzlesをチェックするアルゴリズムを提案する。正規表現を指定するための高レベルな言語とオープンソースツールにより、複雑な正規表現の作成はエラーを起こしやすい。学習過程における自動化の度合いを分析し,学生に意見を求め,自身の経験を批判的にレビューすることで,その結果のe-examを評価する。
論文参考訳（メタデータ） (2023-08-14T07:08:09Z)
Analyzing Dataset Annotation Quality Management in the Wild [63.07224587146207]
最先端モデルのトレーニングと評価に使用される一般的なデータセットでさえ、誤ったアノテーションやバイアス、アーティファクトの量は無視できない。データセット作成プロジェクトに関するプラクティスやガイドラインは存在するが、品質管理の実施方法に関する大規模な分析はまだ行われていない。
論文参考訳（メタデータ） (2023-07-16T21:22:40Z)
Automated Grading and Feedback Tools for Programming Education: A Systematic Review [7.776434991976473]
ほとんどの論文はオブジェクト指向言語における代入の正確性を評価する。ソースコードの保守性、可読性、ドキュメントを評価するツールは少ない。ほとんどのツールは、ほぼ即時フィードバックを可能にする完全に自動化されたアセスメントを提供する。
論文参考訳（メタデータ） (2023-06-20T17:54:50Z)
A Static Evaluation of Code Completion by Large Language Models [65.18008807383816]
単純なプログラミング問題に対するモデル生成コードの機能的正当性を評価するために,実行ベースベンチマークが提案されている。プログラムを実行せずにエラーを検出するlinterのような静的解析ツールは、コード生成モデルを評価するために十分に研究されていない。抽象構文木を利用して,Pythonのコード補完における静的エラーを定量化する静的評価フレームワークを提案する。
論文参考訳（メタデータ） (2023-06-05T19:23:34Z)
On the Use of Static Analysis to Engage Students with Software Quality Improvement: An Experience with PMD [12.961585735468313]
本研究の目的は,ソフトウェアの品質向上に資する学生を支援する上で,静的解析を効果的に活用することの教育経験を反映することである。本報告では, PMDを用いた690ルールのコードレビューを65件実施した。
論文参考訳（メタデータ） (2023-02-11T00:21:04Z)
ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文参考訳（メタデータ） (2021-07-23T22:41:28Z)
Curious Case of Language Generation Evaluation Metrics: A Cautionary Tale [52.663117551150954]
イメージキャプションや機械翻訳などのタスクを評価するデファクトメトリクスとして、いくつかの一般的な指標が残っている。これは、使いやすさが原因でもあり、また、研究者がそれらを見て解釈する方法を知りたがっているためでもある。本稿では,モデルの自動評価方法について,コミュニティにより慎重に検討するよう促す。
論文参考訳（メタデータ） (2020-10-26T13:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。