論文の概要: Computer Aided Design and Grading for an Electronic Functional
Programming Exam
- arxiv url: http://arxiv.org/abs/2308.07938v1
- Date: Mon, 14 Aug 2023 07:08:09 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-17 16:02:27.929270
- Title: Computer Aided Design and Grading for an Electronic Functional
Programming Exam
- Title(参考訳): 電子関数型プログラミング試験のためのコンピュータ支援設計と評価
- Authors: Ole L\"ubke (TUHH), Konrad Fuger (TUHH), Fin Hendrik Bahnsen
(UK-Essen), Katrin Billerbeck (TUHH), Sibylle Schupp (TUHH)
- Abstract要約: 本稿では,既存の編集距離に基づくアルゴリズムと比較して公平性を向上させる証明ラインの正しいシーケンスを探索し,Proof Puzzlesをチェックするアルゴリズムを提案する。
正規表現を指定するための高レベルな言語とオープンソースツールにより、複雑な正規表現の作成はエラーを起こしやすい。
学習過程における自動化の度合いを分析し,学生に意見を求め,自身の経験を批判的にレビューすることで,その結果のe-examを評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Electronic exams (e-exams) have the potential to substantially reduce the
effort required for conducting an exam through automation. Yet, care must be
taken to sacrifice neither task complexity nor constructive alignment nor
grading fairness in favor of automation. To advance automation in the design
and fair grading of (functional programming) e-exams, we introduce the
following: A novel algorithm to check Proof Puzzles based on finding correct
sequences of proof lines that improves fairness compared to an existing, edit
distance based algorithm; an open-source static analysis tool to check source
code for task relevant features by traversing the abstract syntax tree; a
higher-level language and open-source tool to specify regular expressions that
makes creating complex regular expressions less error-prone. Our findings are
embedded in a complete experience report on transforming a paper exam to an
e-exam. We evaluated the resulting e-exam by analyzing the degree of automation
in the grading process, asking students for their opinion, and critically
reviewing our own experiences. Almost all tasks can be graded automatically at
least in part (correct solutions can almost always be detected as such), the
students agree that an e-exam is a fitting examination format for the course
but are split on how well they can express their thoughts compared to a paper
exam, and examiners enjoy a more time-efficient grading process while the point
distribution in the exam results was almost exactly the same compared to a
paper exam.
- Abstract(参考訳): 電子試験(e-exams)は、自動化による試験実施に必要な労力を大幅に削減する可能性がある。
しかし、タスクの複雑さや建設的なアライメントを犠牲にしたり、自動化に賛成する公平さを損なわないよう注意しなければならない。
To advance automation in the design and fair grading of (functional programming) e-exams, we introduce the following: A novel algorithm to check Proof Puzzles based on finding correct sequences of proof lines that improves fairness compared to an existing, edit distance based algorithm; an open-source static analysis tool to check source code for task relevant features by traversing the abstract syntax tree; a higher-level language and open-source tool to specify regular expressions that makes creating complex regular expressions less error-prone.
本研究は,e-examに紙試験を変換した経験報告に埋め込まれた。
結果のe-examを評価し,評価プロセスの自動化度を分析し,学生に意見を求め,自身の経験を批判的にレビューした。
ほぼ全てのタスクは、少なくとも部分的には自動的に段階付けできる(正しい解法は、ほぼ常に検出できる)が、学生は、e-examはコースに適合する試験形式であるが、紙試験と比較して、どのように自分の考えを表現できるかが分かれていることに同意し、試験結果のポイント分布が紙試験とほぼ同じであるのに対して、試験者はより時間効率のよい段階付けプロセスを楽しむ。
関連論文リスト
- Enriching Automatic Test Case Generation by Extracting Relevant Test
Inputs from Bug Reports [8.85274953789614]
nameは、自動テスト生成ツールに入力される入力値を特定するためのバグレポートを探索するテクニックである。
Defects4Jプロジェクトでは,正規表現を用いた場合,68.68%の関連入力が抽出された。
論文 参考訳(メタデータ) (2023-12-22T18:19:33Z) - Counting Reward Automata: Sample Efficient Reinforcement Learning
Through the Exploitation of Reward Function Structure [13.231546105751015]
本稿では,形式言語として表現可能な任意の報酬関数をモデル化可能な有限状態機械変種であるカウント・リワード・オートマトンを提案する。
このような抽象機械を組み込んだエージェントが,現在の手法よりも大きなタスクの集合を解くことができることを実証する。
論文 参考訳(メタデータ) (2023-12-18T17:20:38Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - Automated Grading and Feedback Tools for Programming Education: A
Systematic Review [7.776434991976473]
ほとんどの論文はオブジェクト指向言語における代入の正確性を評価する。
ソースコードの保守性、可読性、ドキュメントを評価するツールは少ない。
ほとんどのツールは、ほぼ即時フィードバックを可能にする完全に自動化されたアセスメントを提供する。
論文 参考訳(メタデータ) (2023-06-20T17:54:50Z) - Reinforcement Learning Guided Multi-Objective Exam Paper Generation [21.945655389912112]
そこで本研究では,MOEPGと呼ばれる多目的文書生成フレームワークを提案する。
難易度、試験スコアの配分、スキルカバレッジを含む3つの試験領域固有の目的を同時に最適化する。
試験用紙生成シナリオの多重ジレンマにMOEPGが適用可能であることを示す。
論文 参考訳(メタデータ) (2023-03-02T07:55:52Z) - Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。
そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
論文 参考訳(メタデータ) (2022-06-21T18:16:31Z) - AES Systems Are Both Overstable And Oversensitive: Explaining Why And
Proposing Defenses [66.49753193098356]
スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。
のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。
高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
論文 参考訳(メタデータ) (2021-09-24T03:49:38Z) - ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
本稿では,フィードバックを数発の分類として提供するという課題について考察する。
メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。
本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
論文 参考訳(メタデータ) (2021-07-23T22:41:28Z) - Active Learning from Crowd in Document Screening [76.9545252341746]
我々は、文書を評価し、それらを効率的にスクリーニングする機械学習分類器のセットの構築に注力する。
そこで本研究では,多ラベル能動学習スクリーニング技術である目的認識サンプリングを提案する。
目的認識サンプリングは,アートアクティブラーニングサンプリングの手法を著しく上回っていることを実証する。
論文 参考訳(メタデータ) (2020-11-11T16:17:28Z) - Generating Fact Checking Explanations [52.879658637466605]
まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。
本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。
この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
論文 参考訳(メタデータ) (2020-04-13T05:23:25Z) - Automated Content Grading Using Machine Learning [0.0]
本研究プロジェクトは,技術科の学生による試験で書かれた理論的回答の段階付けを自動化するための原始的な実験である。
本稿では,機械学習におけるアルゴリズム的アプローチを用いて,試験回答論文の理論的内容を自動的に検証し,評価する方法について述べる。
論文 参考訳(メタデータ) (2020-04-08T23:46:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。