論文の概要: Computer Aided Design and Grading for an Electronic Functional Programming Exam

• arxiv url: http://arxiv.org/abs/2308.07938v1
• Date: Mon, 14 Aug 2023 07:08:09 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-17 16:02:27.929270
• Title: Computer Aided Design and Grading for an Electronic Functional Programming Exam
• Title（参考訳）: 電子関数型プログラミング試験のためのコンピュータ支援設計と評価
• Authors: Ole L\"ubke (TUHH), Konrad Fuger (TUHH), Fin Hendrik Bahnsen (UK-Essen), Katrin Billerbeck (TUHH), Sibylle Schupp (TUHH)
• Abstract要約: 本稿では,既存の編集距離に基づくアルゴリズムと比較して公平性を向上させる証明ラインの正しいシーケンスを探索し,Proof Puzzlesをチェックするアルゴリズムを提案する。 正規表現を指定するための高レベルな言語とオープンソースツールにより、複雑な正規表現の作成はエラーを起こしやすい。 学習過程における自動化の度合いを分析し,学生に意見を求め,自身の経験を批判的にレビューすることで,その結果のe-examを評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Electronic exams (e-exams) have the potential to substantially reduce the effort required for conducting an exam through automation. Yet, care must be taken to sacrifice neither task complexity nor constructive alignment nor grading fairness in favor of automation. To advance automation in the design and fair grading of (functional programming) e-exams, we introduce the following: A novel algorithm to check Proof Puzzles based on finding correct sequences of proof lines that improves fairness compared to an existing, edit distance based algorithm; an open-source static analysis tool to check source code for task relevant features by traversing the abstract syntax tree; a higher-level language and open-source tool to specify regular expressions that makes creating complex regular expressions less error-prone. Our findings are embedded in a complete experience report on transforming a paper exam to an e-exam. We evaluated the resulting e-exam by analyzing the degree of automation in the grading process, asking students for their opinion, and critically reviewing our own experiences. Almost all tasks can be graded automatically at least in part (correct solutions can almost always be detected as such), the students agree that an e-exam is a fitting examination format for the course but are split on how well they can express their thoughts compared to a paper exam, and examiners enjoy a more time-efficient grading process while the point distribution in the exam results was almost exactly the same compared to a paper exam.
• Abstract（参考訳）: 電子試験(e-exams)は、自動化による試験実施に必要な労力を大幅に削減する可能性がある。 しかし、タスクの複雑さや建設的なアライメントを犠牲にしたり、自動化に賛成する公平さを損なわないよう注意しなければならない。 To advance automation in the design and fair grading of (functional programming) e-exams, we introduce the following: A novel algorithm to check Proof Puzzles based on finding correct sequences of proof lines that improves fairness compared to an existing, edit distance based algorithm; an open-source static analysis tool to check source code for task relevant features by traversing the abstract syntax tree; a higher-level language and open-source tool to specify regular expressions that makes creating complex regular expressions less error-prone. 本研究は,e-examに紙試験を変換した経験報告に埋め込まれた。 結果のe-examを評価し,評価プロセスの自動化度を分析し,学生に意見を求め,自身の経験を批判的にレビューした。 ほぼ全てのタスクは、少なくとも部分的には自動的に段階付けできる(正しい解法は、ほぼ常に検出できる)が、学生は、e-examはコースに適合する試験形式であるが、紙試験と比較して、どのように自分の考えを表現できるかが分かれていることに同意し、試験結果のポイント分布が紙試験とほぼ同じであるのに対して、試験者はより時間効率のよい段階付けプロセスを楽しむ。

関連論文リスト

• Automatic Generation of Behavioral Test Cases For Natural Language Processing Using Clustering and Prompting [6.938766764201549]
  本稿では,大規模言語モデルと統計的手法の力を活用したテストケースの自動開発手法を提案する。 4つの異なる分類アルゴリズムを用いて行動テストプロファイルを分析し、それらのモデルの限界と強みについて議論する。
  論文  参考訳（メタデータ） (2024-07-31T21:12:21Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Automated Evaluation of Retrieval-Augmented Language Models with Task-Specific Exam Generation [9.390902237835457]
  検索型大規模言語モデル(RAG)のタスク固有精度を計測する新しい手法を提案する。 複数の選択質問からなる自動生成合成試験において、RAGをスコアリングして評価を行う。
  論文  参考訳（メタデータ） (2024-05-22T13:14:11Z)
• SimGrade: Using Code Similarity Measures for More Accurate Human Grading [5.797317782326566]
  CS1講座では,不正確で矛盾のない自由応答型プログラミング問題の段階化が広く行われていることを示す。 そこで本稿では, 学生の応募を小学校の生徒に割り当てるアルゴリズムを提案し, (2) 受験者が以前同様の解を見た確率を最大化するために, 受験者を発注するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-19T23:06:23Z)
• Reinforcement Learning Guided Multi-Objective Exam Paper Generation [21.945655389912112]
  そこで本研究では,MOEPGと呼ばれる多目的文書生成フレームワークを提案する。 難易度、試験スコアの配分、スキルカバレッジを含む3つの試験領域固有の目的を同時に最適化する。 試験用紙生成シナリオの多重ジレンマにMOEPGが適用可能であることを示す。
  論文  参考訳（メタデータ） (2023-03-02T07:55:52Z)
• Questions Are All You Need to Train a Dense Passage Retriever [123.13872383489172]
  ARTは、ラベル付きトレーニングデータを必要としない高密度検索モデルをトレーニングするための、新しいコーパスレベルのオートエンコーディングアプローチである。 そこで,(1) 入力質問を用いて証拠文書の集合を検索し,(2) 文書を用いて元の質問を再構築する確率を計算する。
  論文  参考訳（メタデータ） (2022-06-21T18:16:31Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Active Learning from Crowd in Document Screening [76.9545252341746]
  我々は、文書を評価し、それらを効率的にスクリーニングする機械学習分類器のセットの構築に注力する。 そこで本研究では,多ラベル能動学習スクリーニング技術である目的認識サンプリングを提案する。 目的認識サンプリングは,アートアクティブラーニングサンプリングの手法を著しく上回っていることを実証する。
  論文  参考訳（メタデータ） (2020-11-11T16:17:28Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)
• Automated Content Grading Using Machine Learning [0.0]
  本研究プロジェクトは,技術科の学生による試験で書かれた理論的回答の段階付けを自動化するための原始的な実験である。 本稿では,機械学習におけるアルゴリズム的アプローチを用いて,試験回答論文の理論的内容を自動的に検証し,評価する方法について述べる。
  論文  参考訳（メタデータ） (2020-04-08T23:46:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。