論文の概要: PyEvalAI: AI-assisted evaluation of Jupyter Notebooks for immediate personalized feedback

• arxiv url: http://arxiv.org/abs/2502.18425v1
• Date: Tue, 25 Feb 2025 18:20:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 18:40:39.335917
• Title: PyEvalAI: AI-assisted evaluation of Jupyter Notebooks for immediate personalized feedback
• Title（参考訳）: PyEvalAI: パーソナライズされたフィードバックのためのJupyter Notebooksの評価支援
• Authors: Nils Wandel, David Stotko, Alexander Schier, Reinhard Klein,
• Abstract要約: PyEvalAIは、プライバシを保護するために、ユニットテストとローカルにホストされた言語モデルを組み合わせてJupyterノートをスコアする。 あるケーススタディは、大学レベルの数値科目における演習のフィードバック速度の向上と学習効率の向上に効果を示す。
• 参考スコア（独自算出の注目度）: 43.56788158589046
• License:
• Abstract: Grading student assignments in STEM courses is a laborious and repetitive task for tutors, often requiring a week to assess an entire class. For students, this delay of feedback prevents iterating on incorrect solutions, hampers learning, and increases stress when exercise scores determine admission to the final exam. Recent advances in AI-assisted education, such as automated grading and tutoring systems, aim to address these challenges by providing immediate feedback and reducing grading workload. However, existing solutions often fall short due to privacy concerns, reliance on proprietary closed-source models, lack of support for combining Markdown, LaTeX and Python code, or excluding course tutors from the grading process. To overcome these limitations, we introduce PyEvalAI, an AI-assisted evaluation system, which automatically scores Jupyter notebooks using a combination of unit tests and a locally hosted language model to preserve privacy. Our approach is free, open-source, and ensures tutors maintain full control over the grading process. A case study demonstrates its effectiveness in improving feedback speed and grading efficiency for exercises in a university-level course on numerics.
• Abstract（参考訳）: STEMコースにおける学生の課題のグラディングは、家庭教師にとって退屈で反復的な課題であり、授業全体を評価するのに1週間を要することが多い。 学生にとって、このフィードバックの遅れは、誤った解やハマーズ学習の反復を防ぎ、運動スコアが最終試験の受験を決めたときのストレスを増加させる。 近年のAI支援教育の進歩として、自動グルーピングやチューターシステムなどがあり、即時フィードバックを提供し、グルーピングの負荷を減らすことで、これらの課題に対処することを目指している。 しかし、既存のソリューションは、プライバシの懸念、プロプライエタリなクローズドソースモデルへの依存、Markdown、LaTeX、Pythonのコードの組み合わせのサポートの欠如、あるいはグレーディングプロセスからコースのチューターを除外しているため、しばしば不足する。 これらの制限を克服するため、我々はAI支援評価システムであるPyEvalAIを導入し、プライバシを保護するために、単体テストとローカルにホストされた言語モデルを組み合わせてJupyterノートを自動的にスコアする。 当社のアプローチは無償でオープンソースで、チューターがグラデーションプロセスを完全にコントロールすることを保証しています。 あるケーススタディは、大学レベルの数値科目における演習のフィードバック速度の向上と学習効率の向上に効果を示す。

関連論文リスト

• Chatbots im Schulunterricht: Wir testen das Fobizz-Tool zur automatischen Bewertung von Hausaufgaben [0.0]
  本研究では,ドイツのFobizz社によるAIによるグレーディングツール"AI Grading Assistant"について検討した。 ツールの数値グレードと定性的フィードバックは、しばしばランダムであり、提案が組み込まれても改善されない。 この研究は、教育における体系的な問題に対する迅速な修正としてAIを採用するというより広い傾向を批判している。
  論文  参考訳（メタデータ） (2024-12-09T16:50:02Z)
• Beyond Scores: A Modular RAG-Based System for Automatic Short Answer Scoring with Feedback [3.2734777984053887]
  そこで本研究では,厳密なゼロショットと少数ショットの学習シナリオにおいて,回答のスコアとフィードバックを生成するモジュール型検索拡張生成システムASAS-Fを提案する。 その結果, 微調整に比べて解答精度が9%向上し, スケーラブルで費用対効果の高い解が得られた。
  論文  参考訳（メタデータ） (2024-09-30T07:48:55Z)
• Could ChatGPT get an Engineering Degree? Evaluating Higher Education Vulnerability to AI Assistants [176.39275404745098]
  我々は,2つのAIアシスタントであるGPT-3.5とGPT-4が適切な回答を得られるかどうかを評価する。 GPT-4は65.8%の質問を正解し、85.1%の質問に対して少なくとも1つの手順で正しい答えを出すことができる。 この結果から,AIの進歩を踏まえて,高等教育におけるプログラムレベルの評価設計の見直しが求められた。
  論文  参考訳（メタデータ） (2024-08-07T12:11:49Z)
• WIP: A Unit Testing Framework for Self-Guided Personalized Online Robotics Learning [3.613641107321095]
  本稿では,授業ワークフローに統合しながら,単体テストのためのシステムを構築することに焦点を当てる。 フレームワークのパーソナライズされた学生中心のアプローチに合わせて、この方法は学生がプログラミング作業を簡単に修正し、デバッグできるようにする。 単体テストを含むコースワークフローは、学習環境を強化し、学生が自己指導型でロボットをプログラムする方法を学習できるように、よりインタラクティブにする。
  論文  参考訳（メタデータ） (2024-05-18T00:56:46Z)
• Continuous Examination by Automatic Quiz Assessment Using Spiral Codes and Image Processing [69.35569554213679]
  紙のキズは安価で、教室のキャンパス教育の範囲内にある。 クイズの修正は かなりの障害だ 本稿では,新しい画像処理技術によって問題を緩和することを提案する。
  論文  参考訳（メタデータ） (2022-01-26T22:58:15Z)
• Winning solutions and post-challenge analyses of the ChaLearn AutoDL challenge 2019 [112.36155380260655]
  本稿では,ChaLearnのAutoDLチャレンジシリーズの結果と今後の課題について述べる。 その結果,一般的なニューラルネットワーク探索(NAS)は実用的ではなかったものの,DL手法が支配的であったことが示唆された。 メタラーナー"、"データインジェクタ"、"モデルセレクタ"、"モデル/ラーナー"、"評価器"を特徴とする、ハイレベルなモジュール化組織が登場した。
  論文  参考訳（メタデータ） (2022-01-11T06:21:18Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Predicting student performance using data from an auto-grading system [0.0]
  我々はMarmoset自動階調システムから抽出した様々な特徴を持つ決定木モデルと線形回帰モデルを構築した。 本稿では, 入力時間間隔を用いた線形回帰モデルが, 精度とF-Measureの点で, 全モデルの中で最良であることを示す。 また,成績の悪い生徒に誤分類された生徒は,すべてのモデルにおいて,線形回帰モデルの中では最も低い実例があることが示唆された。
  論文  参考訳（メタデータ） (2021-02-02T03:02:39Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。