論文の概要: Identifying Student Profiles Within Online Judge Systems Using Explainable Artificial Intelligence

• arxiv url: http://arxiv.org/abs/2402.03948v1
• Date: Mon, 29 Jan 2024 12:11:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-11 15:27:51.462490
• Title: Identifying Student Profiles Within Online Judge Systems Using Explainable Artificial Intelligence
• Title（参考訳）: 説明可能な人工知能を用いたオンライン裁判官システム内の学生プロファイルの同定
• Authors: Juan Ram\'on Rico-Juan, V\'ictor M. S\'anchez-Cartagena, Jose J. Valero-Mas, Antonio Javier Gallego
• Abstract要約: オンライン審査員(OJ)システムは通常、学生によって開発されたコードの高速かつ客観的な評価を得られるため、プログラミング関連のコースの中で考慮される。 本研究の目的は,OJが収集した情報のさらなる活用を考慮し,学生とインストラクターの両方のフィードバックを自動的に推測することで,この制限に対処することである。
• 参考スコア（独自算出の注目度）: 6.638206014723678
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Online Judge (OJ) systems are typically considered within programming-related courses as they yield fast and objective assessments of the code developed by the students. Such an evaluation generally provides a single decision based on a rubric, most commonly whether the submission successfully accomplished the assignment. Nevertheless, since in an educational context such information may be deemed insufficient, it would be beneficial for both the student and the instructor to receive additional feedback about the overall development of the task. This work aims to tackle this limitation by considering the further exploitation of the information gathered by the OJ and automatically inferring feedback for both the student and the instructor. More precisely, we consider the use of learning-based schemes -- particularly, multi-instance learning (MIL) and classical machine learning formulations -- to model student behavior. Besides, explainable artificial intelligence (XAI) is contemplated to provide human-understandable feedback. The proposal has been evaluated considering a case of study comprising 2500 submissions from roughly 90 different students from a programming-related course in a computer science degree. The results obtained validate the proposal: The model is capable of significantly predicting the user outcome (either passing or failing the assignment) solely based on the behavioral pattern inferred by the submissions provided to the OJ. Moreover, the proposal is able to identify prone-to-fail student groups and profiles as well as other relevant information, which eventually serves as feedback to both the student and the instructor.
• Abstract（参考訳）: オンライン審査員(OJ)システムは通常、学生によって開発されたコードの高速かつ客観的な評価を得られるため、プログラミング関連のコースの中で考慮される。 このような評価は、一般的にはルーブリックに基づいた単一の決定を与えるが、最も一般的には、提出が割り当てを成功させるかどうかを判断する。 それにもかかわらず、教育的な文脈ではそのような情報は不十分とみなされる可能性があるので、学生とインストラクターの両方がタスクの全体的な発展について追加のフィードバックを受け取ることは有益である。 本研究の目的は,OJが収集した情報のさらなる活用を考慮し,学生とインストラクターの両方のフィードバックを自動的に推測することで,この制限に対処することである。 より正確には、学習に基づくスキーム、特にMIL(Multi-instance Learning)と古典的な機械学習の定式化を学生行動のモデル化に利用することを検討する。 さらに、説明可能な人工知能(XAI)は、人間の理解可能なフィードバックを提供するために考えられている。 本提案は,プログラミング関連科目から約90名の学生に対して,コンピュータサイエンスの学位を授与された2500名を対象に検討を行った。 このモデルは、OJに提供された提案によって推測される行動パターンのみに基づいて、ユーザ結果(割り当ての通過または失敗)を著しく予測することができる。 さらに,本提案では,学生グループやプロファイル,その他の関連情報を識別し,最終的には学生と教官の双方へのフィードバックとして機能する。

関連論文リスト

• AERA Chat: An Interactive Platform for Automated Explainable Student Answer Assessment [12.970776782360366]
  AERA Chatは、学生の回答の視覚的に説明された評価を提供するインタラクティブなプラットフォームである。 ユーザーは質問や学生の回答を入力して、大規模言語モデルから自動で説明可能な評価結果を得ることができる。
  論文  参考訳（メタデータ） (2024-10-12T11:57:53Z)
• Evaluating and Optimizing Educational Content with Large Language Model Judgments [52.33701672559594]
  言語モデル(LM)を教育専門家として活用し,学習結果に対する様々な指導の影響を評価する。 本稿では,一方のLMが他方のLMの判断を報酬関数として利用して命令材料を生成する命令最適化手法を提案する。 ヒトの教師によるこれらのLM生成ワークシートの評価は、LM判定と人間の教師の嗜好との間に有意な整合性を示す。
  論文  参考訳（メタデータ） (2024-03-05T09:09:15Z)
• Evaluating the Utility of Model Explanations for Model Development [54.23538543168767]
  機械学習モデル構築の実践シナリオにおいて、説明が人間の意思決定を改善するかどうかを評価する。 驚いたことに、サリエンシマップが提供されたとき、タスクが大幅に改善されたという証拠は見つからなかった。 以上の結果から,サリエンシに基づく説明における誤解の可能性と有用性について注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-12-10T23:13:23Z)
• Exploring the Potential of Large Language Models to Generate Formative Programming Feedback [0.5371337604556311]
  計算機教育者や学習者のための大規模言語モデル(LLM)の可能性を探る。 これらの目的を達成するために、我々はChatGPTの入力としてCS1コース内で収集されたデータセットから学生のプログラミングシーケンスを使用した。 その結果,ChatGPTはプログラミングの入門タスクや学生の誤りに対して合理的に機能することがわかった。 しかし、教育者は、初心者向けの誤解を招く情報を含むことができるため、提供されたフィードバックの使い方に関するガイダンスを提供する必要がある。
  論文  参考訳（メタデータ） (2023-08-31T15:22:11Z)
• Giving Feedback on Interactive Student Programs with Meta-Exploration [74.5597783609281]
  ウェブサイトやゲームのようなインタラクティブなソフトウェアを開発することは、特にコンピュータ科学を学ぶための魅力的な方法である。 標準的アプローチでは、インストラクターは、学生が実装した対話型プログラムを手動で評価する必要がある。 Code.orgのような何百万ものオンラインプラットフォームは、インタラクティブなプログラムを実装するための代入に関するフィードバックを提供することができない。
  論文  参考訳（メタデータ） (2022-11-16T10:00:23Z)
• A Multicriteria Evaluation for Data-Driven Programming Feedback Systems: Accuracy, Effectiveness, Fallibility, and Students' Response [7.167352606079407]
  データ駆動型プログラミングフィードバックシステムは、初心者が人間の教師がいない状態でプログラムするのに役立つ。 先行評価の結果、これらのシステムはテストスコアやタスク完了効率の点で学習を改善していることがわかった。 これらの側面には、現在の最先端の本質的な誤認、正しい/間違ったフィードバックに対する生徒のプログラミング行動、効果的な/非効率なシステムコンポーネントが含まれる。
  論文  参考訳（メタデータ） (2022-07-27T00:29:32Z)
• ProtoTransformer: A Meta-Learning Approach to Providing Student Feedback [54.142719510638614]
  本稿では,フィードバックを数発の分類として提供するという課題について考察する。 メタラーナーは、インストラクターによるいくつかの例から、新しいプログラミング質問に関する学生のコードにフィードバックを与えるように適応します。 本手法は,第1段階の大学が提供したプログラムコースにおいて,16,000名の学生試験ソリューションに対するフィードバックの提供に成功している。
  論文  参考訳（メタデータ） (2021-07-23T22:41:28Z)
• Leveraging Expert Consistency to Improve Algorithmic Decision Support [62.61153549123407]
  建設のギャップを狭めるために観測結果と組み合わせることができる情報源として,歴史専門家による意思決定の利用について検討する。 本研究では,データ内の各ケースが1人の専門家によって評価された場合に,専門家の一貫性を間接的に推定する影響関数に基づく手法を提案する。 本研究は, 児童福祉領域における臨床現場でのシミュレーションと実世界データを用いて, 提案手法が構成ギャップを狭めることに成功していることを示す。
  論文  参考訳（メタデータ） (2021-01-24T05:40:29Z)
• Effects of Human vs. Automatic Feedback on Students' Understanding of AI Concepts and Programming Style [0.0]
  自動階調ツールの使用は、大規模な学部プログラミングコースにおいてほぼどこでも行われている。 コンピュータによるフィードバックと人間によるフィードバックを受け取った場合、生徒の成果を直接比較するデータは比較的不足している。 本稿では,90名の生徒を2つのフィードバックグループに分割し,2つのコホートのパフォーマンスの違いを分析することで,このギャップを解消する。
  論文  参考訳（メタデータ） (2020-11-20T21:40:32Z)
• Toward Machine-Guided, Human-Initiated Explanatory Interactive Learning [9.887110107270196]
  最近の研究は、ブラックボックスモデルの理解と監視のために、局所的な説明と活発な学習を組み合わせるという約束を実証している。 ここでは、特定の条件下では、これらのアルゴリズムが学習されるモデルの質を誤って表現する可能性があることを示す。 説明的指導型学習を導入することで、この物語バイアスに対処する。
  論文  参考訳（メタデータ） (2020-07-20T11:51:31Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。