論文の概要: A Multicriteria Evaluation for Data-Driven Programming Feedback Systems:
Accuracy, Effectiveness, Fallibility, and Students' Response
- arxiv url: http://arxiv.org/abs/2208.05326v1
- Date: Wed, 27 Jul 2022 00:29:32 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-19 10:30:02.578120
- Title: A Multicriteria Evaluation for Data-Driven Programming Feedback Systems:
Accuracy, Effectiveness, Fallibility, and Students' Response
- Title（参考訳）: データ駆動型プログラミングフィードバックシステムのためのマルチ基準評価:正確性、有効性、妥当性、学生の反応
- Authors: Preya Shabrina, Samiha Marwan, Andrew Bennison, Min Chi, Thomas Price,
Tiffany Barnes
- Abstract要約: データ駆動型プログラミングフィードバックシステムは、初心者が人間の教師がいない状態でプログラムするのに役立つ。
先行評価の結果、これらのシステムはテストスコアやタスク完了効率の点で学習を改善していることがわかった。
これらの側面には、現在の最先端の本質的な誤認、正しい/間違ったフィードバックに対する生徒のプログラミング行動、効果的な/非効率なシステムコンポーネントが含まれる。
- 参考スコア（独自算出の注目度）: 7.167352606079407
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-driven programming feedback systems can help novices to program in the
absence of a human tutor. Prior evaluations showed that these systems improve
learning in terms of test scores, or task completion efficiency. However,
crucial aspects which can impact learning or reveal insights important for
future improvement of such systems are ignored in these evaluations. These
aspects include inherent fallibility of current state-of-the-art, students'
programming behavior in response to correct/incorrect feedback, and
effective/ineffective system components. Consequently, a great deal of
knowledge is yet to be discovered about such systems. In this paper, we apply a
multi-criteria evaluation with 5 criteria on a data-driven feedback system
integrated within a block-based novice programming environment. Each criterion
in the evaluation reveals a unique pivotal aspect of the system: 1) How
accurate the feedback system is; 2) How it guides students throughout
programming tasks; 3) How it helps students in task completion; 4) What happens
when it goes wrong; and 5) How students respond generally to the system. Our
evaluation results showed that the system was helpful to students due to its
effective design and feedback representation despite being fallible. However,
novices can be negatively impacted by this fallibility due to high reliance and
lack of self-evaluation. The negative impacts include increased working time,
implementation, or submission of incorrect/partially correct solutions. The
evaluation results reinforced the necessity of multi-criteria system
evaluations while revealing important insights helpful to ensuring proper usage
of data-driven feedback systems, designing fallibility mitigation steps, and
driving research for future improvement.
- Abstract（参考訳）: データ駆動型プログラミングフィードバックシステムは、初心者が人間の教師がいない状態でプログラムするのに役立つ。
先行評価の結果、これらのシステムはテストスコアやタスク完了効率の観点から学習を改善することがわかった。
しかし、これらの評価では、学習に影響を与える重要な側面や、このようなシステムの将来的な改善に重要な洞察が無視される。
これらの側面には、現在の最先端の固有の誤認、正しい/間違ったフィードバックに対する生徒のプログラミング行動、効果的な/非効率なシステムコンポーネントが含まれる。
そのため、このようなシステムについて多くの知識が見つかっていない。
本稿では,ブロックベースの初心者プログラミング環境に統合されたデータ駆動型フィードバックシステムに対して,5つの基準でマルチ基準評価を適用する。
評価のそれぞれの基準は、システムのユニークな重要な側面を明らかにします。
1) フィードバックシステムはどの程度正確か。
2)プログラミング科目を通して学生を指導する方法
3) タスク完了の学生にどのように役立つか。
4) 故障した場合に何が起こるか,及び
5) 学生が一般にシステムにどう反応するか。
評価結果から,本システムは学生にとって有効設計とフィードバック表現に有用であることがわかった。
しかし、初心者は、高い信頼と自己評価の欠如により、この誤認によって負の影響を受けうる。
否定的な影響には、作業時間の増加、実装、不正確な/部分的正しいソリューションの提出が含まれる。
評価結果は,データ駆動型フィードバックシステムの適正な利用,誤り可能性緩和ステップの設計,今後の改善に向けた研究の推進に有用な洞察を見出しながら,マルチクリトリアシステム評価の必要性を補強した。
関連論文リスト
- Pessimistic Evaluation [58.736490198613154]
情報アクセスシステムの評価は,情報アクセスの伝統に沿わない実用的価値を前提としている。
我々は,最悪のケースユーティリティに着目した情報アクセスシステムの悲観的評価を提唱する。
論文 参考訳（メタデータ） (2024-10-17T15:40:09Z) - Rethinking the Evaluation of Dialogue Systems: Effects of User Feedback on Crowdworkers and LLMs [57.16442740983528]
アドホック検索では、評価は暗黙のフィードバックを含むユーザーの行動に大きく依存する。
アノテータの会話知覚におけるターン評価におけるユーザフィードバックの役割はほとんど研究されていない。
本稿では,タスク指向対話システム(TDS)の評価が,ターンのフォローアップ発話を通じて提供されるユーザフィードバック,明示的あるいは暗黙的な評価にどのように影響するかに注目した。
論文 参考訳（メタデータ） (2024-04-19T16:45:50Z) - Improving the Validity of Automatically Generated Feedback via
Reinforcement Learning [50.067342343957876]
強化学習(RL)を用いた正当性と整合性の両方を最適化するフィードバック生成フレームワークを提案する。
具体的には、直接選好最適化(DPO)によるトレーニングのための拡張データセットにおいて、GPT-4のアノテーションを使用してフィードバックペアよりも好みを生成する。
論文 参考訳（メタデータ） (2024-03-02T20:25:50Z) - Adaptation of the Multi-Concept Multivariate Elo Rating System to Medical Students Training Data [6.222836318380985]
エロ評価システムは,学生の成績を予測する能力で広く認知されている。
本稿では,医療訓練プラットフォームで収集したデータに対して,Elo評価システムのマルチコンセプトを適応させる手法を提案する。
論文 参考訳（メタデータ） (2024-02-26T19:19:56Z) - Identifying Student Profiles Within Online Judge Systems Using
Explainable Artificial Intelligence [6.638206014723678]
オンライン審査員(OJ)システムは通常、学生によって開発されたコードの高速かつ客観的な評価を得られるため、プログラミング関連のコースの中で考慮される。
本研究の目的は,OJが収集した情報のさらなる活用を考慮し,学生とインストラクターの両方のフィードバックを自動的に推測することで,この制限に対処することである。
論文 参考訳（メタデータ） (2024-01-29T12:11:30Z) - An integrated framework for developing and evaluating an automated
lecture style assessment system [0.784125444722239]
提案アプリケーションは,表情,身体活動,発話速度と抑揚,手の動き,顔のポーズなど,特定の計測可能な生体特性を利用する。
その結果,本アプリケーションは新規で,講義品質に関するフィードバックの自動化に有用であることが示唆された。
論文 参考訳（メタデータ） (2023-11-30T21:31:21Z) - A Domain-Agnostic Approach for Characterization of Lifelong Learning
Systems [128.63953314853327]
「生涯学習」システムには,1)継続的学習,2)伝達と適応,3)拡張性があります。
この一連のメトリクスは、様々な複雑な生涯学習システムの開発に役立てることができることを示す。
論文 参考訳（メタデータ） (2023-01-18T21:58:54Z) - Automatic Assessment of the Design Quality of Student Python and Java
Programs [0.0]
本研究では,学生プログラムを設計の質を評価するルールベースシステムを提案し,作業改善のための個人的かつ正確なフィードバックを提供する。
学生はシステムから恩恵を受け、設計品質の欠陥の率は4つの異なる割り当てで47.84%減少し、Pythonは2、Javaは2が2だった。
論文 参考訳（メタデータ） (2022-08-22T06:04:10Z) - Improving Conversational Question Answering Systems after Deployment
using Feedback-Weighted Learning [69.42679922160684]
本稿では,二元的ユーザフィードバックを用いた初期教師付きシステムを改善するために,重要サンプリングに基づくフィードバック重み付き学習を提案する。
当社の作業は,実際のユーザとのインタラクションを活用し,デプロイ後の会話システムを改善する可能性を開くものだ。
論文 参考訳（メタデータ） (2020-11-01T19:50:34Z) - Soliciting Human-in-the-Loop User Feedback for Interactive Machine
Learning Reduces User Trust and Impressions of Model Accuracy [8.11839312231511]
混合開始システムにより、ユーザは対話的にフィードバックを提供し、システムパフォーマンスを向上させることができる。
本研究は,フィードバックの提供行為が知的システムのユーザ理解とその正確性に与える影響について検討する。
論文 参考訳（メタデータ） (2020-08-28T16:46:41Z) - Opportunities of a Machine Learning-based Decision Support System for
Stroke Rehabilitation Assessment [64.52563354823711]
リハビリテーションアセスメントは、患者の適切な介入を決定するために重要である。
現在の評価の実践は、主にセラピストの経験に依存しており、セラピストの可用性が限られているため、アセスメントは頻繁に実施される。
我々は、強化学習を用いて評価の健全な特徴を識別できるインテリジェントな意思決定支援システムを開発した。
論文 参考訳（メタデータ） (2020-02-27T17:04:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。