論文の概要: Evaluating the Explainers: Black-Box Explainable Machine Learning for Student Success Prediction in MOOCs

• arxiv url: http://arxiv.org/abs/2207.00551v1
• Date: Fri, 1 Jul 2022 17:09:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-04 14:54:28.464128
• Title: Evaluating the Explainers: Black-Box Explainable Machine Learning for Student Success Prediction in MOOCs
• Title（参考訳）: 説明者の評価:MOOCにおける学生成功予測のためのブラックボックス記述型機械学習
• Authors: Vinitra Swamy, Bahar Radmehr, Natasa Krco, Mirko Marras, Tanja K\"aser
• Abstract要約: ブラックボックス機械学習モデルを説明するための5つの最先端手法を実装した。 学生のパフォーマンス予測の下流課題に対する各アプローチの強みについて検討する。 この結果は,説明者の選択が重要な決定である,という結論に至った。
• 参考スコア（独自算出の注目度）: 5.241055914181294
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural networks are ubiquitous in applied machine learning for education. Their pervasive success in predictive performance comes alongside a severe weakness, the lack of explainability of their decisions, especially relevant in human-centric fields. We implement five state-of-the-art methodologies for explaining black-box machine learning models (LIME, PermutationSHAP, KernelSHAP, DiCE, CEM) and examine the strengths of each approach on the downstream task of student performance prediction for five massive open online courses. Our experiments demonstrate that the families of explainers do not agree with each other on feature importance for the same Bidirectional LSTM models with the same representative set of students. We use Principal Component Analysis, Jensen-Shannon distance, and Spearman's rank-order correlation to quantitatively cross-examine explanations across methods and courses. Furthermore, we validate explainer performance across curriculum-based prerequisite relationships. Our results come to the concerning conclusion that the choice of explainer is an important decision and is in fact paramount to the interpretation of the predictive results, even more so than the course the model is trained on. Source code and models are released at http://github.com/epfl-ml4ed/evaluating-explainers.
• Abstract（参考訳）: ニューラルネットワークは、教育のための応用機械学習においてユビキタスである。 予測性能の広範にわたる成功は、重大な弱点、決定の説明可能性の欠如、特に人間中心の分野に関係している。 我々は、ブラックボックス機械学習モデル(LIME, PermutationSHAP, KernelSHAP, DiCE, CEM)を説明するための5つの最先端手法を実装し、5つの大規模オープンオンラインコースにおける学生パフォーマンス予測の下流課題に対する各アプローチの強みについて検討する。 本実験は,同じ学生群を対象とする双方向LSTMモデルの特徴的重要性について,説明者の家族間では一致しないことを示した。 主成分分析, ジェンセン・シャノン距離, スピアマンの階階数相関を用いて, 方法やコースの相互比較を定量的に行う。 さらに,カリキュラムに基づく前提条件関係における説明器の性能を検証する。 この結果から,説明者の選択は重要な決定であり,モデルが学習する過程よりもむしろ予測結果の解釈に最も重要であるという結論が得られた。 ソースコードとモデルはhttp://github.com/epfl-ml4ed/evaluating-explainersでリリースされている。

関連論文リスト

• Explaining Explainability: Towards Deeper Actionable Insights into Deep Learning through Second-order Explainability [70.60433013657693]
  2階説明可能なAI(SOXAI)は、最近インスタンスレベルからデータセットレベルまで説明可能なAI(XAI)を拡張するために提案されている。 そこで本研究では,SOXAIの動作可能な洞察に基づくトレーニングセットから無関係な概念を除外することで,モデルの性能を向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-06-14T23:24:01Z)
• VCNet: A self-explaining model for realistic counterfactual generation [52.77024349608834]
  事実的説明は、機械学習の決定を局所的に説明するための手法のクラスである。 本稿では,予測器と対実生成器を組み合わせたモデルアーキテクチャであるVCNet-Variational Counter Netを提案する。 我々はVCNetが予測を生成でき、また、別の最小化問題を解くことなく、反現実的な説明を生成できることを示した。
  論文  参考訳（メタデータ） (2022-12-21T08:45:32Z)
• Trusting the Explainers: Teacher Validation of Explainable Artificial Intelligence for Course Design [5.725477071353353]
  本研究は、オンライン学習とブレンド学習の文脈と、学生の成功予測モデルの使用事例に焦点を当てる。 ペアワイズな学習設計を用いて、コースのペア間の制御された差異を調査する。 本研究は,授業と手法間の説明間の距離を定量的に比較する。 LIME と SHAP の説明を,26 名の大学レベルの教育者を対象とした半構造化インタビューで検証した。
  論文  参考訳（メタデータ） (2022-12-17T21:26:22Z)
• Harnessing the Power of Explanations for Incremental Training: A LIME-Based Approach [6.244905619201076]
  この研究では、モデル説明がフィードフォワードトレーニングにフィードバックされ、モデルをより一般化するのに役立つ。 このフレームワークは、シーケンシャルなテストセットのパフォーマンスを維持するために、Elastic Weight Consolidation (EWC)によるカスタム重み付き損失を取り入れている。 提案したカスタムトレーニング手順は、インクリメンタルラーニングセットアップのすべてのフェーズにおいて、0.5%から1.5%までの精度を一貫して向上させる。
  論文  参考訳（メタデータ） (2022-11-02T18:16:17Z)
• Machine Learning in Sports: A Case Study on Using Explainable Models for Predicting Outcomes of Volleyball Matches [0.0]
  本稿では,ブラジルバレーボールリーグ(SuperLiga)における試合結果を予測するための2相説明可能な人工知能(XAI)アプローチについて検討する。 第1フェーズでは、解釈可能なルールベースのMLモデルを直接使用し、モデルの振る舞いをグローバルに理解する。 第2フェーズでは,SVM(Support Vector Machine)やDNN(Deep Neural Network)といった非線形モデルを構築し,バレーボールの試合結果の予測性能を得る。
  論文  参考訳（メタデータ） (2022-06-18T18:09:15Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Exploring Bayesian Deep Learning for Urgent Instructor Intervention Need in MOOC Forums [58.221459787471254]
  大規模なオープンオンラインコース(MOOC)は、その柔軟性のおかげで、eラーニングの一般的な選択肢となっている。 多くの学習者とその多様な背景から、リアルタイムサポートの提供は課税されている。 MOOCインストラクターの大量の投稿と高い作業負荷により、インストラクターが介入を必要とするすべての学習者を識別できる可能性は低いです。 本稿では,モンテカルロドロップアウトと変分推論という2つの手法を用いて,学習者によるテキスト投稿のベイジアン深層学習を初めて検討する。
  論文  参考訳（メタデータ） (2021-04-26T15:12:13Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
  本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。 我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
  論文  参考訳（メタデータ） (2020-11-17T12:39:44Z)
• A framework for predicting, interpreting, and improving Learning Outcomes [0.0]
  本研究では,学生の観察的,行動的,受験的特徴に基づいて,テストスコアを予測するEmbibe Score Quotient Model(ESQ)を開発した。 ESQは、学生の将来的な採点可能性の予測や、個別の学習ナッジの提供に使用することができる。
  論文  参考訳（メタデータ） (2020-10-06T11:22:27Z)
• Adversarial Infidelity Learning for Model Interpretation [43.37354056251584]
  本稿では,モデル解釈のためのモデル非依存能率直接(MEED)FSフレームワークを提案する。 我々のフレームワークは、正当性、ショートカット、モデルの識別可能性、情報伝達に関する懸念を緩和する。 我々のAILメカニズムは、選択した特徴と目標の間の条件分布を学習するのに役立ちます。
  論文  参考訳（メタデータ） (2020-06-09T16:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。