論文の概要: Do Not Trust a Model Because It is Confident: Uncovering and Characterizing Unknown Unknowns to Student Success Predictors in Online-Based Learning

• arxiv url: http://arxiv.org/abs/2212.08532v1
• Date: Fri, 16 Dec 2022 15:32:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-19 16:22:51.342280
• Title: Do Not Trust a Model Because It is Confident: Uncovering and Characterizing Unknown Unknowns to Student Success Predictors in Online-Based Learning
• Title（参考訳）: 自信があるからといってモデルを信じない - オンライン学習における未知の未知を学生成功予測者に解き明かす
• Authors: Roberta Galici, Tanja K\"aser, Gianni Fenu, Mirko Marras
• Abstract要約: 学生の成功モデルは弱い点、すなわち正確に分類するのが難しい例を発達させる傾向がある。 この弱点は、モデル予測が、例えば、インストラクターが必要に応じて学生に介入しないように誘導するので、ユーザの信頼を損なう主要な要因の1つである。 本稿では,学生の成功予測における未知の未知の発見と特徴付けの必要性を明らかにする。
• 参考スコア（独自算出の注目度）: 10.120425915106727
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Student success models might be prone to develop weak spots, i.e., examples hard to accurately classify due to insufficient representation during model creation. This weakness is one of the main factors undermining users' trust, since model predictions could for instance lead an instructor to not intervene on a student in need. In this paper, we unveil the need of detecting and characterizing unknown unknowns in student success prediction in order to better understand when models may fail. Unknown unknowns include the students for which the model is highly confident in its predictions, but is actually wrong. Therefore, we cannot solely rely on the model's confidence when evaluating the predictions quality. We first introduce a framework for the identification and characterization of unknown unknowns. We then assess its informativeness on log data collected from flipped courses and online courses using quantitative analyses and interviews with instructors. Our results show that unknown unknowns are a critical issue in this domain and that our framework can be applied to support their detection. The source code is available at https://github.com/epfl-ml4ed/unknown-unknowns.
• Abstract（参考訳）: 学生の成功モデルは弱点、すなわちモデル作成中に表現不足のために正確に分類することが難しい例を開発する傾向にある。 この弱点はユーザの信頼を損なう主要な要因の1つであり、例えばモデル予測は、インストラクターが必要に応じて生徒に介入しないように導く可能性がある。 本稿では,学生の成功予測における未知の未知点の検出と特徴付けの必要性を明らかにし,モデルがいつ失敗するかをよりよく理解する。 未知には、モデルが予測に自信を持っているが実際には間違っている学生が含まれる。 したがって、予測品質を評価する際に、モデルの信頼度のみに頼ることはできない。 まず、未知の未知の識別と特徴付けのためのフレームワークを紹介する。 次に,フリップコースとオンラインコースから収集したログデータについて,定量的分析とインストラクタへのインタビューを用いてその情報度を評価する。 この領域では未知の未知が重要な問題であり,その検出を支援するために我々のフレームワークが適用可能であることを示す。 ソースコードはhttps://github.com/epfl-ml4ed/unknown-unknownsで入手できる。

関連論文リスト

• An Ambiguity Measure for Recognizing the Unknowns in Deep Learning [0.0]
  深層ニューラルネットワークの学習範囲から, 深部ニューラルネットワークの理解について検討する。 任意のモデルに対する入力のあいまいさを定量化する尺度を提案する。
  論文  参考訳（メタデータ） (2023-12-11T02:57:12Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Trusting Language Models in Education [1.2578554943276923]
  本稿では,BERT 上の XGBoost を用いて補正された確率を出力することを提案する。 我々の仮説は、注意の流れに含まれる不確実性のレベルは、モデルの応答自体の品質に関係している、というものである。
  論文  参考訳（メタデータ） (2023-08-07T18:27:54Z)
• Beyond Confidence: Reliable Models Should Also Consider Atypicality [43.012818086415514]
  サンプルやクラスが非典型的であるかとモデルの予測の信頼性との関係について検討する。 非定型入力や非定型クラスの予測は、より過信であり、精度が低いことを示す。 モデルの信頼性だけでなく,不確かさの定量化や性能向上にも非定型性を用いるべきである。
  論文  参考訳（メタデータ） (2023-05-29T17:37:09Z)
• Reliability-Aware Prediction via Uncertainty Learning for Person Image Retrieval [51.83967175585896]
  UALは、データ不確実性とモデル不確実性を同時に考慮し、信頼性に配慮した予測を提供することを目的としている。 データ不確実性はサンプル固有のノイズを捕捉する」一方、モデル不確実性はサンプルの予測に対するモデルの信頼を表現している。
  論文  参考訳（メタデータ） (2022-10-24T17:53:20Z)
• SF-PATE: Scalable, Fair, and Private Aggregation of Teacher Ensembles [50.90773979394264]
  本稿では、個人の機密情報のプライバシーを保護しつつ、差別的でない予測者の学習を可能にするモデルについて検討する。 提案モデルの主な特徴は、プライバシ保護とフェアモデルを作成するために、オフ・ザ・セルフと非プライベートフェアモデルの採用を可能にすることである。
  論文  参考訳（メタデータ） (2022-04-11T14:42:54Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• A Tale Of Two Long Tails [4.970364068620608]
  モデルが不確実である例を特定し、その不確実性の原因を特徴付ける。 追加情報が存在する場合の学習速度が,非典型例と雑音例とで異なるか否かを検討する。 以上の結果から,トレーニングの過程で適切に設計された介入は,異なる不確実性源の識別・識別に有効な方法であることが示唆された。
  論文  参考訳（メタデータ） (2021-07-27T22:49:59Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。