論文の概要: Confidence-Aware Learning Assistant
- arxiv url: http://arxiv.org/abs/2102.07312v1
- Date: Mon, 15 Feb 2021 02:47:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-16 15:20:23.812757
- Title: Confidence-Aware Learning Assistant
- Title(参考訳): 自信認識学習アシスタント
- Authors: Shoya Ishimaru, Takanori Maruichi, Andreas Dengel and Koichi Kise
- Abstract要約: 視線追跡による複数項目の質問を解きながら自己自信を推定するシステムを提案する。
有効性を測定する3つの研究結果について報告する。
- 参考スコア(独自算出の注目度): 26.570692400679857
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Not only correctness but also self-confidence play an important role in
improving the quality of knowledge. Undesirable situations such as confident
incorrect and unconfident correct knowledge prevent learners from revising
their knowledge because it is not always easy for them to perceive the
situations. To solve this problem, we propose a system that estimates
self-confidence while solving multiple-choice questions by eye tracking and
gives feedback about which question should be reviewed carefully. We report the
results of three studies measuring its effectiveness. (1) On a well-controlled
dataset with 10 participants, our approach detected confidence and unconfidence
with 81% and 79% average precision. (2) With the help of 20 participants, we
observed that correct answer rates of questions were increased by 14% and 17%
by giving feedback about correct answers without confidence and incorrect
answers with confidence, respectively. (3) We conducted a large-scale data
recording in a private school (72 high school students solved 14,302 questions)
to investigate effective features and the number of required training samples.
- Abstract(参考訳): 正しいだけでなく、自信も知識の質を向上させる上で重要な役割を果たす。
自信のない不正確で自信のない正しい知識のような望ましくない状況は、学習者が自分の知識を改定することを妨げる。
そこで本研究では,アイトラッキングによる複数選択質問を解きながら,自信を推定し,どの質問を慎重に検討すべきかをフィードバックするシステムを提案する。
有効性を測定する3つの研究結果について報告する。
1) 参加者10名を対象に, 信頼度と信頼度を81%, 平均精度79%で検出した。
2)20名の被験者の協力を得て,質問の正答率を14%,正答率を17%向上させた。
3) 私立学校における大規模データ記録(72人の高校生が14,302の質問を解いた)を行い,有効特徴と必要なトレーニングサンプル数について検討した。
関連論文リスト
- Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。
また,信頼度の高い自己補正(textbfConFix$)も開発した。
論文 参考訳(メタデータ) (2024-11-20T14:15:18Z) - When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。
品質報酬と秩序保存アライメント報酬機能を統合する。
実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
論文 参考訳(メタデータ) (2024-04-26T09:42:46Z) - Uncertainty-Based Abstention in LLMs Improves Safety and Reduces Hallucinations [63.330182403615886]
大きな言語モデル(LLM)の実践的デプロイに対する大きな障壁は、信頼性の欠如である。
このことが特に顕著な3つの状況は、正しさ、未解決の質問に対する幻覚、安全性である。
人間のように、不確実性を理解する能力があるため、私たちが知らない質問への答えを控えるべきです。
論文 参考訳(メタデータ) (2024-04-16T23:56:38Z) - Binary Classification with Confidence Difference [100.08818204756093]
本稿では,信頼性差分法 (ConfDiff) という,弱教師付き二項分類問題について考察する。
本稿では,この問題に対処するためのリスク一貫性のあるアプローチを提案し,推定誤差が最適収束率と一致することを示す。
また,整合性や収束率も証明されたオーバーフィッティング問題を緩和するためのリスク補正手法も導入する。
論文 参考訳(メタデータ) (2023-10-09T11:44:50Z) - Improving Selective Visual Question Answering by Learning from Your
Peers [74.20167944693424]
VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。
本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。
提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
論文 参考訳(メタデータ) (2023-06-14T21:22:01Z) - Did You Mean...? Confidence-based Trade-offs in Semantic Parsing [52.28988386710333]
タスク指向の構文解析において、キャリブレーションモデルが共通のトレードオフのバランスを取るのにどのように役立つかを示す。
次に、信頼性スコアがユーザビリティと安全性のトレードオフを最適化する上で、どのように役立つかを検証します。
論文 参考訳(メタデータ) (2023-03-29T17:07:26Z) - Trust, but Verify: Using Self-Supervised Probing to Improve
Trustworthiness [29.320691367586004]
我々は、訓練されたモデルに対する自信の過剰な問題をチェックおよび緩和することのできる、自己教師型探索の新しいアプローチを導入する。
既存の信頼性関連手法に対して,プラグイン・アンド・プレイ方式で柔軟に適用可能な,シンプルで効果的なフレームワークを提供する。
論文 参考訳(メタデータ) (2023-02-06T08:57:20Z) - Differentiating Student Feedbacks for Knowledge Tracing [5.176190855174938]
本稿では,知識追跡のためのDR4KTを提案する。
再重み付け後の低判別応答に対する高い予測精度を維持するため、DR4KTは識別対応スコア融合技術も導入している。
論文 参考訳(メタデータ) (2022-12-16T13:55:07Z) - Quality Inference in Federated Learning with Secure Aggregation [0.7614628596146599]
安全なアグリゲーションを適用した場合でも,品質情報を推測し,特定の参加者に関連付けることができることを示す。
本研究では,誤動作の検出,トレーニング性能の安定化,参加者の個人的貢献度の測定に,推定品質情報を適用した。
論文 参考訳(メタデータ) (2020-07-13T08:36:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。