論文の概要: CON-FOLD -- Explainable Machine Learning with Confidence
- arxiv url: http://arxiv.org/abs/2408.07854v1
- Date: Wed, 14 Aug 2024 23:45:21 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-16 15:28:57.408317
- Title: CON-FOLD -- Explainable Machine Learning with Confidence
- Title（参考訳）: CON-FOLD -- 信頼性を備えた説明可能な機械学習
- Authors: Lachlan McGinness, Peter Baumgartner,
- Abstract要約: FOLD-RMは、説明可能な機械学習分類アルゴリズムである。
FOLD-RMを拡張したCON-FOLDを提案する。
本稿では、FOLD-RMルールのユニークな構造を用いて、ルールを効率よくプーンし、過度な適合を防ぐ信頼性ベースのプルーニングアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.18416014644193066
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: FOLD-RM is an explainable machine learning classification algorithm that uses training data to create a set of classification rules. In this paper we introduce CON-FOLD which extends FOLD-RM in several ways. CON-FOLD assigns probability-based confidence scores to rules learned for a classification task. This allows users to know how confident they should be in a prediction made by the model. We present a confidence-based pruning algorithm that uses the unique structure of FOLD-RM rules to efficiently prune rules and prevent overfitting. Furthermore, CON-FOLD enables the user to provide pre-existing knowledge in the form of logic program rules that are either (fixed) background knowledge or (modifiable) initial rule candidates. The paper describes our method in detail and reports on practical experiments. We demonstrate the performance of the algorithm on benchmark datasets from the UCI Machine Learning Repository. For that, we introduce a new metric, Inverse Brier Score, to evaluate the accuracy of the produced confidence scores. Finally we apply this extension to a real world example that requires explainability: marking of student responses to a short answer question from the Australian Physics Olympiad.
- Abstract（参考訳）: FOLD-RMは、トレーニングデータを使用して分類ルールのセットを作成する、説明可能な機械学習分類アルゴリズムである。
本稿では, FOLD-RMを拡張したCON-FOLDについて述べる。
CON-FOLDは、確率ベースの信頼スコアを分類タスクで学んだルールに割り当てる。
これにより、モデルによって予測される自信の度合いを知ることができる。
本稿では、FOLD-RMルールのユニークな構造を用いて、ルールを効率よくプーンし、過度な適合を防ぐ信頼性ベースのプルーニングアルゴリズムを提案する。
さらに、CON-FOLDは、背景知識(固定)または初期ルール候補(変更)であるロジックプログラムルールの形式で、既存の知識を提供することができる。
本稿では,本手法を詳述し,実用実験について報告する。
UCI Machine Learning Repositoryのベンチマークデータセットにおけるアルゴリズムの性能を示す。
そこで我々は,新たに作成した信頼性スコアの精度を評価するために,逆ブライアスコア(Inverse Brier Score)を導入した。
最後に、この拡張を説明可能性を必要とする実世界の例に適用する。
関連論文リスト
- Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。
本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T16:35:30Z) - Conformal Predictions for Probabilistically Robust Scalable Machine Learning Classification [1.757077789361314]
コンフォーマルな予測により、信頼性と堅牢な学習アルゴリズムを定義することができる。
基本的には、アルゴリズムが実際に使われるのに十分であるかどうかを評価する方法である。
本稿では,設計当初から信頼性の高い分類学習フレームワークを定義した。
論文 参考訳（メタデータ） (2024-03-15T14:59:24Z) - Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。
新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。
新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
論文 参考訳（メタデータ） (2024-01-03T07:59:17Z) - When Does Confidence-Based Cascade Deferral Suffice? [69.28314307469381]
カスケードは、推論コストをサンプル毎に適応的に変化させる古典的な戦略である。
deferralルールは、シーケンス内の次の分類子を呼び出すか、または予測を終了するかを決定する。
カスケードの構造に執着しているにもかかわらず、信頼に基づく推論は実際は極めてうまく機能することが多い。
論文 参考訳（メタデータ） (2023-07-06T04:13:57Z) - Preserving Knowledge Invariance: Rethinking Robustness Evaluation of
Open Information Extraction [50.62245481416744]
実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。
我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。
さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
論文 参考訳（メタデータ） (2023-05-23T12:05:09Z) - Fast Entropy-Based Methods of Word-Level Confidence Estimation for
End-To-End Automatic Speech Recognition [86.21889574126878]
本研究では,フレーム単位のエントロピー値を正規化して集約し,単位単位当たりの信頼度と単語毎の信頼度を求める方法を示す。
提案手法をLibriSpeechテストセット上で評価した結果,最大フレーム当たりの信頼度推定値の最大値から,信頼度推定値の最大値の最大値の最大値の最大値の最大値の2倍,4倍の精度を示した。
論文 参考訳（メタデータ） (2022-12-16T20:27:40Z) - FOLD-SE: Scalable Explainable AI [3.1981440103815717]
本稿では、スケーラブルな説明可能性(SE)を提供するFOLD-R++アルゴリズムであるFOLD-SEの改善について述べる。
学習ルールと学習リテラルの数は少なく、したがって人間によって理解され、分類における優れた性能を維持している。
論文 参考訳（メタデータ） (2022-08-16T19:15:11Z) - Confidence Estimation for Attention-based Sequence-to-sequence Models
for Speech Recognition [31.25931550876392]
音声認識器からの信頼スコアは、転写の質を評価するのに有用な尺度である。
本稿では、既存のエンドツーエンドASRモデルに基づいて、信頼度推定モジュール(CEM)という軽量で効果的なアプローチを提案する。
論文 参考訳（メタデータ） (2020-10-22T04:02:27Z) - Active Learning++: Incorporating Annotator's Rationale using Local Model
Explanation [84.10721065676913]
アノテーションは、与えられたクエリの重要性に基づいて入力特徴をランク付けすることで、ラベルを選択するための根拠を提供することができる。
すべての委員会モデルを等しく重み付けして次の事例を選択する代わりに、アノテータのランクにより高い一致で委員会モデルにより高い重みを割り当てます。
このアプローチは、LIMEのような局所的な説明を生成するためにモデルに依存しない手法を用いて、任意の種類のMLモデルに適用できる。
論文 参考訳（メタデータ） (2020-09-06T08:07:33Z) - Explainable Empirical Risk Minimization [0.6299766708197883]
機械学習(ML)の手法が成功すると、解釈可能性や説明可能性にますます依存するようになる。
本稿では、情報理論の概念を適用し、ML法による予測の主観的説明可能性のための新しい尺度を開発する。
我々の主な貢献は、主観的説明可能性とリスクを最適にバランスする仮説を学ぶための説明可能な経験的リスク最小化(EERM)原理である。
論文 参考訳（メタデータ） (2020-09-03T07:16:34Z) - Explainable AI for Classification using Probabilistic Logic Inference [9.656846523452502]
説明可能な分類法を提案する。
本手法は,まず学習データから記号的知識ベースを構築し,その知識ベース上で線形プログラミングによる確率的推論を行う。
これは、ある分類を説明として責任を負う決定的な特徴を特定し、アートリー値ベースの手法であるSHAPに類似した結果を生成する。
論文 参考訳（メタデータ） (2020-05-05T11:39:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。