論文の概要: Deep Neural Network Benchmarks for Selective Classification
- arxiv url: http://arxiv.org/abs/2401.12708v2
- Date: Wed, 18 Sep 2024 07:48:33 GMT
- ステータス: 処理完了
- システム内更新日: 2024-09-19 23:35:48.020593
- Title: Deep Neural Network Benchmarks for Selective Classification
- Title（参考訳）: 選択分類のためのディープニューラルネットワークベンチマーク
- Authors: Andrea Pugnana, Lorenzo Perini, Jesse Davis, Salvatore Ruggieri,
- Abstract要約: 複数の選択的な分類フレームワークが存在し、その多くはディープニューラルネットワークアーキテクチャに依存している。
提案手法は,選択誤差率,経験的カバレッジ,拒否されたインスタンスのクラス分布,アウト・オブ・ディストリビューション・インスタンスの性能など,いくつかの基準を用いて評価する。
- 参考スコア（独自算出の注目度）: 27.098996474946446
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the increasing deployment of machine learning models in many socially sensitive tasks, there is a growing demand for reliable and trustworthy predictions. One way to accomplish these requirements is to allow a model to abstain from making a prediction when there is a high risk of making an error. This requires adding a selection mechanism to the model, which selects those examples for which the model will provide a prediction. The selective classification framework aims to design a mechanism that balances the fraction of rejected predictions (i.e., the proportion of examples for which the model does not make a prediction) versus the improvement in predictive performance on the selected predictions. Multiple selective classification frameworks exist, most of which rely on deep neural network architectures. However, the empirical evaluation of the existing approaches is still limited to partial comparisons among methods and settings, providing practitioners with little insight into their relative merits. We fill this gap by benchmarking 18 baselines on a diverse set of 44 datasets that includes both image and tabular data. Moreover, there is a mix of binary and multiclass tasks. We evaluate these approaches using several criteria, including selective error rate, empirical coverage, distribution of rejected instance's classes, and performance on out-of-distribution instances. The results indicate that there is not a single clear winner among the surveyed baselines, and the best method depends on the users' objectives.
- Abstract（参考訳）: 多くの社会的に敏感なタスクにおける機械学習モデルの展開の増加に伴い、信頼性と信頼性のある予測に対する需要が高まっている。
これらの要求を達成する1つの方法は、モデルがエラーを犯すリスクが高い場合に予測を控えることである。
これはモデルに選択メカニズムを追加し、モデルが予測を提供するサンプルを選択する必要がある。
選択分類フレームワークは、選択された予測に対する予測性能の改善に対して、拒否された予測の割合(すなわち、モデルが予測を行わない例の割合)をバランスさせるメカニズムを設計することを目的としている。
複数の選択的な分類フレームワークが存在し、その多くはディープニューラルネットワークアーキテクチャに依存している。
しかし、既存のアプローチの実証的な評価は、方法論と設定の部分的な比較に限られており、実践者はそれらの相対的なメリットについてはほとんど見当たらない。
このギャップを、画像と表のデータの両方を含む44のデータセットの多様なセットに対して、18のベースラインをベンチマークすることで埋める。
さらに、バイナリとマルチクラスのタスクが混在しています。
提案手法は,選択誤差率,経験的カバレッジ,拒否されたインスタンスのクラス分布,アウト・オブ・ディストリビューション・インスタンスの性能など,いくつかの基準を用いて評価する。
その結果,調査対象のベースラインに明確な勝者は一人もおらず,最良の方法がユーザの目的に依存していることが示唆された。
関連論文リスト
- Awareness of uncertainty in classification using a multivariate model and multi-views [1.3048920509133808]
提案モデルでは,不確かさ予測を正規化し,予測と不確かさ推定の両方を計算する訓練を行う。
複数ビュー予測と不確かさと信頼度を考慮し、最終的な予測を計算する方法をいくつか提案した。
提案手法はクリーンでノイズの多いラベル付きCIFAR-10データセットを用いて検証した。
論文 参考訳（メタデータ） (2024-04-16T06:40:51Z) - An Experimental Study on the Rashomon Effect of Balancing Methods in Imbalanced Classification [0.0]
本稿では,ラショモン効果を用いた予測多重度に及ぼすバランス法の影響について検討する。
データ中心のAIにおける盲点モデル選択は、ほぼ同じ精度のモデルのセットからリスクが高いため、非常に重要です。
論文 参考訳（メタデータ） (2024-03-22T13:08:22Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳（メタデータ） (2023-02-06T16:55:37Z) - Post-Selection Confidence Bounds for Prediction Performance [2.28438857884398]
機械学習では、潜在的に多くの競合モデルから有望なモデルを選択し、その一般化性能を評価することが重要な課題である。
本稿では,評価セットの予測性能に基づいて選択された複数のモデルに対して,有効な低信頼境界を求めるアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-10-24T13:28:43Z) - Confidence estimation of classification based on the distribution of the
neural network output layer [4.529188601556233]
現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。
ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。
提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
論文 参考訳（メタデータ） (2022-10-14T12:32:50Z) - An Additive Instance-Wise Approach to Multi-class Model Interpretation [53.87578024052922]
解釈可能な機械学習は、ブラックボックスシステムの特定の予測を駆動する要因に関する洞察を提供する。
既存の手法は主に、局所的な加法的あるいはインスタンス的なアプローチに従う説明的入力特徴の選択に重点を置いている。
本研究は,両手法の長所を生かし,複数の対象クラスに対する局所的な説明を同時に学習するためのグローバルフレームワークを提案する。
論文 参考訳（メタデータ） (2022-07-07T06:50:27Z) - Selecting the suitable resampling strategy for imbalanced data
classification regarding dataset properties [62.997667081978825]
医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。
この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。
オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
論文 参考訳（メタデータ） (2021-12-15T18:56:39Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2021-01-02T02:11:37Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z) - Decision-Making with Auto-Encoding Variational Bayes [71.44735417472043]
変分分布とは異なる後部近似を用いて意思決定を行うことが示唆された。
これらの理論的な結果から,最適モデルに関するいくつかの近似的提案を学習することを提案する。
おもちゃの例に加えて,単細胞RNAシークエンシングのケーススタディも紹介する。
論文 参考訳（メタデータ） (2020-02-17T19:23:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。