論文の概要: Reject option models comprising out-of-distribution detection
- arxiv url: http://arxiv.org/abs/2307.05199v1
- Date: Tue, 11 Jul 2023 12:09:14 GMT
- ステータス: 処理完了
- システム内更新日: 2023-07-12 15:16:34.625064
- Title: Reject option models comprising out-of-distribution detection
- Title(参考訳): out-of-distribution detection を含む reject オプションモデル
- Authors: Vojtech Franc, Daniel Prusa, Jakub Paplham
- Abstract要約: アウト・オブ・ディストリビューション・セットアップの最適予測戦略は、機械学習の基本的な問題である。
OOD設定に対する3つの拒否オプションモデルを提案する。
提案したモデルがそれぞれ異なる定式化にもかかわらず、最適戦略の共通クラスを共有していることを確立する。
- 参考スコア(独自算出の注目度): 6.746400031322727
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The optimal prediction strategy for out-of-distribution (OOD) setups is a
fundamental question in machine learning. In this paper, we address this
question and present several contributions. We propose three reject option
models for OOD setups: the Cost-based model, the Bounded TPR-FPR model, and the
Bounded Precision-Recall model. These models extend the standard reject option
models used in non-OOD setups and define the notion of an optimal OOD selective
classifier. We establish that all the proposed models, despite their different
formulations, share a common class of optimal strategies. Motivated by the
optimal strategy, we introduce double-score OOD methods that leverage
uncertainty scores from two chosen OOD detectors: one focused on OOD/ID
discrimination and the other on misclassification detection. The experimental
results consistently demonstrate the superior performance of this simple
strategy compared to state-of-the-art methods. Additionally, we propose novel
evaluation metrics derived from the definition of the optimal strategy under
the proposed OOD rejection models. These new metrics provide a comprehensive
and reliable assessment of OOD methods without the deficiencies observed in
existing evaluation approaches.
- Abstract(参考訳): out-of-distribution(ood)セットアップの最適予測戦略は、機械学習の基本的な問題である。
本稿では,この問題に対処し,いくつかの貢献を行う。
我々は,コストベースモデル,境界TPR-FPRモデル,境界精度-リコールモデルという,OOD設定に対する3つの拒否オプションモデルを提案する。
これらのモデルは、非OODセットアップで使用される標準のリジェクションオプションモデルを拡張し、最適なOOD選択分類器の概念を定義する。
提案したモデルがそれぞれ異なる定式化にもかかわらず、最適戦略の共通クラスを共有していることを確立する。
本手法は,OOD/IDの識別と誤分類検出に焦点をあてた2つのOOD検出器からの不確かさのスコアを利用する二重スコアOOD手法を提案する。
実験結果は,最先端手法と比較して,この単純な戦略の優れた性能を一貫して示している。
さらに,提案したOOD拒絶モデルに基づく最適戦略の定義から得られた新しい評価指標を提案する。
これらの新しい指標は、既存の評価手法で観察される欠陥を伴わない、包括的で信頼性の高いOOD手法の評価を提供する。
関連論文リスト
- A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。
本報告は,OOD評価の総合的な評価を行うための最初の試みである。
我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
論文 参考訳(メタデータ) (2024-03-04T09:30:35Z) - Model-free Test Time Adaptation for Out-Of-Distribution Detection [62.49795078366206]
我々はtextbfDistribution textbfDetection (abbr) のための非パラメトリックテスト時間 textbfAdaptation フレームワークを提案する。
Abbrは、オンラインテストサンプルを使用して、テスト中のモデル適応、データ分散の変更への適応性を向上させる。
複数のOOD検出ベンチマークにおける包括的実験により,abrの有効性を示す。
論文 参考訳(メタデータ) (2023-11-28T02:00:47Z) - Optimal Budgeted Rejection Sampling for Generative Models [54.050498411883495]
判別器を用いた生成モデルの性能向上のために, 還元サンプリング法が提案されている。
提案手法は,まず,最適に最適である最適予算削減サンプリング方式を提案する。
第2に,モデル全体の性能を高めるために,サンプリング方式をトレーニング手順に組み込んだエンドツーエンド手法を提案する。
論文 参考訳(メタデータ) (2023-11-01T11:52:41Z) - Towards Realistic Out-of-Distribution Detection: A Novel Evaluation
Framework for Improving Generalization in OOD Detection [14.541761912174799]
本稿では,OOD(Out-of-Distribution)検出のための新しい評価フレームワークを提案する。
より現実的な設定で機械学習モデルのパフォーマンスを評価することを目的としている。
論文 参考訳(メタデータ) (2022-11-20T07:30:15Z) - RODD: A Self-Supervised Approach for Robust Out-of-Distribution
Detection [12.341250124228859]
本稿では,分散データセットに依存しない簡易かつ効果的なOOD検出手法を提案する。
提案手法は, コンパクトな低次元空間上に埋没するトレーニングサンプルの自己教師型特徴学習に依存する。
自己教師付きコントラスト学習を用いた事前学習モデルでは、潜伏空間における一次元特徴学習のより良いモデルが得られることを実証的に示す。
論文 参考訳(メタデータ) (2022-04-06T03:05:58Z) - Sample-Efficient Reinforcement Learning via Conservative Model-Based
Actor-Critic [67.00475077281212]
モデルベース強化学習アルゴリズムは、モデルフリーのアルゴリズムよりもサンプル効率が高い。
本稿では,精度の高い学習モデルに強く依存することなく,高いサンプル効率を実現する新しい手法を提案する。
CMBACは,いくつかの課題に対して,サンプル効率の点で最先端のアプローチを著しく上回ることを示す。
論文 参考訳(メタデータ) (2021-12-16T15:33:11Z) - ReAct: Out-of-distribution Detection With Rectified Activations [20.792140933660075]
オフ・オブ・ディストリビューション (OOD) 検出は, 実用的重要性から近年注目されている。
主な課題の1つは、モデルがしばしばOODデータに対して高い信頼性の予測を生成することである。
我々は,OODデータに対するモデル過信を低減するためのシンプルで効果的な手法であるReActを提案する。
論文 参考訳(メタデータ) (2021-11-24T21:02:07Z) - Characterizing Fairness Over the Set of Good Models Under Selective
Labels [69.64662540443162]
同様の性能を実現するモデルセットに対して,予測公正性を特徴付けるフレームワークを開発する。
到達可能なグループレベルの予測格差の範囲を計算するためのトラクタブルアルゴリズムを提供します。
選択ラベル付きデータの実証的な課題に対処するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2021-01-02T02:11:37Z) - On the model-based stochastic value gradient for continuous
reinforcement learning [50.085645237597056]
モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。
以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
論文 参考訳(メタデータ) (2020-08-28T17:58:29Z) - Providing reliability in Recommender Systems through Bernoulli Matrix
Factorization [63.732639864601914]
本稿では,予測値と信頼性値の両方を提供するためにBernoulli Matrix Factorization (BeMF)を提案する。
BeMFはメモリベースのフィルタリングではなく、モデルベースの協調フィルタリングに作用する。
予測の信頼性が高ければ高いほど、それが間違っているという責任は少なくなる。
論文 参考訳(メタデータ) (2020-06-05T14:24:27Z) - Likelihood Regret: An Out-of-Distribution Detection Score For
Variational Auto-encoder [6.767885381740952]
確率的生成モデルは、ある種のアウト・オブ・ディストリビューション・サンプルに対して高い確率を割り当てることができる。
VAEのための効率的なOODスコアであるLikelihood Regretを提案する。
論文 参考訳(メタデータ) (2020-03-06T00:30:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。