論文の概要: Out-of-distribution Detection Using Kernel Density Polytopes
- arxiv url: http://arxiv.org/abs/2201.13001v1
- Date: Mon, 31 Jan 2022 05:07:16 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-02 01:50:33.091283
- Title: Out-of-distribution Detection Using Kernel Density Polytopes
- Title(参考訳): カーネル密度ポリトープを用いた分布外検出
- Authors: Jayanta Dey, Ashwin De Silva, Will LeVine, Jong Shin, Haoyin Xu, Ali
Geisa, Tiffany Chu, Leyla Isik, Joshua T. Vogelstein
- Abstract要約: カーネル密度ポリトープには、ランダムな森林と深層ネットワークに基づくカーネル密度フォレスト(KDF)とカーネル密度ネットワーク(KDN)の2種類がある。
KDFとKDNはOOD領域のクラスに対して均一に信頼でき、それぞれの親モデルと比較して分布精度は良好である。
- 参考スコア(独自算出の注目度): 6.680054858871539
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Any reasonable machine learning (ML) model should not only interpolate
efficiently in between the training samples provided (in-distribution region),
but also approach the extrapolative or out-of-distribution (OOD) region without
being overconfident. Our experiment on human subjects justifies the
aforementioned properties for human intelligence as well. Many state-of-the-art
algorithms have tried to fix the overconfidence problem of ML models in the OOD
region. However, in doing so, they have often impaired the in-distribution
performance of the model. Our key insight is that ML models partition the
feature space into polytopes and learn constant (random forests) or affine
(ReLU networks) functions over those polytopes. This leads to the OOD
overconfidence problem for the polytopes which lie in the training data
boundary and extend to infinity. To resolve this issue, we propose kernel
density methods that fit Gaussian kernel over the polytopes, which are learned
using ML models. Specifically, we introduce two variants of kernel density
polytopes: Kernel Density Forest (KDF) and Kernel Density Network (KDN) based
on random forests and deep networks, respectively. Studies on various
simulation settings show that both KDF and KDN achieve uniform confidence over
the classes in the OOD region while maintaining good in-distribution accuracy
compared to that of their respective parent models.
- Abstract(参考訳): 合理的な機械学習(ml)モデルは、提供されたトレーニングサンプル(in-distribution region)間で効率的に補間するだけでなく、過剰に信頼されることなく外挿的または外注的(ood)領域にアプローチすべきである。
人間の被験者に対する実験は、前述の人間の知性も正当化します。
多くの最先端アルゴリズムは、OOD領域におけるMLモデルの過信問題を解決しようと試みている。
しかし、そのような場合、彼らはしばしばモデルの流通性能を損なう。
我々の重要な洞察は、MLモデルが特徴空間をポリトープに分割し、それらのポリトープ上で定数(ランダムフォレスト)またはアフィン(ReLUネットワーク)関数を学ぶことである。
これにより、トレーニングデータ境界に存在し無限大にまで広がるポリトープのood過剰信頼問題に繋がる。
この問題を解決するために,MLモデルを用いて学習した多面体上のガウスカーネルに適合するカーネル密度法を提案する。
具体的には、ランダムな森林と深層ネットワークに基づくカーネル密度ネットワーク(KDF)とカーネル密度ネットワーク(KDN)の2種類のカーネル密度ポリトープを紹介する。
KDFとKDNの両方がOOD領域のクラスに対して均一な信頼性を達成し,各親モデルと比較した場合の分布精度は良好であった。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳(メタデータ) (2024-02-14T14:35:57Z) - Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep
Learning under Distribution Shift [19.945634052291542]
我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。
我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。
そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
論文 参考訳(メタデータ) (2023-06-21T14:36:03Z) - Deep Anti-Regularized Ensembles provide reliable out-of-distribution
uncertainty quantification [4.750521042508541]
深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。
トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。
提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
論文 参考訳(メタデータ) (2023-04-08T15:25:12Z) - Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。
提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
論文 参考訳(メタデータ) (2022-06-06T17:32:12Z) - A New Robust Multivariate Mode Estimator for Eye-tracking Calibration [0.0]
本稿では,多変量分布の主モードを推定する新しい手法を提案する。
この種のマルチモーダル分布では、ほとんどの中心的傾向測度は主固定座標の推定に失敗する。
そこで我々は,BRILと呼ばれる多変量分布の第1モードを同定するアルゴリズムを開発した。
クラスタにグループ化され,ランダムに分散された,非常に高い割合のアウトリーチを含む分布においても,優れた性能が得られた。
論文 参考訳(メタデータ) (2021-07-16T17:45:19Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳(メタデータ) (2020-10-08T02:10:54Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。