論文の概要: Deep Discriminative to Kernel Density Graph for In- and
Out-of-distribution Calibrated Inference
- arxiv url: http://arxiv.org/abs/2201.13001v7
- Date: Tue, 12 Mar 2024 12:57:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-14 02:44:24.600312
- Title: Deep Discriminative to Kernel Density Graph for In- and
Out-of-distribution Calibrated Inference
- Title（参考訳）: In-of-distriion Calibrated Inferenceのためのカーネル密度グラフの深部判別
- Authors: Jayanta Dey, Will LeVine, Haoyin Xu, Ashwin De Silva, Tyler M. Tomita,
Ali Geisa, Tiffany Chu, Jacob Desman, Joshua T. Vogelstein
- Abstract要約: ランダムフォレストやディープニューラルネットワークのような深い差別的アプローチは、最近、多くの重要な現実世界のシナリオで応用を見出した。
本稿では,配当データポイントと配当データポイントの両方に対する信頼度校正について述べる。
本稿では,提案手法が対応するクラス条件密度の一貫性のある推定器となるための十分な条件を提案する。
- 参考スコア（独自算出の注目度）: 8.13528034691495
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Deep discriminative approaches like random forests and deep neural networks
have recently found applications in many important real-world scenarios.
However, deploying these learning algorithms in safety-critical applications
raises concerns, particularly when it comes to ensuring confidence calibration
for both in-distribution and out-of-distribution data points. Many popular
methods for in-distribution (ID) calibration, such as isotonic regression and
Platt's sigmoidal regression, exhibit excellent ID calibration performance.
However, these methods are not calibrated for the entire feature space, leading
to overconfidence in the case of out-of-distribution (OOD) samples. On the
other end of the spectrum, existing out-of-distribution (OOD) calibration
methods generally exhibit poor in-distribution (ID) calibration. In this paper,
we address ID and OOD calibration problems jointly. We leveraged the fact that
deep models, including both random forests and deep-nets, learn internal
representations which are unions of polytopes with affine activation functions
to conceptualize them both as partitioning rules of the feature space. We
replace the affine function in each polytope populated by the training data
with a Gaussian kernel. We propose sufficient conditions for our proposed
methods to be consistent estimators of the corresponding class conditional
densities. Moreover, our experiments on both tabular and vision benchmarks show
that the proposed approaches obtain well-calibrated posteriors while mostly
preserving or improving the classification accuracy of the original algorithm
for in-distribution region, and extrapolates beyond the training data to handle
out-of-distribution inputs appropriately.
- Abstract（参考訳）: ランダムフォレストやディープニューラルネットワークのような深い識別アプローチは、最近、多くの重要な現実世界シナリオで応用されている。
しかし、安全クリティカルなアプリケーションにこれらの学習アルゴリズムをデプロイすることは、特に、分散データポイントと分散データポイントの両方に対する信頼性のキャリブレーションの確保に関して、懸念を生じさせる。
アイソトニック回帰やプラットのシグモノイド回帰といった,IDキャリブレーション(IDキャリブレーション)のための多くの一般的な手法は,優れたIDキャリブレーション性能を示す。
しかし、これらの方法は機能空間全体に対して調整されていないため、out-of-distribution (ood) サンプルの場合、過剰な信頼感をもたらす。
スペクトルの反対側では、既存のout-of-distribution (ood) のキャリブレーション手法は、一般的には不適切なin-distribution (id)キャリブレーションを示す。
本稿では,IDとOODの校正問題を共同で解決する。
我々は、ランダム森林とディープネットを含む深層モデルが、アフィン活性化関数を持つポリトープの結合である内部表現を学習し、特徴空間の分割規則としてそれらの両方を概念化するという事実を活用する。
トレーニングデータにポピュレートされた各ポリトープのアフィン関数をガウス核に置換する。
提案手法が対応するクラス条件密度の一貫した推定子となるための十分条件を提案する。
さらに,本提案手法は,分布領域における元のアルゴリズムの分類精度を保ったり向上させたりしながら,よく校正された後部を抽出し,分布外入力を適切に処理するためのトレーニングデータを超えて外挿することを示す。
関連論文リスト
- FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。
最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。
凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
論文 参考訳（メタデータ） (2024-02-27T15:53:15Z) - Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳（メタデータ） (2024-02-14T14:35:57Z) - Distributed Variational Inference for Online Supervised Learning [15.038649101409804]
本稿では,スケーラブルな分散確率的推論アルゴリズムを提案する。
センサネットワークにおける連続変数、難解な後部データ、大規模リアルタイムデータに適用できる。
論文 参考訳（メタデータ） (2023-09-05T22:33:02Z) - Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep
Learning under Distribution Shift [19.945634052291542]
我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。
我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。
そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
論文 参考訳（メタデータ） (2023-06-21T14:36:03Z) - Bridging Precision and Confidence: A Train-Time Loss for Calibrating
Object Detection [58.789823426981044]
本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。
その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
論文 参考訳（メタデータ） (2023-03-25T08:56:21Z) - Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。
提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
論文 参考訳（メタデータ） (2022-06-06T17:32:12Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳（メタデータ） (2021-10-05T11:36:25Z) - A New Robust Multivariate Mode Estimator for Eye-tracking Calibration [0.0]
本稿では,多変量分布の主モードを推定する新しい手法を提案する。
この種のマルチモーダル分布では、ほとんどの中心的傾向測度は主固定座標の推定に失敗する。
そこで我々は,BRILと呼ばれる多変量分布の第1モードを同定するアルゴリズムを開発した。
クラスタにグループ化され,ランダムに分散された,非常に高い割合のアウトリーチを含む分布においても,優れた性能が得られた。
論文 参考訳（メタデータ） (2021-07-16T17:45:19Z) - Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。
また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
論文 参考訳（メタデータ） (2020-08-21T18:43:37Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳（メタデータ） (2020-06-26T13:50:19Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳（メタデータ） (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。