論文の概要: Deep Discriminative to Kernel Generative Networks for Calibrated
Inference
- arxiv url: http://arxiv.org/abs/2201.13001v5
- Date: Fri, 19 May 2023 21:15:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-24 06:34:47.264124
- Title: Deep Discriminative to Kernel Generative Networks for Calibrated
Inference
- Title(参考訳): キャリブレーション推論のためのカーネル生成ネットワークの深い識別
- Authors: Jayanta Dey, Haoyin Xu, Ashwin De Silva, Will LeVine, Tyler M. Tomita,
Ali Geisa, Tiffany Chu, Jacob Desman, Joshua T. Vogelstein
- Abstract要約: 本稿では,深層識別ネットワークをカーネル生成ネットワークに変換する手法を提案する。
我々は、生成モデルが対応するクラス条件密度の一貫した推定子である条件を導出する。
- 参考スコア(独自算出の注目度): 6.890471991172743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The fight between discriminative versus generative goes deep, in both the
study of artificial and natural intelligence. In our view, both camps have
complementary values. So, we sought to synergistically combine them. Here, we
propose a methodology to convert deep discriminative networks to kernel
generative networks. We leveraged the fact that deep models, including both
random forests and deep networks, learn internal representations which are
unions of polytopes with affine activation functions to conceptualize them both
as generalized partitioning rules. We replace the affine function in each
polytope populated by the training data with Gaussian kernel that results in a
generative model. Theoretically, we derive the conditions under which our
generative models are a consistent estimator of the corresponding class
conditional density. Moreover, our proposed models obtain well calibrated
posteriors for in-distribution, and extrapolate beyond the training data to
handle out-of-distribution inputs reasonably. We believe this approach may be
an important step in unifying the thinking and the approaches across the
discriminative and the generative divide.
- Abstract(参考訳): 識別と生成の争いは、人工知能と自然知の研究の両方において深いものとなる。
我々の見解では、どちらのキャンプも相補的な価値を持っている。
そこで私たちは、それらを相乗的に組み合わせようとしました。
本稿では,深層識別ネットワークをカーネル生成ネットワークに変換する手法を提案する。
我々は,ランダムフォレストとディープネットワークの両方を含む深層モデルを用いて,アフィン活性化関数を持つポリトープの結合である内部表現を学習し,それらを一般化された分割規則として概念化する。
学習データに代表される各ポリトープのアフィン関数をガウス核に置き換えて生成モデルを作成する。
理論的には、生成モデルが対応するクラス条件密度の一貫した推定子である条件を導出する。
さらに, 提案モデルでは, 配当後部を適切に調整し, トレーニングデータを超える外挿を行い, 配当外入力を合理的に処理する。
このアプローチは、差別的および生成的境界を越えて思考とアプローチを統合する上で重要なステップであると考えています。
関連論文リスト
- Domain-adaptive and Subgroup-specific Cascaded Temperature Regression
for Out-of-distribution Calibration [16.930766717110053]
本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。
予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。
回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
論文 参考訳(メタデータ) (2024-02-14T14:35:57Z) - Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep
Learning under Distribution Shift [19.945634052291542]
我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。
我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。
そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
論文 参考訳(メタデータ) (2023-06-21T14:36:03Z) - Deep Anti-Regularized Ensembles provide reliable out-of-distribution
uncertainty quantification [4.750521042508541]
深層アンサンブルは、しばしばトレーニングドメインの外で過度に信頼された見積を返す。
トレーニングデータに適合する大きな重みを持つネットワークの集合は、これらの2つの目的を満たす可能性が高いことを示す。
提案手法の理論的枠組みを導出し,提案手法を「水充填問題」とみなすことができることを示す。
論文 参考訳(メタデータ) (2023-04-08T15:25:12Z) - Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。
提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
論文 参考訳(メタデータ) (2022-06-06T17:32:12Z) - A New Robust Multivariate Mode Estimator for Eye-tracking Calibration [0.0]
本稿では,多変量分布の主モードを推定する新しい手法を提案する。
この種のマルチモーダル分布では、ほとんどの中心的傾向測度は主固定座標の推定に失敗する。
そこで我々は,BRILと呼ばれる多変量分布の第1モードを同定するアルゴリズムを開発した。
クラスタにグループ化され,ランダムに分散された,非常に高い割合のアウトリーチを含む分布においても,優れた性能が得られた。
論文 参考訳(メタデータ) (2021-07-16T17:45:19Z) - Scalable Marginal Likelihood Estimation for Model Selection in Deep
Learning [78.83598532168256]
階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。
本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
論文 参考訳(メタデータ) (2021-04-11T09:50:24Z) - Learning Invariant Representations and Risks for Semi-supervised Domain
Adaptation [109.73983088432364]
半教師付きドメイン適応(Semi-DA)の設定の下で不変表現とリスクを同時に学習することを目的とした最初の手法を提案する。
共同で textbfLearning textbfInvariant textbfRepresentations と textbfRisks の LIRR アルゴリズムを導入する。
論文 参考訳(メタデータ) (2020-10-09T15:42:35Z) - Learning Calibrated Uncertainties for Domain Shift: A Distributionally
Robust Learning Approach [150.8920602230832]
ドメインシフトの下で校正された不確実性を学習するためのフレームワークを提案する。
特に、密度比推定は、ターゲット(テスト)サンプルの近さをソース(トレーニング)分布に反映する。
提案手法は下流タスクに有利な校正不確実性を生成する。
論文 参考訳(メタデータ) (2020-10-08T02:10:54Z) - Unlabelled Data Improves Bayesian Uncertainty Calibration under
Covariate Shift [100.52588638477862]
後続正則化に基づく近似ベイズ推定法を開発した。
前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
論文 参考訳(メタデータ) (2020-06-26T13:50:19Z) - Calibration of Neural Networks using Splines [51.42640515410253]
キャリブレーション誤差の測定は、2つの経験的分布を比較します。
古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。
提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
論文 参考訳(メタデータ) (2020-06-23T07:18:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。