論文の概要: Deep Discriminative to Kernel Generative Networks for Calibrated Inference

• arxiv url: http://arxiv.org/abs/2201.13001v5
• Date: Fri, 19 May 2023 21:15:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 06:34:47.264124
• Title: Deep Discriminative to Kernel Generative Networks for Calibrated Inference
• Title（参考訳）: キャリブレーション推論のためのカーネル生成ネットワークの深い識別
• Authors: Jayanta Dey, Haoyin Xu, Ashwin De Silva, Will LeVine, Tyler M. Tomita, Ali Geisa, Tiffany Chu, Jacob Desman, Joshua T. Vogelstein
• Abstract要約: 本稿では,深層識別ネットワークをカーネル生成ネットワークに変換する手法を提案する。 我々は、生成モデルが対応するクラス条件密度の一貫した推定子である条件を導出する。
• 参考スコア（独自算出の注目度）: 6.890471991172743
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The fight between discriminative versus generative goes deep, in both the study of artificial and natural intelligence. In our view, both camps have complementary values. So, we sought to synergistically combine them. Here, we propose a methodology to convert deep discriminative networks to kernel generative networks. We leveraged the fact that deep models, including both random forests and deep networks, learn internal representations which are unions of polytopes with affine activation functions to conceptualize them both as generalized partitioning rules. We replace the affine function in each polytope populated by the training data with Gaussian kernel that results in a generative model. Theoretically, we derive the conditions under which our generative models are a consistent estimator of the corresponding class conditional density. Moreover, our proposed models obtain well calibrated posteriors for in-distribution, and extrapolate beyond the training data to handle out-of-distribution inputs reasonably. We believe this approach may be an important step in unifying the thinking and the approaches across the discriminative and the generative divide.
• Abstract（参考訳）: 識別と生成の争いは、人工知能と自然知の研究の両方において深いものとなる。 我々の見解では、どちらのキャンプも相補的な価値を持っている。 そこで私たちは、それらを相乗的に組み合わせようとしました。 本稿では,深層識別ネットワークをカーネル生成ネットワークに変換する手法を提案する。 我々は,ランダムフォレストとディープネットワークの両方を含む深層モデルを用いて,アフィン活性化関数を持つポリトープの結合である内部表現を学習し,それらを一般化された分割規則として概念化する。 学習データに代表される各ポリトープのアフィン関数をガウス核に置き換えて生成モデルを作成する。 理論的には、生成モデルが対応するクラス条件密度の一貫した推定子である条件を導出する。 さらに, 提案モデルでは, 配当後部を適切に調整し, トレーニングデータを超える外挿を行い, 配当外入力を合理的に処理する。 このアプローチは、差別的および生成的境界を越えて思考とアプローチを統合する上で重要なステップであると考えています。

関連論文リスト

• GHOST: Gaussian Hypothesis Open-Set Technique [10.426399605773083]
  大規模認識手法の評価は通常、全体的な性能に重点を置いている。 オープンセット認識(OSR)における公平性に対処し,クラスごとのパフォーマンスが劇的に変化することを示す。 Zスコア正規化をロジットに適用し、モデルの期待から逸脱する特徴量の影響を軽減する。
  論文  参考訳（メタデータ） (2025-02-05T16:56:14Z)
• FedUV: Uniformity and Variance for Heterogeneous Federated Learning [5.9330433627374815]
  フェデレーション学習は、広く分散されたデータでニューラルネットワークをトレーニングするための有望なフレームワークである。 最近の研究によると、ネットワークの最終層が局所バイアスの傾向が最も大きいためである。 凍結重量が一定の特異値をもたらすという観測によって動機付けられた重みにSVDを適用して分類器の訓練力学を考察する。
  論文  参考訳（メタデータ） (2024-02-27T15:53:15Z)
• Domain-adaptive and Subgroup-specific Cascaded Temperature Regression for Out-of-distribution Calibration [16.930766717110053]
  本稿では, メタセットをベースとした新しい温度回帰法を提案し, ポストホックキャリブレーション法を提案する。 予測されたカテゴリと信頼度に基づいて,各メタセットをサブグループに分割し,多様な不確実性を捉える。 回帰ネットワークは、カテゴリ特化および信頼レベル特化スケーリングを導出し、メタセット間のキャリブレーションを達成するように訓練される。
  論文  参考訳（メタデータ） (2024-02-14T14:35:57Z)
• Beyond Deep Ensembles: A Large-Scale Evaluation of Bayesian Deep Learning under Distribution Shift [19.945634052291542]
  我々は、WILDSコレクションから現実のデータセットに対する最新のBDLアルゴリズムを評価し、難解な分類と回帰タスクを含む。 我々は、大規模な、畳み込み、トランスフォーマーベースのニューラルネットワークアーキテクチャにおいて、アルゴリズムを比較した。 そこで本研究では,BDLを用いた大規模事前学習モデルのシステム評価を行った。
  論文  参考訳（メタデータ） (2023-06-21T14:36:03Z)
• Bridging Precision and Confidence: A Train-Time Loss for Calibrating Object Detection [58.789823426981044]
  本稿では,境界ボックスのクラス信頼度を予測精度に合わせることを目的とした,新たな補助損失定式化を提案する。 その結果,列車の走行時間損失はキャリブレーション基準を超過し,キャリブレーション誤差を低減させることがわかった。
  論文  参考訳（メタデータ） (2023-03-25T08:56:21Z)
• Robust Calibration with Multi-domain Temperature Scaling [86.07299013396059]
  我々は,複数の領域からのデータを活用することで,分散シフトを処理するシステムキャリブレーションモデルを開発した。 提案手法は,分布シフト時のキャリブレーションを改善するために,領域内のロバスト性を利用する。
  論文  参考訳（メタデータ） (2022-06-06T17:32:12Z)
• Distribution Mismatch Correction for Improved Robustness in Deep Neural Networks [86.42889611784855]
  正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる 本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。 実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
  論文  参考訳（メタデータ） (2021-10-05T11:36:25Z)
• A New Robust Multivariate Mode Estimator for Eye-tracking Calibration [0.0]
  本稿では,多変量分布の主モードを推定する新しい手法を提案する。 この種のマルチモーダル分布では、ほとんどの中心的傾向測度は主固定座標の推定に失敗する。 そこで我々は,BRILと呼ばれる多変量分布の第1モードを同定するアルゴリズムを開発した。 クラスタにグループ化され,ランダムに分散された,非常に高い割合のアウトリーチを含む分布においても,優れた性能が得られた。
  論文  参考訳（メタデータ） (2021-07-16T17:45:19Z)
• Privacy Preserving Recalibration under Domain Shift [119.21243107946555]
  本稿では,差分プライバシー制約下での校正問題の性質を抽象化する枠組みを提案する。 また、新しいリカレーションアルゴリズム、精度温度スケーリングを設計し、プライベートデータセットの事前処理より優れています。
  論文  参考訳（メタデータ） (2020-08-21T18:43:37Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)
• Calibration of Neural Networks using Splines [51.42640515410253]
  キャリブレーション誤差の測定は、2つの経験的分布を比較します。 古典的コルモゴロフ・スミルノフ統計テスト(KS)にインスパイアされたビンニングフリーキャリブレーション尺度を導入する。 提案手法は,KS誤差に対する既存の手法と,他の一般的なキャリブレーション手法とを一貫して比較する。
  論文  参考訳（メタデータ） (2020-06-23T07:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。