論文の概要: A Rate-Distortion View of Uncertainty Quantification

• arxiv url: http://arxiv.org/abs/2406.10775v2
• Date: Tue, 18 Jun 2024 12:41:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-19 11:51:14.593865
• Title: A Rate-Distortion View of Uncertainty Quantification
• Title（参考訳）: 不確実性量子化の速度歪み
• Authors: Ifigeneia Apostolopoulou, Benjamin Eysenbach, Frank Nielsen, Artur Dubrawski,
• Abstract要約: 教師付き学習では、入力がトレーニングデータに近接していることを理解することは、モデルが信頼できる予測に達する十分な証拠を持っているかどうかを判断するのに役立つ。 本稿では,この特性でディープニューラルネットワークを強化するための新しい手法であるDistance Aware Bottleneck (DAB)を紹介する。
• 参考スコア（独自算出の注目度）: 36.85921945174863
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In supervised learning, understanding an input's proximity to the training data can help a model decide whether it has sufficient evidence for reaching a reliable prediction. While powerful probabilistic models such as Gaussian Processes naturally have this property, deep neural networks often lack it. In this paper, we introduce Distance Aware Bottleneck (DAB), i.e., a new method for enriching deep neural networks with this property. Building on prior information bottleneck approaches, our method learns a codebook that stores a compressed representation of all inputs seen during training. The distance of a new example from this codebook can serve as an uncertainty estimate for the example. The resulting model is simple to train and provides deterministic uncertainty estimates by a single forward pass. Finally, our method achieves better out-of-distribution (OOD) detection and misclassification prediction than prior methods, including expensive ensemble methods, deep kernel Gaussian Processes, and approaches based on the standard information bottleneck.
• Abstract（参考訳）: 教師付き学習では、入力がトレーニングデータに近接していることを理解することは、モデルが信頼できる予測に達する十分な証拠を持っているかどうかを判断するのに役立つ。 ガウス過程のような強力な確率論的モデルは自然にこの性質を持つが、ディープニューラルネットワークはそれを欠いていることが多い。 本稿では,この特性で深層ニューラルネットワークを拡張できる新しい手法であるDistance Aware Bottleneck(DAB)を紹介する。 本手法は,事前情報ボトルネックアプローチに基づいて,トレーニング中に見られるすべての入力の圧縮表現を格納するコードブックを学習する。 このコードブックからの新しい例までの距離は、その例にとって不確実な見積もりとして機能する。 結果として得られるモデルは訓練が簡単で、単一の前方通過による決定論的不確実性推定を提供する。 最後に,本手法は,高価なアンサンブル法,ディープカーネルガウス過程,標準情報ボトルネックに基づくアプローチなど,従来の手法よりも優れた分布外検出と誤分類予測を実現する。

関連論文リスト

• Optimal Parameter and Neuron Pruning for Out-of-Distribution Detection [36.4610463573214]
  我々は,textbfOptimal textbfParameter と textbfNeuron textbfPruning (textbfOPNP) アプローチを提案し,OODサンプルを検出する。 我々の提案は、トレーニングフリーで、他のポストホックメソッドと互換性があり、すべてのトレーニングデータから情報を探索する。
  論文  参考訳（メタデータ） (2024-02-04T07:31:06Z)
• Confidence estimation of classification based on the distribution of the neural network output layer [4.529188601556233]
  現実の世界における予測モデルの適用を防ぐための最も一般的な問題の1つは一般化の欠如である。 ニューラルネットワーク分類モデルにより生成された特定の予測の不確かさを推定する新しい手法を提案する。 提案手法は,この予測に対応するロジット値の分布に基づいて,特定の予測の信頼性を推定する。
  論文  参考訳（メタデータ） (2022-10-14T12:32:50Z)
• Look beyond labels: Incorporating functional summary information in Bayesian neural networks [11.874130244353253]
  予測確率に関する要約情報を組み込むための簡単な手法を提案する。 利用可能な要約情報は、拡張データとして組み込まれ、ディリクレプロセスでモデル化される。 本稿では,タスクの難易度やクラス不均衡をモデルに示す方法について述べる。
  論文  参考訳（メタデータ） (2022-07-04T07:06:45Z)
• Rethinking Bayesian Learning for Data Analysis: The Art of Prior and Inference in Sparsity-Aware Modeling [20.296566563098057]
  信号処理と機械学習のためのスパースモデリングは、20年以上にわたって科学研究の焦点となっている。 本稿では,3つの一般的なデータモデリングツールにスパーシティ・プロモーティング・プリエントを組み込むことの最近の進歩を概観する。
  論文  参考訳（メタデータ） (2022-05-28T00:43:52Z)
• NUQ: Nonparametric Uncertainty Quantification for Deterministic Neural Networks [151.03112356092575]
  本研究では,Nadaraya-Watson の条件付きラベル分布の非パラメトリック推定に基づく分類器の予測の不確かさの測定方法を示す。 種々の実世界の画像データセットにおける不確実性推定タスクにおいて,本手法の強い性能を示す。
  論文  参考訳（メタデータ） (2022-02-07T12:30:45Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Transformers Can Do Bayesian Inference [56.99390658880008]
  我々はPFN(Presideed Data Fitted Networks)を提案する。 PFNは、大規模機械学習技術におけるインコンテキスト学習を活用して、大規模な後部集合を近似する。 我々は、PFNがガウス過程をほぼ完璧に模倣し、難解問題に対する効率的なベイズ推定を可能にすることを示した。
  論文  参考訳（メタデータ） (2021-12-20T13:07:39Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Deep learning: a statistical viewpoint [120.94133818355645]
  ディープラーニングは、理論的観点からいくつかの大きな驚きを明らかにしました。 特に、簡単な勾配法は、最適でないトレーニング問題に対するほぼ完全な解決策を簡単に見つけます。 我々はこれらの現象を具体的原理で補うと推測する。
  論文  参考訳（メタデータ） (2021-03-16T16:26:36Z)
• Uncertainty-Aware Deep Classifiers using Generative Models [7.486679152591502]
  ディープニューラルネットワークは、しばしば、彼らが知らないことについて無知であり、インフォームド予測を行うときに過信する。 最近のアプローチでは、クラス境界に近いデータサンプルやトレーニング分布の外側から、モデルに高い不確実性を出力するようにトレーニングすることで、不確実性を直接定量化している。 本研究では,アレータ性およびてんかん性不確実性の両方を表現し,決定境界と分布外領域を識別できる新しいニューラルネットワークモデルを構築した。
  論文  参考訳（メタデータ） (2020-06-07T15:38:35Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。