論文の概要: Density-Softmax: Scalable and Calibrated Uncertainty Estimation under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2302.06495v2
• Date: Tue, 13 Jun 2023 15:13:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 17:43:58.674069
• Title: Density-Softmax: Scalable and Calibrated Uncertainty Estimation under Distribution Shifts
• Title（参考訳）: 密度ソフトマックス:分布シフトによる拡張性と校正不確かさ推定
• Authors: Ha Manh Bui, Anqi Liu
• Abstract要約: 密度-ソフトマックスは、キャリブレーションされた不確実性推定を改善するための高速で軽量な決定論的手法である。 ニューラルネットワークを用いて,密度-ソフトマックスが高品質な不確実性を推定できることを示す。
• 参考スコア（独自算出の注目度）: 8.02980715531745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prevalent deterministic deep-learning models suffer from significant over-confidence under distribution shifts. Probabilistic approaches can reduce this problem but struggle with computational efficiency. In this paper, we propose Density-Softmax, a fast and lightweight deterministic method to improve calibrated uncertainty estimation via a combination of density function with the softmax layer. By using the latent representation's likelihood value, our approach produces more uncertain predictions when test samples are distant from the training samples. Theoretically, we show that Density-Softmax can produce high-quality uncertainty estimation with neural networks, as it is the solution of minimax uncertainty risk and is distance-aware, thus reducing the over-confidence of the standard softmax. Empirically, our method enjoys similar computational efficiency as a single forward pass deterministic with standard softmax on the shifted toy, vision, and language datasets across modern deep-learning architectures. Notably, Density-Softmax uses 4 times fewer parameters than Deep Ensembles and 6 times lower latency than Rank-1 Bayesian Neural Network, while obtaining competitive predictive performance and lower calibration errors under distribution shifts.
• Abstract（参考訳）: 決定論的深層学習モデルは、分布シフトの下でかなりの過信に悩まされる。 確率論的アプローチはこの問題を軽減できるが、計算効率に苦慮する。 本稿では,密度関数とソフトマックス層の組み合わせによる校正不確かさ推定を改善するために,高速かつ軽量な決定法である密度-ソフトマックスを提案する。 潜在表現の確率値を用いて,テストサンプルがトレーニングサンプルから離れている場合,本手法はより不確実な予測を導出する。 理論的には、密度-ソフトマックスは、ミニマックスの不確実性リスクの解であり、距離認識であるため、ニューラルネットワークによる高品質な不確実性推定が可能であることが示される。 実験的に,本手法は,現代のディープラーニングアーキテクチャにおいて,移動した玩具,視覚,言語データセット上での標準ソフトマックスと,単一の前方通過決定論的に類似した計算効率を享受する。 特に、dentity-SoftmaxはDeep Ensemblesの4倍のパラメータとRanc-1 Bayesian Neural Networkの6倍のレイテンシを使用し、分散シフト時の競合予測性能と低いキャリブレーション誤差を得る。

関連論文リスト

• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Density-Regression: Efficient and Distance-Aware Deep Regressor for Uncertainty Estimation under Distribution Shifts [11.048463491646993]
  密度回帰は不確実性推定において密度関数を利用する手法であり、単一の前方通過による高速な推論を実現する。 本研究では,現代の深部回帰器を用いた分布シフトにおいて,密度回帰が競合不確実性評価性能を有することを示す。
  論文  参考訳（メタデータ） (2024-03-07T23:20:34Z)
• Tight Certified Robustness via Min-Max Representations of ReLU Neural Networks [9.771011198361865]
  制御システムにニューラルネットワークを確実に配置するには、厳格な堅牢性を保証する必要がある。 本稿では,ReLUニューラルネットワークの凸表現に対する強靭性証明を得る。
  論文  参考訳（メタデータ） (2023-10-07T21:07:45Z)
• Softmax Bias Correction for Quantized Generative Models [8.953308552614438]
  ポストトレーニング量子化(PTQ)は、安定拡散や大言語モデルのような大きな生成モデルのためのゴート圧縮技術である。 PTQ法は一般に、量子化ノイズに非常に敏感であることが示されているため、ソフトマックスの活性化を高い精度で維持する。 これにより、リソース制約のあるエッジデバイス上での推論において、大幅なランタイムと電力オーバーヘッドが発生する可能性がある。 本稿では,デプロイ中に計算量を増やすことなく,ソフトマックスの定量化性を向上するオフラインバイアス補正手法を提案する。
  論文  参考訳（メタデータ） (2023-09-04T17:29:31Z)
• Distribution-restrained Softmax Loss for the Model Robustness [11.166004203932351]
  モデルの堅牢性に影響を与える重要な要因を同定する。 本稿では,ソフトマックスの分布多様性を抑制するための損失関数を提案する。 多くの実験結果から,本手法は時間消費を伴わずにロバスト性を向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-03-22T07:56:59Z)
• On Efficient Uncertainty Estimation for Resource-Constrained Mobile Applications [0.0]
  予測の不確実性は、モデル予測を補完し、下流タスクの機能を改善します。 Axolotlフレームワークを用いてモンテカルロ・ドロップアウト(MCDO)モデルを構築することでこの問題に対処する。 我々は,(1)CIFAR10データセットを用いた多クラス分類タスク,(2)より複雑な人体セグメンテーションタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-11-11T22:24:15Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。