論文の概要: Density-Softmax: Scalable and Distance-Aware Uncertainty Estimation under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2302.06495v1
• Date: Mon, 13 Feb 2023 16:21:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-14 14:53:40.566851
• Title: Density-Softmax: Scalable and Distance-Aware Uncertainty Estimation under Distribution Shifts
• Title（参考訳）: density-softmax: 分布シフト下でのスケーラブルで距離認識の不確実性推定
• Authors: Ha Manh Bui, Anqi Liu
• Abstract要約: 密度-ソフトマックスは不確実性推定のための単一の決定論的アプローチである。 テストサンプルがトレーニングサンプルから遠く離れている場合、より不確実な予測が生成される。
• 参考スコア（独自算出の注目度）: 8.02980715531745
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prevalent deep learning models suffer from significant over-confidence under distribution shifts. In this paper, we propose Density-Softmax, a single deterministic approach for uncertainty estimation via a combination of density function with the softmax layer. By using the latent representation's likelihood value, our approach produces more uncertain predictions when test samples are distant from the training samples. Theoretically, we prove that Density-Softmax is distance aware, which means its associated uncertainty metrics are monotonic functions of distance metrics. This has been shown to be a necessary condition for a neural network to produce high-quality uncertainty estimation. Empirically, our method enjoys similar computational efficiency as standard softmax on shifted CIFAR-10, CIFAR-100, and ImageNet dataset across modern deep learning architectures. Notably, Density-Softmax uses 4 times fewer parameters than Deep Ensembles and 6 times lower latency than Rank-1 Bayesian Neural Network, while obtaining competitive predictive performance and lower calibration errors under distribution shifts.
• Abstract（参考訳）: 一般的なディープラーニングモデルは、分散シフト下で大きな自信過剰に苦しむ。 本稿では,密度関数とソフトマックス層の組み合わせによる不確実性推定のための単一決定論的手法である密度-ソフトマックスを提案する。 潜在表現の確率値を用いて,テストサンプルがトレーニングサンプルから離れている場合,本手法はより不確実な予測を導出する。 理論的には、密度ソフトマックスは距離認識であり、それに関連する不確実性メトリクスは距離メトリクスの単調関数である。 これは、ニューラルネットワークが高品質の不確実性を推定するために必要な条件であることが示されている。 提案手法は,CIFAR-10, CIFAR-100, ImageNetデータセットに標準ソフトマックスと同様の計算効率を持つ。 特に、dentity-SoftmaxはDeep Ensemblesの4倍のパラメータとRanc-1 Bayesian Neural Networkの6倍のレイテンシを使用し、分散シフト時の競合予測性能と低いキャリブレーション誤差を得る。

関連論文リスト

• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Density-Regression: Efficient and Distance-Aware Deep Regressor for Uncertainty Estimation under Distribution Shifts [11.048463491646993]
  密度回帰は不確実性推定において密度関数を利用する手法であり、単一の前方通過による高速な推論を実現する。 本研究では,現代の深部回帰器を用いた分布シフトにおいて,密度回帰が競合不確実性評価性能を有することを示す。
  論文  参考訳（メタデータ） (2024-03-07T23:20:34Z)
• Tight Certified Robustness via Min-Max Representations of ReLU Neural Networks [9.771011198361865]
  制御システムにニューラルネットワークを確実に配置するには、厳格な堅牢性を保証する必要がある。 本稿では,ReLUニューラルネットワークの凸表現に対する強靭性証明を得る。
  論文  参考訳（メタデータ） (2023-10-07T21:07:45Z)
• Softmax Bias Correction for Quantized Generative Models [8.953308552614438]
  ポストトレーニング量子化(PTQ)は、安定拡散や大言語モデルのような大きな生成モデルのためのゴート圧縮技術である。 PTQ法は一般に、量子化ノイズに非常に敏感であることが示されているため、ソフトマックスの活性化を高い精度で維持する。 これにより、リソース制約のあるエッジデバイス上での推論において、大幅なランタイムと電力オーバーヘッドが発生する可能性がある。 本稿では,デプロイ中に計算量を増やすことなく,ソフトマックスの定量化性を向上するオフラインバイアス補正手法を提案する。
  論文  参考訳（メタデータ） (2023-09-04T17:29:31Z)
• Distribution-restrained Softmax Loss for the Model Robustness [11.166004203932351]
  モデルの堅牢性に影響を与える重要な要因を同定する。 本稿では,ソフトマックスの分布多様性を抑制するための損失関数を提案する。 多くの実験結果から,本手法は時間消費を伴わずにロバスト性を向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-03-22T07:56:59Z)
• On Efficient Uncertainty Estimation for Resource-Constrained Mobile Applications [0.0]
  予測の不確実性は、モデル予測を補完し、下流タスクの機能を改善します。 Axolotlフレームワークを用いてモンテカルロ・ドロップアウト(MCDO)モデルを構築することでこの問題に対処する。 我々は,(1)CIFAR10データセットを用いた多クラス分類タスク,(2)より複雑な人体セグメンテーションタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-11-11T22:24:15Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。