論文の概要: Density-Softmax: Efficient Test-time Model for Uncertainty Estimation and Robustness under Distribution Shifts

• arxiv url: http://arxiv.org/abs/2302.06495v3
• Date: Tue, 28 May 2024 02:27:54 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 04:56:05.930731
• Title: Density-Softmax: Efficient Test-time Model for Uncertainty Estimation and Robustness under Distribution Shifts
• Title（参考訳）: 密度-ソフトマックス:分布シフト下における不確かさ推定とロバストネスの効率的なテスト時間モデル
• Authors: Ha Manh Bui, Anqi Liu,
• Abstract要約: 密度-ソフトマックスは、不確実性推定のためのサンプリング不要な決定論的なフレームワークである。 我々は,このモデルがミニマックス不確実性リスクの解であることを示した。 本手法は,不確実性と堅牢性の観点から,最先端技術と競合する結果を享受する。
• 参考スコア（独自算出の注目度）: 8.431465371266391
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sampling-based methods, e.g., Deep Ensembles and Bayesian Neural Nets have become promising approaches to improve the quality of uncertainty estimation and robust generalization. However, they suffer from a large model size and high latency at test-time, which limits the scalability needed for low-resource devices and real-time applications. To resolve these computational issues, we propose Density-Softmax, a sampling-free deterministic framework via combining a density function built on a Lipschitz-constrained feature extractor with the softmax layer. Theoretically, we show that our model is the solution of minimax uncertainty risk and is distance-aware on feature space, thus reducing the over-confidence of the standard softmax under distribution shifts. Empirically, our method enjoys competitive results with state-of-the-art techniques in terms of uncertainty and robustness, while having a lower number of model parameters and a lower latency at test-time.
• Abstract（参考訳）: サンプリングに基づく手法、例えばDeep EnsemblesやBayesian Neural Netsは、不確実性推定とロバストな一般化の質を改善するための有望なアプローチとなっている。 しかし、それらは大規模なモデルサイズとテスト時のレイテンシに悩まされ、低リソースデバイスやリアルタイムアプリケーションに必要なスケーラビリティが制限される。 これらの問題を解くために,リプシッツ制約特徴抽出器上に構築された密度関数とソフトマックス層を組み合わせることで,サンプリング不要な決定論フレームワークであるdentity-Softmaxを提案する。 理論的には、我々のモデルはミニマックス不確実性リスクの解であり、特徴空間上では距離を意識していることを示し、分散シフトの際の標準ソフトマックスの過度な信頼度を低減する。 実験的に,本手法は不確実性とロバスト性の観点から最先端技術と競合する結果が得られる一方で,モデルパラメータの数が少なく,テスト時のレイテンシも低い。

関連論文リスト

• Regulating Model Reliance on Non-Robust Features by Smoothing Input Marginal Density [93.32594873253534]
  信頼できる機械学習は、非ロバストな特徴に依存するモデルの厳密な規制を必要とする。 本稿では,モデル予測を入力に関連付けることによって,そのような特徴を記述・規制するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T09:16:56Z)
• Density-Regression: Efficient and Distance-Aware Deep Regressor for Uncertainty Estimation under Distribution Shifts [11.048463491646993]
  密度回帰は不確実性推定において密度関数を利用する手法であり、単一の前方通過による高速な推論を実現する。 本研究では,現代の深部回帰器を用いた分布シフトにおいて,密度回帰が競合不確実性評価性能を有することを示す。
  論文  参考訳（メタデータ） (2024-03-07T23:20:34Z)
• Tight Certified Robustness via Min-Max Representations of ReLU Neural Networks [9.771011198361865]
  制御システムにニューラルネットワークを確実に配置するには、厳格な堅牢性を保証する必要がある。 本稿では,ReLUニューラルネットワークの凸表現に対する強靭性証明を得る。
  論文  参考訳（メタデータ） (2023-10-07T21:07:45Z)
• Softmax Bias Correction for Quantized Generative Models [8.953308552614438]
  ポストトレーニング量子化(PTQ)は、安定拡散や大言語モデルのような大きな生成モデルのためのゴート圧縮技術である。 PTQ法は一般に、量子化ノイズに非常に敏感であることが示されているため、ソフトマックスの活性化を高い精度で維持する。 これにより、リソース制約のあるエッジデバイス上での推論において、大幅なランタイムと電力オーバーヘッドが発生する可能性がある。 本稿では,デプロイ中に計算量を増やすことなく,ソフトマックスの定量化性を向上するオフラインバイアス補正手法を提案する。
  論文  参考訳（メタデータ） (2023-09-04T17:29:31Z)
• Distribution-restrained Softmax Loss for the Model Robustness [11.166004203932351]
  モデルの堅牢性に影響を与える重要な要因を同定する。 本稿では,ソフトマックスの分布多様性を抑制するための損失関数を提案する。 多くの実験結果から,本手法は時間消費を伴わずにロバスト性を向上させることができることが示された。
  論文  参考訳（メタデータ） (2023-03-22T07:56:59Z)
• On Efficient Uncertainty Estimation for Resource-Constrained Mobile Applications [0.0]
  予測の不確実性は、モデル予測を補完し、下流タスクの機能を改善します。 Axolotlフレームワークを用いてモンテカルロ・ドロップアウト(MCDO)モデルを構築することでこの問題に対処する。 我々は,(1)CIFAR10データセットを用いた多クラス分類タスク,(2)より複雑な人体セグメンテーションタスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-11-11T22:24:15Z)
• Robust Implicit Networks via Non-Euclidean Contractions [63.91638306025768]
  暗黙のニューラルネットワークは、精度の向上とメモリ消費の大幅な削減を示す。 彼らは不利な姿勢と収束の不安定さに悩まされる。 本論文は,ニューラルネットワークを高機能かつ頑健に設計するための新しい枠組みを提供する。
  論文  参考訳（メタデータ） (2021-06-06T18:05:02Z)
• Fast Distributionally Robust Learning with Variance Reduced Min-Max Optimization [85.84019017587477]
  分散的ロバストな教師付き学習は、現実世界のアプリケーションのための信頼性の高い機械学習システムを構築するための重要なパラダイムとして登場している。 Wasserstein DRSLを解くための既存のアルゴリズムは、複雑なサブプロブレムを解くか、勾配を利用するのに失敗する。 我々はmin-max最適化のレンズを通してwaserstein drslを再検討し、スケーラブルで効率的に実装可能な超勾配アルゴリズムを導出する。
  論文  参考訳（メタデータ） (2021-04-27T16:56:09Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Fast Objective & Duality Gap Convergence for Non-Convex Strongly-Concave Min-Max Problems with PL Condition [52.08417569774822]
  本稿では,深層学習(深層AUC)により注目度が高まっている,円滑な非凹部min-max問題の解法に焦点をあてる。
  論文  参考訳（メタデータ） (2020-06-12T00:32:21Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。