論文の概要: Maximum Weight Entropy
- arxiv url: http://arxiv.org/abs/2309.15704v1
- Date: Wed, 27 Sep 2023 14:46:10 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-28 13:14:51.734519
- Title: Maximum Weight Entropy
- Title（参考訳）: 最大重量エントロピー
- Authors: Antoine de Mathelin, Fran\c{c}ois Deheeger, Mathilde Mougeot, Nicolas
Vayatis
- Abstract要約: 本稿では,ベイジアン法とアンサンブル法を用いて,ディープラーニングにおける不確実な定量化と分布外検出を扱う。
ニューラルネットワークを考えると、平均的な経験的リスクと重量分布エントロピーの間のトレードオフとして定義されたそのような分布を構築するために、実用的な最適化が導出される。
- 参考スコア（独自算出の注目度）: 6.821961232645206
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper deals with uncertainty quantification and out-of-distribution
detection in deep learning using Bayesian and ensemble methods. It proposes a
practical solution to the lack of prediction diversity observed recently for
standard approaches when used out-of-distribution (Ovadia et al., 2019; Liu et
al., 2021). Considering that this issue is mainly related to a lack of weight
diversity, we claim that standard methods sample in "over-restricted" regions
of the weight space due to the use of "over-regularization" processes, such as
weight decay and zero-mean centered Gaussian priors. We propose to solve the
problem by adopting the maximum entropy principle for the weight distribution,
with the underlying idea to maximize the weight diversity. Under this paradigm,
the epistemic uncertainty is described by the weight distribution of maximal
entropy that produces neural networks "consistent" with the training
observations. Considering stochastic neural networks, a practical optimization
is derived to build such a distribution, defined as a trade-off between the
average empirical risk and the weight distribution entropy. We develop a novel
weight parameterization for the stochastic model, based on the singular value
decomposition of the neural network's hidden representations, which enables a
large increase of the weight entropy for a small empirical risk penalization.
We provide both theoretical and numerical results to assess the efficiency of
the approach. In particular, the proposed algorithm appears in the top three
best methods in all configurations of an extensive out-of-distribution
detection benchmark including more than thirty competitors.
- Abstract（参考訳）: 本稿では,ベイジアンおよびアンサンブル法を用いたディープラーニングにおける不確実な定量化と分布外検出について述べる。
アウト・オブ・ディストリビューション(Ovadia et al., 2019; Liu et al., 2021)を用いた場合、最近標準アプローチで観測された予測の多様性の欠如に対する実用的な解決策を提案する。
この問題は主に重みの多様性の欠如に関係しており,重み空間の「過制限」領域における標準手法は,重みの減衰やゼロ平均中心ガウス前駆といった「過正規化」過程を用いることによって得られると主張している。
本稿では,重量分布の最大エントロピー原理を取り入れ,重量の多様性を最大化するための基礎となる考え方を提案する。
このパラダイムの下で、てんかんの不確実性は、トレーニング観測と「一致」したニューラルネットワークを生成する最大エントロピーの重量分布によって記述される。
確率的ニューラルネットワークを考慮すると、平均的経験的リスクと重み分布エントロピーの間のトレードオフとして定義されるそのような分布を構築するために、実用的な最適化が導出される。
ニューラルネットワークの隠蔽表現の特異値分解に基づく確率モデルのための新しい重みパラメータ化を開発し、小さな経験的リスクペナル化のための重みエントロピーの増大を可能にする。
提案手法の効率を評価するために理論的および数値的な結果を提供する。
特に、提案アルゴリズムは、30以上の競合を含む広範囲な分散検出ベンチマークのすべての構成において、上位3つの最善の方法に現れる。
関連論文リスト
- Optimization and Generalization Guarantees for Weight Normalization [19.965963460750206]
我々は、Deep WeightNormモデルの最適化と一般化の双方について、最初の理論的特徴付けを提供する。
本稿では,WeightNormネットワークのトレーニングに正規化項などの理論的関心が関係していることを示す実験結果を示す。
論文 参考訳（メタデータ） (2024-09-13T15:55:05Z) - Constrained Reweighting of Distributions: an Optimal Transport Approach [8.461214317999321]
重みに対する非パラメトリックな分布制約を導入し、最適輸送から最大エントロピー原理とツールを利用する一般的な枠組みを開発する。
このフレームワークは、ポートフォリオ割り当て、複雑なサーベイのための半パラメトリック推論、機械学習アルゴリズムにおけるアルゴリズムフェアネスの3つの異なる応用の文脈で実証されている。
論文 参考訳（メタデータ） (2023-10-19T03:54:31Z) - Variational autoencoder with weighted samples for high-dimensional
non-parametric adaptive importance sampling [0.0]
既存のフレームワークを、新しい目的関数を導入することで、重み付けされたサンプルの場合に拡張する。
モデルに柔軟性を加え、マルチモーダル分布を学習できるようにするため、学習可能な事前分布を考える。
提案手法は,既存の適応的重要度サンプリングアルゴリズムを用いて,目標分布から点を抽出し,高次元で稀な事象確率を推定する。
論文 参考訳（メタデータ） (2023-10-13T15:40:55Z) - Improved uncertainty quantification for neural networks with Bayesian
last layer [0.0]
不確実性定量化は機械学習において重要な課題である。
本稿では,BLL を用いた NN の対数乗算可能性の再構成を行い,バックプロパゲーションを用いた効率的なトレーニングを実現する。
論文 参考訳（メタデータ） (2023-02-21T20:23:56Z) - Multivariate Deep Evidential Regression [77.34726150561087]
不確実性を認識するニューラルネットワークによる新しいアプローチは、従来の決定論的手法よりも有望である。
本稿では,レグレッションベースニューラルネットワークからアレータ性およびてんかん性不確かさを抽出する手法を提案する。
論文 参考訳（メタデータ） (2021-04-13T12:20:18Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Continuous Wasserstein-2 Barycenter Estimation without Minimax
Optimization [94.18714844247766]
ワッサーシュタイン・バリセンターは、最適輸送に基づく確率測度の重み付き平均の幾何学的概念を提供する。
本稿では,Wasserstein-2 バリセンタのサンプルアクセスを演算するスケーラブルなアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-02-02T21:01:13Z) - Amortized Conditional Normalized Maximum Likelihood: Reliable Out of
Distribution Uncertainty Estimation [99.92568326314667]
本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。
提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。
我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
論文 参考訳（メタデータ） (2020-11-05T08:04:34Z) - A One-step Approach to Covariate Shift Adaptation [82.01909503235385]
多くの機械学習シナリオにおけるデフォルトの前提は、トレーニングとテストサンプルは同じ確率分布から引き出されることである。
予測モデルと関連する重みを1つの最適化で共同で学習する新しいワンステップアプローチを提案する。
論文 参考訳（メタデータ） (2020-07-08T11:35:47Z) - Mean-Field Approximation to Gaussian-Softmax Integral with Application
to Uncertainty Estimation [23.38076756988258]
ディープニューラルネットワークにおける不確実性を定量化するための,新しい単一モデルに基づくアプローチを提案する。
平均場近似式を用いて解析的に難解な積分を計算する。
実験的に,提案手法は最先端の手法と比較して競合的に機能する。
論文 参考訳（メタデータ） (2020-06-13T07:32:38Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。