論文の概要: Evidential Softmax for Sparse Multimodal Distributions in Deep
Generative Models
- arxiv url: http://arxiv.org/abs/2110.14182v1
- Date: Wed, 27 Oct 2021 05:32:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-28 12:32:28.931023
- Title: Evidential Softmax for Sparse Multimodal Distributions in Deep
Generative Models
- Title（参考訳）: 深部生成モデルにおけるスパースマルチモーダル分布のエビデンシャル・ソフトマックス
- Authors: Phil Chen, Masha Itkina, Ransalu Senanayake, Mykel J. Kochenderfer
- Abstract要約: 確率分布の多重性を保存するスパース正規化関数である$textitev-softmax$を提案する。
本稿では,多変量オートエンコーダや自動回帰アーキテクチャなど,多種多様な生成モデルについて評価する。
- 参考スコア（独自算出の注目度）: 38.26333732364642
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Many applications of generative models rely on the marginalization of their
high-dimensional output probability distributions. Normalization functions that
yield sparse probability distributions can make exact marginalization more
computationally tractable. However, sparse normalization functions usually
require alternative loss functions for training since the log-likelihood is
undefined for sparse probability distributions. Furthermore, many sparse
normalization functions often collapse the multimodality of distributions. In
this work, we present $\textit{ev-softmax}$, a sparse normalization function
that preserves the multimodality of probability distributions. We derive its
properties, including its gradient in closed-form, and introduce a continuous
family of approximations to $\textit{ev-softmax}$ that have full support and
can be trained with probabilistic loss functions such as negative
log-likelihood and Kullback-Leibler divergence. We evaluate our method on a
variety of generative models, including variational autoencoders and
auto-regressive architectures. Our method outperforms existing dense and sparse
normalization techniques in distributional accuracy. We demonstrate that
$\textit{ev-softmax}$ successfully reduces the dimensionality of probability
distributions while maintaining multimodality.
- Abstract（参考訳）: 生成モデルの多くの応用は、その高次元の出力確率分布の限界化に依存する。
スパース確率分布を得る正規化関数は、より計算的に引き出すことができる。
しかし、スパース正規化関数は通常、スパース確率分布に対して対数様式が未定義であるため、訓練のために代替損失関数を必要とする。
さらに、多くのスパース正規化函数は分布の多重モダリティを崩壊させる。
本稿では,確率分布の多様性を保存するスパース正規化関数である$\textit{ev-softmax}$を提案する。
我々はその性質を導出し、その勾配を閉じた形で導出し、完全なサポートを持ち、負のlog-likelihoodやkullback-leibler divergenceのような確率的損失関数で訓練できる$\textit{ev-softmax}$に対する近似の連続的な族を導入する。
本手法は,変分オートエンコーダや自己回帰型アーキテクチャを含む,様々な生成モデル上で評価する。
本手法は, 分布的精度において, 既存の密度およびスパース正規化手法よりも優れている。
我々は、$\textit{ev-softmax}$がマルチモダリティを維持しながら確率分布の次元性をうまく減らすことを実証する。
関連論文リスト
- MultiMax: Sparse and Multi-Modal Attention Learning [60.49318008131978]
SoftMaxは現代の機械学習アルゴリズムのユビキタスな成分である。
分散性はSoftMaxの変種族によって達成できるが、それらはしばしば代替損失関数を必要とし、多重モダリティを保たない。
入力入力範囲に応じて出力分布を適応的に変調するMultiMaxを提案する。
論文 参考訳（メタデータ） (2024-06-03T10:51:43Z) - Rejection via Learning Density Ratios [50.91522897152437]
拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。
そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。
私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
論文 参考訳（メタデータ） (2024-05-29T01:32:17Z) - A Pseudo-Semantic Loss for Autoregressive Models with Logical
Constraints [87.08677547257733]
ニューロシンボリックAIは、純粋にシンボリックな学習とニューラルな学習のギャップを埋める。
本稿では,ニューラルネットワークの出力分布に対するシンボリック制約の可能性を最大化する方法を示す。
また,スドクと最短経路予測の手法を自己回帰世代として評価した。
論文 参考訳（メタデータ） (2023-12-06T20:58:07Z) - Normalizing flow sampling with Langevin dynamics in the latent space [12.91637880428221]
正規化フロー(NF)は、連続生成器を使用して、単純な潜伏分布(例えばガウス分布)をトレーニングデータセットに関連する経験的対象分布にマッピングする。
標準NFは可微分写像を実装しているため、複雑な分布を対象とする場合、病理学的挙動に悩まされることがある。
本稿では,マルコフ連鎖モンテカルロアルゴリズムを提案する。
論文 参考訳（メタデータ） (2023-05-20T09:31:35Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2022-11-26T11:45:32Z) - Matching Normalizing Flows and Probability Paths on Manifolds [57.95251557443005]
連続正規化フロー (Continuous Normalizing Flows, CNFs) は、常微分方程式(ODE)を解くことによって、先行分布をモデル分布に変換する生成モデルである。
我々は,CNFが生成する確率密度パスと目標確率密度パスとの間に生じる新たな分岐系であるPPDを最小化して,CNFを訓練することを提案する。
PPDの最小化によって得られたCNFは、既存の低次元多様体のベンチマークにおいて、その可能性とサンプル品質が得られることを示す。
論文 参考訳（メタデータ） (2022-07-11T08:50:19Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - Probabilistic Kolmogorov-Arnold Network [1.4732811715354455]
本稿では,アレータティック不確実性の場合に出力の確率分布を推定する手法を提案する。
提案手法は, 出力の入力依存確率分布と, 入力による分布型の変化を対象とする。
本手法は任意の回帰モデルに適用できるが, 計算効率のよいモデルの構築につながるため,kansと組み合わせる。
論文 参考訳（メタデータ） (2021-04-04T23:49:15Z) - A method to integrate and classify normal distributions [0.0]
我々は、任意のパラメータを持つ任意の次元における正規の任意の領域の確率を提供する結果とオープンソースソフトウェアを提示する。
自然界における物体の隠蔽やカモフラージュの検出といった視覚研究の応用を応用して,これらのツールを実証する。
論文 参考訳（メタデータ） (2020-12-23T05:45:41Z) - Exploring Maximum Entropy Distributions with Evolutionary Algorithms [0.0]
与えられた制約集合に対する最大エントロピー確率分布を数値的に発展させる方法を示す。
進化的アルゴリズムは、よく知られた分析結果の近似を得ることができる。
分布の多くが対称で連続である理由を説明するが、いくつかはそうではない。
論文 参考訳（メタデータ） (2020-02-05T19:52:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。