論文の概要: Learning Discrete Distributions by Dequantization
- arxiv url: http://arxiv.org/abs/2001.11235v1
- Date: Thu, 30 Jan 2020 10:00:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-05 11:46:31.695937
- Title: Learning Discrete Distributions by Dequantization
- Title(参考訳): 量子化による離散分布の学習
- Authors: Emiel Hoogeboom, Taco S. Cohen, Jakub M. Tomczak
- Abstract要約: 本稿では,既存のメソッドを特別なケースとして捉えたデクエント化のための一般的なフレームワークを提案する。
重要重み付き(iw)重み付き(iw)重み付き(iw)重み付き(iw)重み付き(R'enyi)重み付き(r'enyi)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(
We found that iw and R'enyi dequantization significantly improve performance for uniform dequantization distributions。
- 参考スコア(独自算出の注目度): 29.520871474641485
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Media is generally stored digitally and is therefore discrete. Many
successful deep distribution models in deep learning learn a density, i.e., the
distribution of a continuous random variable. Na\"ive optimization on discrete
data leads to arbitrarily high likelihoods, and instead, it has become standard
practice to add noise to datapoints. In this paper, we present a general
framework for dequantization that captures existing methods as a special case.
We derive two new dequantization objectives: importance-weighted (iw)
dequantization and R\'enyi dequantization. In addition, we introduce
autoregressive dequantization (ARD) for more flexible dequantization
distributions. Empirically we find that iw and R\'enyi dequantization
considerably improve performance for uniform dequantization distributions. ARD
achieves a negative log-likelihood of 3.06 bits per dimension on CIFAR10, which
to the best of our knowledge is state-of-the-art among distribution models that
do not require autoregressive inverses for sampling.
- Abstract(参考訳): メディアは一般にデジタルで保存され、したがって離散化される。
ディープラーニングで成功した多くの深層分布モデルは、連続確率変数の分布のような密度を学習する。
離散データに対するna\"ive optimizationは任意に高い確率につながり、代わりにデータポイントにノイズを追加するのが一般的である。
本稿では,既存の手法を特殊ケースとして捉えた解量化の汎用フレームワークを提案する。
我々は、重要度重み付き(iw)のデ量子化とr\'enyiのデ量子化という2つの新しいデ量子化目標を導出する。
さらに,よりフレキシブルなdequantization分布のためのautoregressive dequantization (ARD)を導入する。
実験により, iw と R'enyi の量子化は均一な量子化分布の性能を著しく向上することがわかった。
ARD は CIFAR10 上で 1次元当たり 3.06 ビットの負のログ化を実現している。
関連論文リスト
- Learning Distributions via Monte-Carlo Marginalization [9.131712404284876]
サンプルから抽出可能な分布を学習する新しい手法を提案する。
モンテカルロ・マルギナライゼーション(MCMarg)はこの問題に対処するために提案されている。
提案手法は複雑な分布を学習するための強力なツールであり、プロセス全体が微分可能である。
論文 参考訳(メタデータ) (2023-08-11T19:08:06Z) - Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。
本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
論文 参考訳(メタデータ) (2023-06-27T08:15:28Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳(メタデータ) (2022-12-02T07:31:39Z) - Ensemble Multi-Quantiles: Adaptively Flexible Distribution Prediction
for Uncertainty Quantification [4.728311759896569]
本稿では,機械学習における不確実性を定量化するために,分布予測の新しい,簡潔かつ効果的な手法を提案する。
これは回帰タスクにおいて$mathbbP(mathbfy|mathbfX=x)$の適応的に柔軟な分布予測を組み込む。
UCIデータセットからの大規模な回帰タスクでは、EMQが最先端のパフォーマンスを達成することを示す。
論文 参考訳(メタデータ) (2022-11-26T11:45:32Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳(メタデータ) (2022-08-18T16:07:59Z) - Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。
パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
論文 参考訳(メタデータ) (2022-04-13T12:43:12Z) - Generation of data on discontinuous manifolds via continuous stochastic
non-invertible networks [6.201770337181472]
連続ネットワークを用いて不連続分布を生成する方法を示す。
コスト関数と情報理論の定式化の関係を導出する。
提案手法を合成2次元分布に適用し,不連続分布の再構成と生成の両立を実証する。
論文 参考訳(メタデータ) (2021-12-17T17:39:59Z) - Distribution Mismatch Correction for Improved Robustness in Deep Neural
Networks [86.42889611784855]
正規化法は ノイズや入力の腐敗に関して 脆弱性を増大させる
本稿では,各層の活性化分布に適応する非教師なし非パラメトリック分布補正法を提案する。
実験により,提案手法は画像劣化の激しい影響を効果的に低減することを示した。
論文 参考訳(メタデータ) (2021-10-05T11:36:25Z) - Re-parameterizing VAEs for stability [1.90365714903665]
本稿では,変分オートエンコーダ(VAE)の数値安定性を訓練するための理論的アプローチを提案する。
我々の研究は、VAEが複雑な画像データセット上のアート生成結果に到達できるようにするための最近の研究によって動機づけられている。
我々は、それらが依存する正規分布のパラメータ化方法に小さな変更を加えることで、VAEを安全にトレーニングできることを示します。
論文 参考訳(メタデータ) (2021-06-25T16:19:09Z) - KL Guided Domain Adaptation [88.19298405363452]
ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。
ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。
確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
論文 参考訳(メタデータ) (2021-06-14T22:24:23Z) - Efficient Marginalization of Discrete and Structured Latent Variables
via Sparsity [26.518803984578867]
離散的な(分類的または構造化された)潜在変数を持つニューラルネットワークモデルを訓練することは、計算的に困難である。
典型的には、真の限界のサンプリングに基づく近似に頼っている。
そこで本研究では,これらの推定器を高精度かつ効率的なマージン化によって置き換える新たなトレーニング戦略を提案する。
論文 参考訳(メタデータ) (2020-07-03T19:36:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。