論文の概要: Learning Discrete Distributions by Dequantization

• arxiv url: http://arxiv.org/abs/2001.11235v1
• Date: Thu, 30 Jan 2020 10:00:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-05 11:46:31.695937
• Title: Learning Discrete Distributions by Dequantization
• Title（参考訳）: 量子化による離散分布の学習
• Authors: Emiel Hoogeboom, Taco S. Cohen, Jakub M. Tomczak
• Abstract要約: 本稿では,既存のメソッドを特別なケースとして捉えたデクエント化のための一般的なフレームワークを提案する。 重要重み付き(iw)重み付き(iw)重み付き(iw)重み付き(iw)重み付き(R'enyi)重み付き(r'enyi)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き(e)重み付き( We found that iw and R'enyi dequantization significantly improve performance for uniform dequantization distributions。
• 参考スコア（独自算出の注目度）: 29.520871474641485
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Media is generally stored digitally and is therefore discrete. Many successful deep distribution models in deep learning learn a density, i.e., the distribution of a continuous random variable. Na\"ive optimization on discrete data leads to arbitrarily high likelihoods, and instead, it has become standard practice to add noise to datapoints. In this paper, we present a general framework for dequantization that captures existing methods as a special case. We derive two new dequantization objectives: importance-weighted (iw) dequantization and R\'enyi dequantization. In addition, we introduce autoregressive dequantization (ARD) for more flexible dequantization distributions. Empirically we find that iw and R\'enyi dequantization considerably improve performance for uniform dequantization distributions. ARD achieves a negative log-likelihood of 3.06 bits per dimension on CIFAR10, which to the best of our knowledge is state-of-the-art among distribution models that do not require autoregressive inverses for sampling.
• Abstract（参考訳）: メディアは一般にデジタルで保存され、したがって離散化される。 ディープラーニングで成功した多くの深層分布モデルは、連続確率変数の分布のような密度を学習する。 離散データに対するna\"ive optimizationは任意に高い確率につながり、代わりにデータポイントにノイズを追加するのが一般的である。 本稿では,既存の手法を特殊ケースとして捉えた解量化の汎用フレームワークを提案する。 我々は、重要度重み付き(iw)のデ量子化とr\'enyiのデ量子化という2つの新しいデ量子化目標を導出する。 さらに,よりフレキシブルなdequantization分布のためのautoregressive dequantization (ARD)を導入する。 実験により, iw と R'enyi の量子化は均一な量子化分布の性能を著しく向上することがわかった。 ARD は CIFAR10 上で 1次元当たり 3.06 ビットの負のログ化を実現している。

関連論文リスト

• Theory on Score-Mismatched Diffusion Models and Zero-Shot Conditional Samplers [49.97755400231656]
  本報告では,明示的な次元の一般スコアミスマッチ拡散サンプリング器を用いた最初の性能保証について述べる。 その結果, スコアミスマッチは, 目標分布とサンプリング分布の分布バイアスとなり, 目標分布とトレーニング分布の累積ミスマッチに比例することがわかった。 この結果は、測定ノイズに関係なく、任意の条件モデルに対するゼロショット条件付きサンプリングに直接適用することができる。
  論文  参考訳（メタデータ） (2024-10-17T16:42:12Z)
• DisCo-Diff: Enhancing Continuous Diffusion Models with Discrete Latents [41.86208391836456]
  本研究では,複雑なデータ分布を単一連続ガウス分布に符号化するDisCo-Diffを提案する。 DisCo-Diffはトレーニング済みのネットワークに依存しておらず、フレームワークを普遍的に適用することができる。 玩具データ, 画像合成タスク, 分子ドッキングに関するDisCo-Diffの検証を行い, 離散潜水剤の導入によりモデル性能が一貫した改善が得られた。
  論文  参考訳（メタデータ） (2024-07-03T17:42:46Z)
• Flexible Heteroscedastic Count Regression with Deep Double Poisson Networks [4.58556584533865]
  本稿ではDDPN(Deep Double Poisson Network)を提案する。 DDPNは既存の離散モデルを大幅に上回っている。 これは様々なカウント回帰データセットに適用できる。
  論文  参考訳（メタデータ） (2024-06-13T16:02:03Z)
• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Learning Distributions via Monte-Carlo Marginalization [9.131712404284876]
  サンプルから抽出可能な分布を学習する新しい手法を提案する。 モンテカルロ・マルギナライゼーション(MCMarg)はこの問題に対処するために提案されている。 提案手法は複雑な分布を学習するための強力なツールであり、プロセス全体が微分可能である。
  論文  参考訳（メタデータ） (2023-08-11T19:08:06Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Distributionally Robust Models with Parametric Likelihood Ratios [123.05074253513935]
  3つの単純なアイデアにより、より広いパラメトリックな確率比のクラスを用いてDROでモデルを訓練することができる。 パラメトリック逆数を用いてトレーニングしたモデルは、他のDROアプローチと比較して、サブポピュレーションシフトに対して一貫して頑健であることがわかった。
  論文  参考訳（メタデータ） (2022-04-13T12:43:12Z)
• Generation of data on discontinuous manifolds via continuous stochastic non-invertible networks [6.201770337181472]
  連続ネットワークを用いて不連続分布を生成する方法を示す。 コスト関数と情報理論の定式化の関係を導出する。 提案手法を合成2次元分布に適用し,不連続分布の再構成と生成の両立を実証する。
  論文  参考訳（メタデータ） (2021-12-17T17:39:59Z)
• Re-parameterizing VAEs for stability [1.90365714903665]
  本稿では,変分オートエンコーダ(VAE)の数値安定性を訓練するための理論的アプローチを提案する。 我々の研究は、VAEが複雑な画像データセット上のアート生成結果に到達できるようにするための最近の研究によって動機づけられている。 我々は、それらが依存する正規分布のパラメータ化方法に小さな変更を加えることで、VAEを安全にトレーニングできることを示します。
  論文  参考訳（メタデータ） (2021-06-25T16:19:09Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。