論文の概要: DisARM: An Antithetic Gradient Estimator for Binary Latent Variables

• arxiv url: http://arxiv.org/abs/2006.10680v2
• Date: Thu, 3 Dec 2020 20:44:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-19 12:56:26.823225
• Title: DisARM: An Antithetic Gradient Estimator for Binary Latent Variables
• Title（参考訳）: DisARM: バイナリ潜伏変数に対する抗原勾配推定器
• Authors: Zhe Dong, Andriy Mnih, George Tucker
• Abstract要約: 本稿では、バイナリ潜伏変数を持つモデルのトレーニングのためのAugment-REINFORCE-Merge (ARM) 推定器を紹介する。 拡張プロセスによって生じるランダム性を解析的に統合することにより、ARMを改善することができることを示す。 我々の推定器であるDisARMは実装が簡単で、ARMと同じ計算コストを持つ。
• 参考スコア（独自算出の注目度）: 35.473848208376886
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training models with discrete latent variables is challenging due to the difficulty of estimating the gradients accurately. Much of the recent progress has been achieved by taking advantage of continuous relaxations of the system, which are not always available or even possible. The Augment-REINFORCE-Merge (ARM) estimator provides an alternative that, instead of relaxation, uses continuous augmentation. Applying antithetic sampling over the augmenting variables yields a relatively low-variance and unbiased estimator applicable to any model with binary latent variables. However, while antithetic sampling reduces variance, the augmentation process increases variance. We show that ARM can be improved by analytically integrating out the randomness introduced by the augmentation process, guaranteeing substantial variance reduction. Our estimator, DisARM, is simple to implement and has the same computational cost as ARM. We evaluate DisARM on several generative modeling benchmarks and show that it consistently outperforms ARM and a strong independent sample baseline in terms of both variance and log-likelihood. Furthermore, we propose a local version of DisARM designed for optimizing the multi-sample variational bound, and show that it outperforms VIMCO, the current state-of-the-art method.
• Abstract（参考訳）: 勾配を正確に推定することが困難であるため、離散潜伏変数を持つ訓練モデルは困難である。 最近の進歩の多くは、常に利用可能あるいは可能ではないシステムの継続的な緩和を生かして達成されている。 Augment-REINFORCE-Merge (ARM) 推定器は、緩和の代わりに継続的拡張を使用する代替手段を提供する。 拡張変数にアンチセティックサンプリングを適用すると、バイナリ潜在変数を持つ任意のモデルに適用できる比較的低分散で偏りのない推定器が得られる。 しかし、アンチテティックサンプリングは分散を減少させるが、増強過程は分散を増加させる。 本研究では, 増大過程によって生じるランダム性を解析的に統合することにより, ARMの性能向上が可能であることを示す。 我々の推定器であるDisARMは実装が簡単で、ARMと同じ計算コストを持つ。 いくつかの生成的モデリングベンチマークでDisARMを評価し、分散とログライクな両方の点でARMと強力な独立したサンプルベースラインを一貫して上回っていることを示す。 さらに,マルチサンプル変動境界を最適化するために設計されたローカルバージョンの DisARM を提案し,現在の最先端手法である VIMCO よりも優れていることを示す。

関連論文リスト

• Relaxed Quantile Regression: Prediction Intervals for Asymmetric Noise [51.87307904567702]
  量子レグレッション(Quantile regression)は、出力の分布における量子の実験的推定を通じてそのような間隔を得るための主要なアプローチである。 本稿では、この任意の制約を除去する量子回帰に基づく区間構成の直接的な代替として、Relaxed Quantile Regression (RQR)を提案する。 これにより、柔軟性が向上し、望ましい品質が向上することが実証された。
  論文  参考訳（メタデータ） (2024-06-05T13:36:38Z)
• Convergence of uncertainty estimates in Ensemble and Bayesian sparse model discovery [4.446017969073817]
  ブートストラップに基づく逐次しきい値最小二乗推定器による雑音に対する精度と頑健性の観点から経験的成功を示す。 このブートストラップに基づくアンサンブル手法は,誤差率の指数収束率で,確率的に正しい可変選択を行うことができることを示す。
  論文  参考訳（メタデータ） (2023-01-30T04:07:59Z)
• Gradient Estimation for Binary Latent Variables via Gradient Variance Clipping [6.234350105794441]
  勾配推定はしばしば、離散潜在変数を持つ生成モデルに適合するために必要である。 DisARMや他の推定器は、パラメータ空間の境界付近でばらつきを爆発させる可能性がある。 パラメータ空間の境界における分散を小さくする勾配推定器 textitbitflip-1 を提案する。
  論文  参考訳（メタデータ） (2022-08-12T05:37:52Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Double Control Variates for Gradient Estimation in Discrete Latent Variable Models [32.33171301923846]
  スコア関数推定器の分散化手法を提案する。 我々の推定器は、他の最先端推定器と比較してばらつきが低いことを示す。
  論文  参考訳（メタデータ） (2021-11-09T18:02:42Z)
• Learning generative models for valid knockoffs using novel multivariate-rank based statistics [12.528602250193206]
  ランクエネルギー (RE) は、Monge's Optimal Transport (OT) 問題における最適写像を特徴付ける理論的結果を用いて導出される。 我々は、ソフトランクエネルギー(sRE)と呼ばれるREの変種と、ソフトランク最大平均誤差(sRMMD)と呼ばれるカーネル変種を提案する。 次に、sRMMDを用いて深いノックオフを生成し、有効なノックオフを生成するための新規かつ効果的な方法であることを示す。
  論文  参考訳（メタデータ） (2021-10-29T18:51:19Z)
• CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
  本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-26T20:14:30Z)
• Multivariate Probabilistic Regression with Natural Gradient Boosting [63.58097881421937]
  多変量予測分布の条件パラメータを非パラメトリックにモデル化したNatural Gradient Boosting (NGBoost) 手法を提案する。 提案手法は頑健で, 広範囲なチューニングを伴わず, 推定対象分布に対してモジュール構造であり, 既存の手法と比較して競争力がある。
  論文  参考訳（メタデータ） (2021-06-07T17:44:49Z)
• ARMS: Antithetic-REINFORCE-Multi-Sample Gradient for Binary Variables [60.799183326613395]
  ReINFORCEを用いたマルチサンプル勾配推定器 ARMSはコプラを用いて、相互に合成されたサンプルを何個でも生成する。 生成モデルを訓練するための複数のデータセット上でARMSを評価し,実験結果から競合する手法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-05-28T23:19:54Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。