論文の概要: Coupled Gradient Estimators for Discrete Latent Variables

• arxiv url: http://arxiv.org/abs/2106.08056v1
• Date: Tue, 15 Jun 2021 11:28:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-16 22:01:46.216506
• Title: Coupled Gradient Estimators for Discrete Latent Variables
• Title（参考訳）: 離散潜在変数に対する結合勾配推定器
• Authors: Zhe Dong, Andriy Mnih, George Tucker
• Abstract要約: 非バイアス勾配推定器の高分散のため、離散潜伏変数を持つ訓練モデルは困難である。 重要サンプリングと統計的結合に基づく新しい推定器の導出を提案する。 提案した分類的勾配推定器は,最先端の性能を示すことを示す。
• 参考スコア（独自算出の注目度）: 41.428359609999326
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training models with discrete latent variables is challenging due to the high variance of unbiased gradient estimators. While low-variance reparameterization gradients of a continuous relaxation can provide an effective solution, a continuous relaxation is not always available or tractable. Dong et al. (2020) and Yin et al. (2020) introduced a performant estimator that does not rely on continuous relaxations; however, it is limited to binary random variables. We introduce a novel derivation of their estimator based on importance sampling and statistical couplings, which we extend to the categorical setting. Motivated by the construction of a stick-breaking coupling, we introduce gradient estimators based on reparameterizing categorical variables as sequences of binary variables and Rao-Blackwellization. In systematic experiments, we show that our proposed categorical gradient estimators provide state-of-the-art performance, whereas even with additional Rao-Blackwellization, previous estimators (Yin et al., 2019) underperform a simpler REINFORCE with a leave-one-out-baseline estimator (Kool et al., 2019).
• Abstract（参考訳）: 非バイアス勾配推定器の高分散のため、離散潜伏変数を持つ訓練モデルは困難である。 連続緩和の低分散再パラメータ化勾配は有効な解を与えることができるが、連続緩和が常に利用可能であるとは限らない。 Dong et al. (2020年)とYin et al。 (2020) は連続緩和に依存しない性能推定器を導入したが、これは二進確率変数に限定されている。 本稿では,重要サンプリングと統計的結合に基づく新しい推定器の導出を行い,分類的設定にまで拡張する。 スティック破壊結合の構築に動機づけられ,二項変数の列とrao-ブラックウェル化としてカテゴリ変数の再パラメータ化に基づく勾配推定器を導入する。 系統的な実験では,提案した分類的勾配推定器が最先端の性能を提供するのに対し,Rao-Blackwellizationを付加しても,従来の推定器 (Yin et al., 2019) はベースライン推定器(Kool et al。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Adaptive Perturbation-Based Gradient Estimation for Discrete Latent Variable Models [28.011868604717726]
  複素離散分布に対する適応勾配推定器であるAdaptive IMLEを提案する。 我々の推定器は、他の勾配推定器よりも桁違いに少ないサンプルを必要とする一方で、忠実な推定を行うことができることを示す。
  論文  参考訳（メタデータ） (2022-09-11T13:32:39Z)
• Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
  一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
  論文  参考訳（メタデータ） (2020-10-09T22:54:38Z)
• Path Sample-Analytic Gradient Estimators for Stochastic Binary Networks [78.76880041670904]
  二進的アクティベーションや二進的重みを持つニューラルネットワークでは、勾配降下によるトレーニングは複雑である。 そこで本研究では,サンプリングと解析近似を併用した新しい推定法を提案する。 勾配推定において高い精度を示し、深部畳み込みモデルにおいてより安定かつ優れた訓練を行うことを示す。
  論文  参考訳（メタデータ） (2020-06-04T21:51:21Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)
• Generalized Gumbel-Softmax Gradient Estimator for Various Discrete Random Variables [16.643346012854156]
  ノードの勾配を評価することは、深層生成モデリングコミュニティにおいて重要な研究課題の1つである。 本稿では,連続緩和を伴うGumbel-Softmax推定器の一般バージョンを提案する。
  論文  参考訳（メタデータ） (2020-03-04T01:13:15Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。