論文の概要: Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator

• arxiv url: http://arxiv.org/abs/2010.04838v1
• Date: Fri, 9 Oct 2020 22:54:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 04:48:50.871694
• Title: Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator
• Title（参考訳）: Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator
• Authors: Max B. Paulus, Chris J. Maddison, Andreas Krause
• Abstract要約: 一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。 これは平均二乗誤差を確実に減少させる。 これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
• 参考スコア（独自算出の注目度）: 93.05919133288161
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Gradient estimation in models with discrete latent variables is a challenging problem, because the simplest unbiased estimators tend to have high variance. To counteract this, modern estimators either introduce bias, rely on multiple function evaluations, or use learned, input-dependent baselines. Thus, there is a need for estimators that require minimal tuning, are computationally cheap, and have low mean squared error. In this paper, we show that the variance of the straight-through variant of the popular Gumbel-Softmax estimator can be reduced through Rao-Blackwellization without increasing the number of function evaluations. This provably reduces the mean squared error. We empirically demonstrate that this leads to variance reduction, faster convergence, and generally improved performance in two unsupervised latent variable models.
• Abstract（参考訳）: 離散潜在変数を持つモデルにおける勾配推定は、最も単純で偏りのない推定子は高い分散を持つ傾向があるため、難しい問題である。 これに対抗するために、現代の推定器はバイアスを導入し、複数の関数評価に依存するか、学習された入力依存のベースラインを使用する。 したがって、最小のチューニングが必要で、計算コストが低く、平均二乗誤差が低い推定器が必要となる。 本稿では,人気のグンベルソフトマックス推定器のストレートスルー変異の分散を,機能評価数を増加させることなくラオ黒化により低減できることを示す。 これにより平均二乗誤差が低減される。 その結果,2つの教師なし潜在変数モデルにおいて分散の低減,収束の高速化,性能の向上が期待できる。

関連論文リスト

• A Parameter-Free Two-Bit Covariance Estimator with Improved Operator Norm Error Rate [23.116373524718988]
  両問題に同時に対処する2ビット共分散行列推定器を提案する。 エントリ毎に異なるディザリングスケールを利用することで、我々の推定器は演算子ノルム誤差率の改善を享受する。 提案手法は、ディザリングスケールがデータによって完全に決定されるため、いかなるチューニングパラメータも不要である。
  論文  参考訳（メタデータ） (2023-08-30T14:31:24Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• Gradient Estimation with Discrete Stein Operators [44.64146470394269]
  離散分布に対するスタイン演算子に基づく分散化手法を提案する。 提案手法は,同数の関数評価値を持つ最先端推定値よりも,かなり低い分散性を実現する。
  論文  参考訳（メタデータ） (2022-02-19T02:22:23Z)
• Double Control Variates for Gradient Estimation in Discrete Latent Variable Models [32.33171301923846]
  スコア関数推定器の分散化手法を提案する。 我々の推定器は、他の最先端推定器と比較してばらつきが低いことを示す。
  論文  参考訳（メタデータ） (2021-11-09T18:02:42Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Near-optimal inference in adaptive linear regression [60.08422051718195]
  最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。 我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。 我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
  論文  参考訳（メタデータ） (2021-07-05T21:05:11Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。