論文の概要: Estimating Gradients for Discrete Random Variables by Sampling without Replacement

• arxiv url: http://arxiv.org/abs/2002.06043v1
• Date: Fri, 14 Feb 2020 14:15:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-01 04:04:16.663870
• Title: Estimating Gradients for Discrete Random Variables by Sampling without Replacement
• Title（参考訳）: 切り換えのないサンプリングによる離散ランダム変数の勾配推定
• Authors: Wouter Kool, Herke van Hoof, Max Welling
• Abstract要約: 我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
• 参考スコア（独自算出の注目度）: 93.09326095997336
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We derive an unbiased estimator for expectations over discrete random variables based on sampling without replacement, which reduces variance as it avoids duplicate samples. We show that our estimator can be derived as the Rao-Blackwellization of three different estimators. Combining our estimator with REINFORCE, we obtain a policy gradient estimator and we reduce its variance using a built-in control variate which is obtained without additional model evaluations. The resulting estimator is closely related to other gradient estimators. Experiments with a toy problem, a categorical Variational Auto-Encoder and a structured prediction problem show that our estimator is the only estimator that is consistently among the best estimators in both high and low entropy settings.
• Abstract（参考訳）: 代替のないサンプリングに基づく離散確率変数に対する期待値に対する偏りのない推定器を導出し、重複サンプルを避けるために分散を減少させる。 この推定器は3つの異なる推定器のラオ黒色化として導出できることを示す。 提案手法を強化剤と組み合わせることで, ポリシー勾配推定器を得るとともに, モデル評価を必要とせず, 内蔵制御変量器を用いてその分散を低減できる。 得られた推定器は他の勾配推定器と密接に関連している。 玩具問題,カテゴリー的変分オートエンコーダ,構造的予測問題を用いて実験したところ,我々の推定器は高いエントロピー設定と低いエントロピー設定の両方において常に最高の推定器であることがわかった。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Statistical Barriers to Affine-equivariant Estimation [10.077727846124633]
  本研究では,ロバスト平均推定のためのアフィン同変推定器の定量的性能について検討する。 古典的推定器は定量的に準最適であるか、あるいは量的保証が欠如していることが分かる。 我々は、下界にほぼ一致する新しいアフィン同変推定器を構築する。
  論文  参考訳（メタデータ） (2023-10-16T18:42:00Z)
• Gradient Estimation with Discrete Stein Operators [44.64146470394269]
  離散分布に対するスタイン演算子に基づく分散化手法を提案する。 提案手法は,同数の関数評価値を持つ最先端推定値よりも,かなり低い分散性を実現する。
  論文  参考訳（メタデータ） (2022-02-19T02:22:23Z)
• CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
  本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-26T20:14:30Z)
• Nonparametric Score Estimators [49.42469547970041]
  未知分布によって生成されたサンプルの集合からスコアを推定することは確率モデルの推論と学習における基本的なタスクである。 正規化非パラメトリック回帰の枠組みの下で、これらの推定器の統一的なビューを提供する。 カールフリーカーネルと高速収束による計算効果を享受する反復正規化に基づくスコア推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-20T15:01:03Z)
• Nonparametric Estimation of the Fisher Information and Its Applications [82.00720226775964]
  本稿では,大きさn$のランダムサンプルからフィッシャー情報の位置推定の問題について考察する。 Bhattacharyaにより提案された推定器を再検討し、収束率の向上を導出する。 クリッピング推定器と呼ばれる新しい推定器を提案する。
  論文  参考訳（メタデータ） (2020-05-07T17:21:56Z)
• SUMO: Unbiased Estimation of Log Marginal Probability for Latent Variable Models [80.22609163316459]
  無限級数のランダム化トランケーションに基づく潜在変数モデルに対して、ログ境界確率の非バイアス推定器とその勾配を導入する。 推定器を用いてトレーニングしたモデルは、同じ平均計算コストに対して、標準的な重要度サンプリングに基づくアプローチよりも優れたテストセット確率を与えることを示す。
  論文  参考訳（メタデータ） (2020-04-01T11:49:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。