論文の概要: CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator

• arxiv url: http://arxiv.org/abs/2110.14002v1
• Date: Tue, 26 Oct 2021 20:14:30 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-28 13:08:46.621844
• Title: CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator
• Title（参考訳）: CARMS:カテゴリ・アンティテティック・ReINFORCEマルチサンプル勾配推定器
• Authors: Alek Dimitriev and Mingyuan Zhou
• Abstract要約: 本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
• 参考スコア（独自算出の注目度）: 60.799183326613395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Accurately backpropagating the gradient through categorical variables is a challenging task that arises in various domains, such as training discrete latent variable models. To this end, we propose CARMS, an unbiased estimator for categorical random variables based on multiple mutually negatively correlated (jointly antithetic) samples. CARMS combines REINFORCE with copula based sampling to avoid duplicate samples and reduce its variance, while keeping the estimator unbiased using importance sampling. It generalizes both the ARMS antithetic estimator for binary variables, which is CARMS for two categories, as well as LOORF/VarGrad, the leave-one-out REINFORCE estimator, which is CARMS with independent samples. We evaluate CARMS on several benchmark datasets on a generative modeling task, as well as a structured output prediction task, and find it to outperform competing methods including a strong self-control baseline. The code is publicly available.
• Abstract（参考訳）: カテゴリ変数による勾配の正確な再伝播は、離散潜在変数モデルのトレーニングなど、さまざまな領域で発生する課題である。 そこで本研究では, 相互に負に相関した複数のサンプルに基づく分類確率変数の非バイアス推定器であるCARMSを提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 2つのカテゴリのCARMSであるARMSアンチテーゼ推定器と、独立したサンプルを持つCARMSであるREINFORCE推定器であるLOORF/VarGradの両方を一般化する。 生成的モデリングタスクや構造化出力予測タスクにおける複数のベンチマークデータセットのカルムを評価し,強力な自己制御ベースラインを含む競合手法よりも優れることを示す。 コードは公開されている。

関連論文リスト

• Semiparametric conformal prediction [79.6147286161434]
  リスクに敏感なアプリケーションは、複数の、潜在的に相関したターゲット変数に対して、よく校正された予測セットを必要とする。 スコアをランダムなベクトルとして扱い、それらの連接関係構造を考慮した予測セットを構築することを目的とする。 実世界のレグレッション問題に対して,所望のカバレッジと競争効率について報告する。
  論文  参考訳（メタデータ） (2024-11-04T14:29:02Z)
• PASA: Attack Agnostic Unsupervised Adversarial Detection using Prediction & Attribution Sensitivity Analysis [2.5347892611213614]
  分類のためのディープニューラルネットワークは、サンプル入力に対する小さな摂動が誤った予測につながる敵攻撃に対して脆弱である。 本研究では, モデル予測と特徴属性のこの特性の実用的手法を開発し, 対向サンプルを検出する。 本手法は,敵が防御機構を認識した場合でも,競争性能を示す。
  論文  参考訳（メタデータ） (2024-04-12T21:22:21Z)
• Double Control Variates for Gradient Estimation in Discrete Latent Variable Models [32.33171301923846]
  スコア関数推定器の分散化手法を提案する。 我々の推定器は、他の最先端推定器と比較してばらつきが低いことを示す。
  論文  参考訳（メタデータ） (2021-11-09T18:02:42Z)
• Variance function estimation in regression model via aggregation procedures [0.0]
  モデル選択アグリゲーション(MS)と凸アグリゲーション(C)の2つの特別なアグリゲーション設定に焦点を当てる。 推定器の構築は2段階の手順に依存し、2つの独立したサンプルを必要とする。 提案手法は,MSとCのアグリゲーションに対してL2エラーに対して整合性を示す。
  論文  参考訳（メタデータ） (2021-10-06T13:03:52Z)
• ARMS: Antithetic-REINFORCE-Multi-Sample Gradient for Binary Variables [60.799183326613395]
  ReINFORCEを用いたマルチサンプル勾配推定器 ARMSはコプラを用いて、相互に合成されたサンプルを何個でも生成する。 生成モデルを訓練するための複数のデータセット上でARMSを評価し,実験結果から競合する手法よりも優れた結果が得られた。
  論文  参考訳（メタデータ） (2021-05-28T23:19:54Z)
• Optimal Off-Policy Evaluation from Multiple Logging Policies [77.62012545592233]
  我々は,複数のロギングポリシからオフ政治評価を行い,それぞれが一定のサイズ,すなわち階層化サンプリングのデータセットを生成する。 複数ロガーのOPE推定器は,任意のインスタンス,すなわち効率のよいインスタンスに対して最小分散である。
  論文  参考訳（メタデータ） (2020-10-21T13:43:48Z)
• Robust Finite Mixture Regression for Heterogeneous Targets [70.19798470463378]
  本稿では,サンプルクラスタの探索と,複数の不完全な混合型ターゲットを同時にモデル化するFMRモデルを提案する。 我々は、高次元の学習フレームワークの下で、無症状のオラクルのパフォーマンス境界をモデルに提供します。 その結果,我々のモデルは最先端の性能を達成できることがわかった。
  論文  参考訳（メタデータ） (2020-10-12T03:27:07Z)
• Learning Ising models from one or multiple samples [26.00403702328348]
  我々は一サンプル推定の保証を提供し、相互作用行列の族における計量エントロピーの観点から推定誤差を定量化する。 我々の技術的アプローチは、モデルの相互作用ネットワークをスパース化し、結果の条件分布への依存性を十分に弱める変数のサブセットを条件付けすることの恩恵を受ける。
  論文  参考訳（メタデータ） (2020-04-20T15:17:05Z)
• Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
  我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。 推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。