論文の概要: ARMS: Antithetic-REINFORCE-Multi-Sample Gradient for Binary Variables

• arxiv url: http://arxiv.org/abs/2105.14141v1
• Date: Fri, 28 May 2021 23:19:54 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:42:02.391343
• Title: ARMS: Antithetic-REINFORCE-Multi-Sample Gradient for Binary Variables
• Title（参考訳）: ARMS: 両変数に対する抗レセンスト・マルチサンプルグラディエント
• Authors: Alek Dimitriev and Mingyuan Zhou
• Abstract要約: ReINFORCEを用いたマルチサンプル勾配推定器 ARMSはコプラを用いて、相互に合成されたサンプルを何個でも生成する。 生成モデルを訓練するための複数のデータセット上でARMSを評価し,実験結果から競合する手法よりも優れた結果が得られた。
• 参考スコア（独自算出の注目度）: 60.799183326613395
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Estimating the gradients for binary variables is a task that arises frequently in various domains, such as training discrete latent variable models. What has been commonly used is a REINFORCE based Monte Carlo estimation method that uses either independent samples or pairs of negatively correlated samples. To better utilize more than two samples, we propose ARMS, an Antithetic REINFORCE-based Multi-Sample gradient estimator. ARMS uses a copula to generate any number of mutually antithetic samples. It is unbiased, has low variance, and generalizes both DisARM, which we show to be ARMS with two samples, and the leave-one-out REINFORCE (LOORF) estimator, which is ARMS with uncorrelated samples. We evaluate ARMS on several datasets for training generative models, and our experimental results show that it outperforms competing methods. We also develop a version of ARMS for optimizing the multi-sample variational bound, and show that it outperforms both VIMCO and DisARM. The code is publicly available.
• Abstract（参考訳）: バイナリ変数の勾配の推定は、離散潜在変数モデルのトレーニングなど、さまざまなドメインで頻繁に発生するタスクである。 一般的に用いられているのは、ReINFORCEに基づくモンテカルロ推定法であり、独立サンプルまたは負相関サンプルのペアを用いる。 2つ以上のサンプルをよりよく活用するために,ARMS(Antithetic REINFORCE-based Multi-Sample gradient estimator)を提案する。 ARMSはコプラを用いて、相互に抗合成サンプルを生成する。 偏りがなく、ばらつきが低く、2つのサンプルを持つアームである非武装と、非相関なサンプルを持つアームであるレフトワンアウト強化(loorf)推定器の両方を一般化する。 生成モデルを訓練するための複数のデータセット上でARMSを評価し,実験結果から競合する手法よりも優れた結果が得られた。 また、マルチサンプル変動境界を最適化するためのARMSのバージョンを開発し、VIMCOとDisARMの双方より優れていることを示す。 コードは公開されている。

関連論文リスト

• Detecting Adversarial Data by Probing Multiple Perturbations Using Expected Perturbation Score [62.54911162109439]
  逆方向検出は、自然分布と逆方向分布の差に基づいて、与えられたサンプルが逆方向であるかどうかを判定することを目的としている。 本研究では,様々な摂動後の標本の予測スコアであるEPS(pre expected perturbation score)を提案する。 EPSに基づく最大平均誤差(MMD)を,試験試料と自然試料との差を測定する指標として開発する。
  論文  参考訳（メタデータ） (2023-05-25T13:14:58Z)
• Variable Selection for Kernel Two-Sample Tests [10.768155884359777]
  カーネルの最大平均誤差(MMD)に基づくフレームワークを提案する。 我々は混合整数型プログラミングの定式化を提案し、性能保証付き精度および近似アルゴリズムを開発した。 合成および実データを用いた実験結果から,本手法の優れた性能が示された。
  論文  参考訳（メタデータ） (2023-02-15T00:39:56Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Algorithms for Adaptive Experiments that Trade-off Statistical Analysis with Reward: Combining Uniform Random Assignment and Reward Maximization [50.725191156128645]
  トンプソンサンプリングのようなマルチアームバンディットアルゴリズムは適応的な実験を行うのに利用できる。 統計的解析のための一様ランダム化の利点を組み合わせた2つのアルゴリズムを探索する2つのアーム実験のシミュレーションを提案する。
  論文  参考訳（メタデータ） (2021-12-15T22:11:58Z)
• CARMS: Categorical-Antithetic-REINFORCE Multi-Sample Gradient Estimator [60.799183326613395]
  本稿では, 相互に負に相関した複数のサンプルに基づく分類的確率変数の非バイアス推定器を提案する。 CARMSは、ReINFORCEとコプラベースのサンプリングを組み合わせることで、重複サンプルを回避し、その分散を低減し、重要サンプリングを使用して推定器を偏りなく維持する。 我々は、生成的モデリングタスクと構造化された出力予測タスクに基づいて、いくつかのベンチマークデータセット上でCARMSを評価し、強力な自己制御ベースラインを含む競合する手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-26T20:14:30Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• DisARM: An Antithetic Gradient Estimator for Binary Latent Variables [35.473848208376886]
  本稿では、バイナリ潜伏変数を持つモデルのトレーニングのためのAugment-REINFORCE-Merge (ARM) 推定器を紹介する。 拡張プロセスによって生じるランダム性を解析的に統合することにより、ARMを改善することができることを示す。 我々の推定器であるDisARMは実装が簡単で、ARMと同じ計算コストを持つ。
  論文  参考訳（メタデータ） (2020-06-18T17:09:35Z)
• Deep Synthetic Minority Over-Sampling Technique [3.3707422585608953]
  我々はSMOTEの考え方をディープラーニングアーキテクチャに適用する。 ディープSMOTEは、ほとんどのテストケースにおいて、精度、F1スコア、エリアアンダーカーブ(AUC)の点で従来のSMOTEを上回っます。
  論文  参考訳（メタデータ） (2020-03-22T02:44:46Z)
• Predictive Sampling with Forecasting Autoregressive Models [13.021014899410684]
  自動回帰モデル(ARM)は、現在、画像とオーディオデータの可能性に基づくモデリングにおいて最先端のパフォーマンスを保っている。 本稿では,ARMの高速推論特性を利用してサンプリングを高速化する手法である予測サンプリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-02-23T15:58:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。