論文の概要: Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation

• arxiv url: http://arxiv.org/abs/1912.13151v2
• Date: Wed, 17 Jun 2020 16:32:42 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-16 20:15:01.185228
• Title: Adaptive Correlated Monte Carlo for Contextual Categorical Sequence Generation
• Title（参考訳）: 文脈カテゴリー列生成のための適応的相関モンテカルロ
• Authors: Xinjie Fan, Yizhe Zhang, Zhendong Wang, Mingyuan Zhou
• Abstract要約: 我々は,モンテカルロ (MC) ロールアウトの集合を分散制御のために評価する政策勾配推定器に,カテゴリー列の文脈的生成を適用する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,大語彙シナリオにおける高生成コストを低減できることを示す。
• 参考スコア（独自算出の注目度）: 77.7420231319632
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequence generation models are commonly refined with reinforcement learning over user-defined metrics. However, high gradient variance hinders the practical use of this method. To stabilize this method, we adapt to contextual generation of categorical sequences a policy gradient estimator, which evaluates a set of correlated Monte Carlo (MC) rollouts for variance control. Due to the correlation, the number of unique rollouts is random and adaptive to model uncertainty; those rollouts naturally become baselines for each other, and hence are combined to effectively reduce gradient variance. We also demonstrate the use of correlated MC rollouts for binary-tree softmax models, which reduce the high generation cost in large vocabulary scenarios by decomposing each categorical action into a sequence of binary actions. We evaluate our methods on both neural program synthesis and image captioning. The proposed methods yield lower gradient variance and consistent improvement over related baselines.
• Abstract（参考訳）: シーケンス生成モデルは、一般的に、ユーザ定義メトリクスよりも強化学習によって洗練される。 しかし,高勾配分散は,本手法の実用化を妨げている。 本手法を安定化するために, 分散制御のための相関モンテカルロ (mc) ロールアウトを評価するポリシー勾配推定器を用いて, カテゴリ列の文脈的生成に適応する。 相関関係のため、ユニークなロールアウトの数はランダムであり、モデルの不確実性に適応する。 また,二分木ソフトマックスモデルに相関したMCロールアウトを用いることで,各カテゴリアクションをバイナリアクション列に分解することで,大語彙シナリオの高生成コストを低減できることを示す。 ニューラルプログラム合成法と画像キャプション法の両方について評価を行った。 提案手法は, 関連するベースラインよりも低い勾配分散と一貫した改善をもたらす。

関連論文リスト

• Obtaining Explainable Classification Models using Distributionally Robust Optimization [12.511155426574563]
  特徴値規則の集合を用いて構築した一般化線形モデルについて検討する。 ルールセットの間隔と予測精度の間には、固有のトレードオフが存在する。 我々はこれらの競合する要因に同時に対処するルールセットの集合を学習するための新しい定式化を提案する。
  論文  参考訳（メタデータ） (2023-11-03T15:45:34Z)
• SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
  MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。 我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。 これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。 得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
  論文  参考訳（メタデータ） (2023-06-08T17:59:58Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Mutual Exclusivity Training and Primitive Augmentation to Induce Compositionality [84.94877848357896]
  最近のデータセットは、標準的なシーケンス・ツー・シーケンスモデルにおける体系的な一般化能力の欠如を露呈している。 本稿では,セq2seqモデルの振る舞いを分析し,相互排他バイアスの欠如と全例を記憶する傾向の2つの要因を同定する。 広範に使用されている2つの構成性データセット上で、標準的なシーケンス・ツー・シーケンスモデルを用いて、経験的改善を示す。
  論文  参考訳（メタデータ） (2022-11-28T17:36:41Z)
• Two-level monotonic multistage recommender systems [5.983189537988243]
  パーソナライズされた予測のためのイベントのモノトニック連鎖を特徴付ける2レベルモノトニック特性 ユーザ固有の振る舞いを異なる段階で学習するための正規化コスト関数。 ブロックワイズ座標降下に基づくアルゴリズム
  論文  参考訳（メタデータ） (2021-10-06T08:50:32Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Gaussian Process Models with Low-Rank Correlation Matrices for Both Continuous and Categorical Inputs [0.0]
  混合連続および分類ガウス過程モデルにおけるクロス相関行列の低ランク近似を用いた手法を提案する。 低ランク相関(LRC)は、近似の適切なランクを選択することで、問題のパラメータの数に柔軟に適応する能力を提供する。
  論文  参考訳（メタデータ） (2020-10-06T09:38:35Z)
• Fitting Laplacian Regularized Stratified Gaussian Models [0.0]
  データから複数の関連するゼロ平均ガウス分布を共同推定する問題を考察する。 本稿では,大規模な問題にスケールする分散手法を提案するとともに,金融,レーダ信号処理,天気予報などの手法の有効性について述べる。
  論文  参考訳（メタデータ） (2020-05-04T18:00:59Z)
• Pseudo-Convolutional Policy Gradient for Sequence-to-Sequence Lip-Reading [96.48553941812366]
  唇読解は唇運動系列から音声内容を推測することを目的としている。 seq2seqモデルの伝統的な学習プロセスには2つの問題がある。 本稿では,これら2つの問題に対処するために,PCPGに基づく新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-03-09T09:12:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。