論文の概要: Conditional Poisson Stochastic Beam Search

• arxiv url: http://arxiv.org/abs/2109.11034v1
• Date: Wed, 22 Sep 2021 20:49:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-24 15:15:42.773980
• Title: Conditional Poisson Stochastic Beam Search
• Title（参考訳）: 条件付きポアソン確率ビーム探索
• Authors: Clara Meister, Afra Amini, Tim Viera, Ryan Cotterell
• Abstract要約: 条件付きポアソンビームサーチ(CPSBS)は、Coolらによる2019年のビームサーチ(SBS)より自然な代替品である。 CPSBSはSBSよりも低い分散とより効率的な推定器を生成し、高いエントロピー設定の改善を示す。
• 参考スコア（独自算出の注目度）: 35.60062127942947
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Beam search is the default decoding strategy for many sequence generation tasks in NLP. The set of approximate K-best items returned by the algorithm is a useful summary of the distribution for many applications; however, the candidates typically exhibit high overlap and may give a highly biased estimate for expectations under our model. These problems can be addressed by instead using stochastic decoding strategies. In this work, we propose a new method for turning beam search into a stochastic process: Conditional Poisson stochastic beam search. Rather than taking the maximizing set at each iteration, we sample K candidates without replacement according to the conditional Poisson sampling design. We view this as a more natural alternative to Kool et. al. 2019's stochastic beam search (SBS). Furthermore, we show how samples generated under the CPSBS design can be used to build consistent estimators and sample diverse sets from sequence models. In our experiments, we observe CPSBS produces lower variance and more efficient estimators than SBS, even showing improvements in high entropy settings.
• Abstract（参考訳）: ビームサーチは、NLPにおける多くのシーケンス生成タスクのデフォルトのデコード戦略である。 アルゴリズムによって返される近似k-bestアイテムのセットは、多くのアプリケーションで有用な分布の要約であるが、一般的に候補は高い重なりを示し、我々のモデルの下での期待に対する非常に偏りのある見積もりを与える。 これらの問題は、代わりに確率的復号戦略を用いることで解決できる。 本研究では, ビーム探索を確率過程に変換する新しい手法, conditional poisson stochastic beam searchを提案する。 各反復における最大化集合を取る代わりに、条件付きポアソンサンプリング設計に従って置換せずにK候補をサンプリングする。 これはkool etのより自然な代替案だと考えています。 al. 2019の確率ビームサーチ(SBS)。 さらに、cpsbs設計の下で生成されたサンプルを用いて、シーケンスモデルから一貫した推定器や多種多様なセットを構築する方法を示す。 実験では,CPSBSがSBSよりも低分散・高効率な推定器を発生させ,高エントロピー設定の改善を示した。

関連論文リスト

• Stable generative modeling using Schrödinger bridges [0.22499166814992438]
  本稿では,Schr"odinger BridgesとLangevin dynamicsを組み合わせた生成モデルを提案する。 我々のフレームワークは自然に条件付きサンプルを生成し、ベイズ推論問題に拡張することができる。
  論文  参考訳（メタデータ） (2024-01-09T06:15:45Z)
• Arithmetic Sampling: Parallel Diverse Decoding for Large Language Models [65.52639709094963]
  ビームサーチやガンベルトップkサンプリングのような手法は、ビームの各要素に対して異なる出力を保証できるが、並列化は容易ではない。 本稿では,大言語モデルによって暗黙的に定義された算術符号書に従ってサンプリングを行うフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-18T22:19:41Z)
• Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
  PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
  論文  参考訳（メタデータ） (2022-05-12T11:15:47Z)
• Local policy search with Bayesian optimization [73.0364959221845]
  強化学習は、環境との相互作用によって最適な政策を見つけることを目的としている。 局所探索のための政策勾配は、しばしばランダムな摂動から得られる。 目的関数の確率モデルとその勾配を用いたアルゴリズムを開発する。
  論文  参考訳（メタデータ） (2021-06-22T16:07:02Z)
• On the Comparison between Cyclic Sampling and Random Reshuffling [27.27774034428748]
  周期的なサンプリングは、サンプルを周期的に再シャッフルするよりも頑丈でない、固定された循環的な順序でサンプルを引き出す。 既存の研究は、循環サンプリングにおける最悪のケース収束率を確立しており、一般にランダムリシャフリングよりも悪い。 本論文では,リシャッフルよりも一定の周期順序の方がはるかに早く,低コストで発見できることを発見した。
  論文  参考訳（メタデータ） (2021-04-25T09:29:43Z)
• Oops I Took A Gradient: Scalable Sampling for Discrete Distributions [53.3142984019796]
  このアプローチは、多くの困難な設定において、ジェネリックサンプリングよりも優れていることを示す。 また,高次元離散データを用いた深部エネルギーモデルトレーニングのための改良型サンプリング器についても実演した。
  論文  参考訳（メタデータ） (2021-02-08T20:08:50Z)
• Stochastic Online Convex Optimization. Application to probabilistic time series forecasting [0.0]
  我々は、オンラインニュートンステップやスケールレスのBernsteinオンラインバージョンのようなアルゴリズムが、無制限の設定で最もよく知られたレートを達成することを証明している。 私たちの高速な後悔の限界はいつでも有効です。
  論文  参考訳（メタデータ） (2021-02-01T09:49:15Z)
• Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
  オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。 本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。 ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
  論文  参考訳（メタデータ） (2020-06-11T19:40:38Z)
• Bayesian Quantile and Expectile Optimisation [3.3878745408530833]
  本研究では,非定常雑音設定に適したベイズ量子と予測回帰の新しい変分モデルを提案する。 我々の戦略は、観測の複製やノイズのパラメトリック形式を仮定することなく、量子と予測を直接最適化することができる。 実験セクションで示されるように、提案手法は異端性非ガウス的ケースにおいて、明らかに芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-01-12T20:51:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。