論文の概要: What Do You Get When You Cross Beam Search with Nucleus Sampling?

• arxiv url: http://arxiv.org/abs/2107.09729v1
• Date: Tue, 20 Jul 2021 18:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-22 14:25:08.561231
• Title: What Do You Get When You Cross Beam Search with Nucleus Sampling?
• Title（参考訳）: Nucleus Smplingでビームサーチを横切るとどうなるか?
• Authors: Uri Shaham and Omer Levy
• Abstract要約: 自然言語生成のための2つの決定論的核探索アルゴリズムを作成する。 機械翻訳と要約ベンチマークの実験では、両方のアルゴリズムが標準ビームサーチと同じ性能レベルに達することが示されている。
• 参考スコア（独自算出の注目度）: 23.5360917879657
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We combine beam search with the probabilistic pruning technique of nucleus sampling to create two deterministic nucleus search algorithms for natural language generation. The first algorithm, p-exact search, locally prunes the next-token distribution and performs an exact search over the remaining space. The second algorithm, dynamic beam search, shrinks and expands the beam size according to the entropy of the candidate's probability distribution. Despite the probabilistic intuition behind nucleus search, experiments on machine translation and summarization benchmarks show that both algorithms reach the same performance levels as standard beam search.
• Abstract（参考訳）: 我々は,ビームサーチと原子核サンプリングの確率論的プルーニング技術を組み合わせて,自然言語生成のための2つの決定論的核サーチアルゴリズムを作成する。 第1のアルゴリズムであるp-exact searchは、次の分布を局所的にプルーンし、残りの空間上の厳密な探索を行う。 第2のアルゴリズムである動的ビーム探索は、候補の確率分布のエントロピーに応じてビームサイズを縮小して拡大する。 核探索の背後にある確率論的直観にもかかわらず、機械翻訳と要約ベンチマークの実験は、両方のアルゴリズムが標準ビーム探索と同じ性能レベルに達することを示している。

関連論文リスト

• Bayesian Binary Search [5.292593801475208]
  本稿では,古典的二分探索/二分法アルゴリズムBBSの確率的変種について述べる。 BBSは、探索空間の確率密度を推定し、従来の中間点ではなく確率密度に基づいて二分ステップを分割するように修正する。 我々は,さまざまな分布にまたがるシミュレーションデータと,Bitcoin Lightning Network内のチャネルバランスを探索する実世界のバイナリ検索ユースケースにおいて,BBSを使用することによる大幅な効率向上を示す。
  論文  参考訳（メタデータ） (2024-10-02T17:28:22Z)
• A Three-Stage Algorithm for the Closest String Problem on Artificial and Real Gene Sequences [39.58317527488534]
  ストロースト文字列問題(Closest String Problem)は、与えられた文字列の集合に属するすべての列から最小距離の文字列を見つけることを目的としたNPハード問題である。 本稿では,次の3段階のアルゴリズムを提案する。まず,検索領域を効果的に見つけるために,検索空間を削減するために,新しいアルファベットプルーニング手法を適用する。 第二に、解を見つけるためのビーム探索の変種を用いる。この方法は、部分解の期待距離スコアに基づいて、新たに開発された誘導関数を利用する。
  論文  参考訳（メタデータ） (2024-07-17T21:26:27Z)
• Rectangle Search: An Anytime Beam Search (Extended Version) [9.59799149404787]
  任意の検索アルゴリズムは、(潜在的に最適でない)解をできるだけ早く見つけようとする。 本稿では,ビーム探索に基づく新しい長方形探索法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T19:50:45Z)
• Best-$k$ Search Algorithm for Neural Text Generation [118.02691398555781]
  本稿では,品質と多様性のバランスをとる決定論的探索アルゴリズムを提案する。 提案アルゴリズムはパラメータフリーで、軽量で、効率的で、使いやすくなっている。
  論文  参考訳（メタデータ） (2022-11-22T00:26:13Z)
• Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
  本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。 我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。 提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
  論文  参考訳（メタデータ） (2021-12-05T06:42:48Z)
• Determinantal Beam Search [75.84501052642361]
  ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。 複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。 ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
  論文  参考訳（メタデータ） (2021-06-14T13:01:46Z)
• Deterministic spatial search using alternating quantum walks [0.0]
  最適な量子ウォーク時間と頂点位相シフトの組に対して、構造化空間探索のための決定論的アルゴリズムが確立されていることを証明した。 これにより、同じグラフのクラスにおける元の空間探索アルゴリズムを改善し、50%の確率しか増幅できないことを示す。 この新たなフレームワークは、グラフ構造の他のファミリーに対する決定論的空間探索に容易に拡張できると期待されている。
  論文  参考訳（メタデータ） (2021-04-08T14:32:48Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)
• Stochastic Saddle-Point Optimization for Wasserstein Barycenters [69.68068088508505]
  オンラインデータストリームによって生成される有限個の点からなるランダムな確率測度に対する人口推定バリセンタ問題を考察する。 本稿では,この問題の構造を用いて,凸凹型サドル点再構成を行う。 ランダム確率測度の分布が離散的な場合、最適化アルゴリズムを提案し、その複雑性を推定する。
  論文  参考訳（メタデータ） (2020-06-11T19:40:38Z)
• Learning to Accelerate Heuristic Searching for Large-Scale Maximum Weighted b-Matching Problems in Online Advertising [51.97494906131859]
  バイパルタイトbマッチングはアルゴリズム設計の基本であり、経済市場や労働市場などに広く適用されている。 既存の正確で近似的なアルゴリズムは、通常そのような設定で失敗する。 我々は、以前の事例から学んだ知識を活用して、新しい問題インスタンスを解決するtextttNeuSearcherを提案する。
  論文  参考訳（メタデータ） (2020-05-09T02:48:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。