論文の概要: On the Depth between Beam Search and Exhaustive Search for Text Generation

• arxiv url: http://arxiv.org/abs/2308.13696v1
• Date: Fri, 25 Aug 2023 22:57:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 19:46:53.309620
• Title: On the Depth between Beam Search and Exhaustive Search for Text Generation
• Title（参考訳）: テキスト生成におけるビーム探索と徹底探索の深さについて
• Authors: Yuu Jinnai, Tetsuro Morimura, Ukyo Honda
• Abstract要約: ビームサーチは検索幅と深さの両方で制限されているが、網羅的なサーチはそのような制限のないグローバルサーチである。 そこで,Lookahead Beam Search (LBS)を提案する。 LBSは、機械翻訳タスクにおけるビームサーチ全体の性能を向上する。
• 参考スコア（独自算出の注目度）: 3.726173629675064
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Beam search and exhaustive search are two extreme ends of text decoding algorithms with respect to the search depth. Beam search is limited in both search width and depth, whereas exhaustive search is a global search that has no such limitations. Surprisingly, beam search is not only computationally cheaper but also performs better than exhaustive search despite its higher search error. Plenty of research has investigated a range of beam widths, from small to large, and reported that a beam width that is neither too large nor too small is desirable. However, in terms of search depth, only the two extreme ends, beam search and exhaustive search are studied intensively. In this paper, we examine a range of search depths between the two extremes to discover the desirable search depth. To this end, we introduce Lookahead Beam Search (LBS), a multi-step lookahead search that optimizes the objective considering a fixed number of future steps. Beam search and exhaustive search are special cases of LBS where the lookahead depth is set to $0$ and $\infty$, respectively. We empirically evaluate the performance of LBS and find that it outperforms beam search overall on machine translation tasks. The result suggests there is room for improvement in beam search by searching deeper. Inspired by the analysis, we propose Lookbehind Heuristic Beam Search, a computationally feasible search algorithm that heuristically simulates LBS with 1-step lookahead. The empirical results show that the proposed method outperforms vanilla beam search on machine translation and text summarization tasks.
• Abstract（参考訳）: ビーム検索と網羅検索は、検索深度に関してテキスト復号アルゴリズムの極端な2つの端である。 ビーム探索は探索幅と深さの両方で制限されるが、徹底的な探索はそのような制限のないグローバルな探索である。 驚くべきことに、ビーム検索は計算量的に安価であるだけでなく、高い検索誤差にもかかわらず、徹底的な検索よりも優れた性能を発揮する。 多くの研究が、ビーム幅の幅を小から小まで調査しており、ビーム幅が大さすぎることも小さすぎることも望ましいと報告している。 しかし, 探索深度の面では, ビーム探索と排他探索の2つの極端部分のみを集中的に研究する。 本稿では,この2つの極端間の探索深度の範囲を調べ,望ましい探索深さを求める。 この目的を達成するために,複数ステップのルックアヘッド探索であるlookahead beam search (lbs) を導入する。 beam search と exhaustive search はそれぞれ$0$ と$\infty$ に設定されたlbsの特別なケースである。 我々は,LBSの性能を実証的に評価し,機械翻訳作業におけるビームサーチの全体的な性能を向上することを発見した。 その結果、より深く探すことでビーム探索を改善する余地があることが示唆された。 この解析にインスパイアされたLookbehind Heuristic Beam Searchは、1ステップのルックアヘッドでLBSをヒューリスティックにシミュレートする計算可能な探索アルゴリズムである。 実験の結果,提案手法は機械翻訳やテキスト要約作業においてバニラビーム探索よりも優れていた。

関連論文リスト

• Rectangle Search: An Anytime Beam Search (Extended Version) [9.59799149404787]
  任意の検索アルゴリズムは、(潜在的に最適でない)解をできるだけ早く見つけようとする。 本稿では,ビーム探索に基づく新しい長方形探索法を提案する。
  論文  参考訳（メタデータ） (2023-12-19T19:50:45Z)
• Hybrid Search for Efficient Planning with Completeness Guarantees [63.02803974708516]
  本稿では,離散的な行動空間における完全性を実現するために,部分ゴール探索法を効果的に拡張する手法を提案する。 このソリューションは、高レベルの探索の実践的効率と低レベルの探索の完全性という、両方の世界のベストを達成している。
  論文  参考訳（メタデータ） (2023-10-19T15:16:43Z)
• A Call for Clarity in Beam Search: How It Works and When It Stops [125.55175954381991]
  我々は、このビーム復号化実装の簡単な修正である忍耐係数を導入し、停止基準を一般化し、探索深度に柔軟性を提供する。 実験結果から,この忍耐率の調整は,ニューステキスト要約および多言語対における機械翻訳において,強い事前学習されたモデルの復号性能を向上させることが示された。
  論文  参考訳（メタデータ） (2022-04-11T22:03:44Z)
• Beam Search: Faster and Monotonic [15.20931404997906]
  我々はビーム探索のモノトニック化の方法を示し、ビーム幅が増加するにつれて非増加解コストが保証される新しい変種を提供する。 また,非一様コストの領域において,ビーム探索がより高速に解を見つけることができることを示す。
  論文  参考訳（メタデータ） (2022-04-06T16:40:13Z)
• CrossBeam: Learning to Search in Bottom-Up Program Synthesis [51.37514793318815]
  ボトムアップ合成のためのハンズオン検索ポリシーを学習するためのニューラルネットワークのトレーニングを提案する。 私たちのアプローチは、CrossBeamと呼ばれ、ニューラルモデルを使用して、以前に探索されたプログラムを新しいプログラムに組み合わせる方法を選択します。 我々はCrossBeamが効率的に検索することを学び、最先端技術と比較してプログラム空間のより小さな部分を探索する。
  論文  参考訳（メタデータ） (2022-03-20T04:41:05Z)
• Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
  本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。 我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。 提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
  論文  参考訳（メタデータ） (2021-12-05T06:42:48Z)
• What Do You Get When You Cross Beam Search with Nucleus Sampling? [23.5360917879657]
  自然言語生成のための2つの決定論的核探索アルゴリズムを作成する。 機械翻訳と要約ベンチマークの実験では、両方のアルゴリズムが標準ビームサーチと同じ性能レベルに達することが示されている。
  論文  参考訳（メタデータ） (2021-07-20T18:59:14Z)
• If beam search is the answer, what was the question? [78.71330480725668]
  ビームサーチは、認知科学に動機づけられた特性であるテキストの均一な情報密度を強制する。 この特性を明示的に強制する復号対象のセットを提案し、これらの目的による正確な復号化は、校正の不十分な言語生成モデルの復号時に発生する問題を緩和する。
  論文  参考訳（メタデータ） (2020-10-06T11:57:03Z)
• Searching for a Search Method: Benchmarking Search Algorithms for Generating NLP Adversarial Examples [10.993342896547691]
  自然言語処理(NLP)タスクの逆例を生成するために,複数のブラックボックス探索アルゴリズムの動作について検討した。 検索アルゴリズム,検索空間,検索予算の3つの要素を詳細に分析する。
  論文  参考訳（メタデータ） (2020-09-09T17:04:42Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。