論文の概要: Best-$k$ Search Algorithm for Neural Text Generation

• arxiv url: http://arxiv.org/abs/2211.11924v1
• Date: Tue, 22 Nov 2022 00:26:13 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-23 17:36:33.321347
• Title: Best-$k$ Search Algorithm for Neural Text Generation
• Title（参考訳）: ニューラルテキスト生成のためのBest-k$検索アルゴリズム
• Authors: Jiacheng Xu, Caiming Xiong, Silvio Savarese, Yingbo Zhou
• Abstract要約: 本稿では,品質と多様性のバランスをとる決定論的探索アルゴリズムを提案する。 提案アルゴリズムはパラメータフリーで、軽量で、効率的で、使いやすくなっている。
• 参考スコア（独自算出の注目度）: 118.02691398555781
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern natural language generation paradigms require a good decoding strategy to obtain quality sequences out of the model. Beam search yields high-quality but low diversity outputs; stochastic approaches suffer from high variance and sometimes low quality, but the outputs tend to be more natural and creative. In this work, we propose a deterministic search algorithm balancing both quality and diversity. We first investigate the vanilla best-first search (BFS) algorithm and then propose the Best-$k$ Search algorithm. Inspired by BFS, we greedily expand the top $k$ nodes, instead of only the first node, to boost efficiency and diversity. Upweighting recently discovered nodes accompanied by heap pruning ensures the completeness of the search procedure. Experiments on four NLG tasks, including question generation, commonsense generation, text summarization, and translation, show that best-$k$ search yields more diverse and natural outputs compared to strong baselines, while our approach maintains high text quality. The proposed algorithm is parameter-free, lightweight, efficient, and easy to use.
• Abstract（参考訳）: 現代の自然言語生成パラダイムは、モデルから品質シーケンスを得るための優れた復号戦略を必要とする。 ビーム探索は高品質だが多様性の少ない出力をもたらす;確率的アプローチは高いばらつきと時には低い品質に苦しむが、出力はより自然で創造的になる傾向がある。 本研究では,品質と多様性のバランスをとる決定論的探索アルゴリズムを提案する。 まず,vanilla best-first search (bfs) アルゴリズムを調査し,次にbest-k$ searchアルゴリズムを提案する。 BFSにインスパイアされた私たちは、最初のノードではなく、上位の$k$ノードを拡張して、効率と多様性を高めました。 ヒーププルーニングに伴う最近発見されたノードの重み付けは、検索手順の完全性を保証する。 質問生成,コモンセンス生成,テキスト要約,翻訳を含む4つのNLGタスクの実験結果から,提案手法は高いテキスト品質を維持しつつ,より多様で自然な結果が得られることが示された。 提案アルゴリズムはパラメータフリー,軽量,効率的,使いやすい。

関連論文リスト

• A Three-Stage Algorithm for the Closest String Problem on Artificial and Real Gene Sequences [39.58317527488534]
  ストロースト文字列問題(Closest String Problem)は、与えられた文字列の集合に属するすべての列から最小距離の文字列を見つけることを目的としたNPハード問題である。 本稿では,次の3段階のアルゴリズムを提案する。まず,検索領域を効果的に見つけるために,検索空間を削減するために,新しいアルファベットプルーニング手法を適用する。 第二に、解を見つけるためのビーム探索の変種を用いる。この方法は、部分解の期待距離スコアに基づいて、新たに開発された誘導関数を利用する。
  論文  参考訳（メタデータ） (2024-07-17T21:26:27Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Massive-scale Decoding for Text Generation using Lattices [34.2658286826597]
  多数の生成オプションを符号化する格子を構成するための探索アルゴリズムを提案する。 我々のアルゴリズムは、文法的かつ高品質な数百から数千の多様な選択肢を1つの線形サイズの格子に符号化している。
  論文  参考訳（メタデータ） (2021-12-14T18:56:11Z)
• DISCO : efficient unsupervised decoding for discrete natural language problems via convex relaxation [1.370633147306388]
  テスト時間デコーディングは,自然言語処理(NLP)問題にまたがるほぼすべての逐次テキスト生成タスクにおいて,ユビキタスなステップである。 我々の主な貢献は、NPハード復号問題に対する連続緩和フレームワークの開発であり、標準1次勾配に基づく効率的なアルゴリズムであるディスコを提案することである。
  論文  参考訳（メタデータ） (2021-07-07T00:40:25Z)
• Determinantal Beam Search [75.84501052642361]
  ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。 複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。 ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
  論文  参考訳（メタデータ） (2021-06-14T13:01:46Z)
• Towards Optimally Efficient Tree Search with Deep Learning [76.64632985696237]
  本稿では,線形モデルから信号整数を推定する古典整数最小二乗問題について検討する。 問題はNPハードであり、信号処理、バイオインフォマティクス、通信、機械学習といった様々な応用でしばしば発生する。 本稿では, 深いニューラルネットワークを用いて, 単純化されたメモリバウンドA*アルゴリズムの最適推定を推定し, HATSアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-07T08:00:02Z)
• Quality-Diversity Optimization: a novel branch of stochastic optimization [5.677685109155078]
  マルチモーダル最適化アルゴリズムは、複数のことができる検索空間で最も高いピークを検索します。 品質多様性アルゴリズムは、進化的計算ツールボックスに最近追加されたもので、単一の局所光学系を探索するだけでなく、検索空間を照らそうとする。
  論文  参考訳（メタデータ） (2020-12-08T09:52:50Z)
• A Systematic Characterization of Sampling Algorithms for Open-ended Language Generation [71.31905141672529]
  本稿では,自己回帰型言語モデルに広く採用されている祖先サンプリングアルゴリズムについて検討する。 エントロピー低減, 秩序保存, 斜面保全の3つの重要な特性を同定した。 これらの特性を満たすサンプリングアルゴリズムのセットが,既存のサンプリングアルゴリズムと同等に動作することがわかった。
  論文  参考訳（メタデータ） (2020-09-15T17:28:42Z)
• Best-First Beam Search [78.71330480725668]
  本研究では,ビームサーチの標準実装を10倍高速に実現可能であることを示す。 ダウンストリーム性能の面でも同様に有益な探索バイアスを有するBest-First Beam Searchのメモリ再生版を提案する。
  論文  参考訳（メタデータ） (2020-07-08T05:56:01Z)
• Trading Off Diversity and Quality in Natural Language Generation [12.672685374008259]
  応答品質と多様性の両方を同時に最大化することを目的とした多目的最適化問題としてデコーディングをキャストした。 我々のフレームワークは、品質・多様性のスペクトル全体に沿って、デコード手法の大規模な評価を行うことができる。 我々は,この知見を活用して,グローバルな正規化温度サンプリングを精度よく近似するEmphselective sampleと呼ばれるアルゴリズムを作成し,評価する。
  論文  参考訳（メタデータ） (2020-04-22T09:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。