論文の概要: Massive-scale Decoding for Text Generation using Lattices
- arxiv url: http://arxiv.org/abs/2112.07660v1
- Date: Tue, 14 Dec 2021 18:56:11 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-15 16:09:06.844508
- Title: Massive-scale Decoding for Text Generation using Lattices
- Title（参考訳）: 格子を用いたテキスト生成のための大規模復号
- Authors: Jiacheng Xu and Greg Durrett
- Abstract要約: 多数の生成オプションを符号化する格子を構成するための探索アルゴリズムを提案する。
我々のアルゴリズムは、文法的かつ高品質な数百から数千の多様な選択肢を1つの線形サイズの格子に符号化している。
- 参考スコア（独自算出の注目度）: 34.2658286826597
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural text generation models like those used for summarization and
translation generate high-quality outputs, but often concentrate around a mode
when what we really want is a diverse set of options. We present a search
algorithm to construct lattices encoding a massive number of generation
options. First, we restructure decoding as a best-first search, which explores
the space differently than beam search and improves efficiency by avoiding
pruning paths. Second, we revisit the idea of hypothesis recombination: we can
identify pairs of similar generation candidates during search and merge them as
an approximation. On both document summarization and machine translation, we
show that our algorithm encodes hundreds to thousands of diverse options that
remain grammatical and high-quality into one linear-sized lattice. This
algorithm provides a foundation for building downstream generation applications
on top of massive-scale diverse outputs.
- Abstract（参考訳）: 要約や翻訳に使用されるようなニューラルテキスト生成モデルは、高品質な出力を生成するが、本当に望むものが多様なオプションセットである場合、しばしばモードに集中する。
多数の生成オプションを符号化する格子を構成するための探索アルゴリズムを提案する。
まず,ビーム探索と異なる空間を探索し,プルーニングパスを回避して効率を向上させるベストファーストサーチとしてデコード再構成を行う。
第2に,仮説再結合の考え方を再検討する:探索中に類似する生成候補のペアを同定し,それらを近似としてマージすることができる。
文書要約と機械翻訳の両方において、我々のアルゴリズムは文法的かつ高品質な数百から数千の多様な選択肢を1つの線形サイズの格子に符号化することを示した。
このアルゴリズムは、大規模な多様な出力の上に下流生成アプリケーションを構築する基盤を提供する。
関連論文リスト
- Adaptive Contrastive Search: Uncertainty-Guided Decoding for Open-Ended Text Generation [0.20971479389679337]
コントラスト探索を拡張した新しい復号法であるアダプティブコントラスト探索を導入する。
この結果から,異なるモデルアーキテクチャとデータセットの両面でのパフォーマンス向上が示唆された。
論文 参考訳（メタデータ） (2024-07-26T12:23:54Z) - A Three-Stage Algorithm for the Closest String Problem on Artificial and Real Gene Sequences [39.58317527488534]
ストロースト文字列問題(Closest String Problem)は、与えられた文字列の集合に属するすべての列から最小距離の文字列を見つけることを目的としたNPハード問題である。
本稿では,次の3段階のアルゴリズムを提案する。まず,検索領域を効果的に見つけるために,検索空間を削減するために,新しいアルファベットプルーニング手法を適用する。
第二に、解を見つけるためのビーム探索の変種を用いる。この方法は、部分解の期待距離スコアに基づいて、新たに開発された誘導関数を利用する。
論文 参考訳（メタデータ） (2024-07-17T21:26:27Z) - Planning with Large Language Models for Code Generation [100.07232672883897]
Planning-Guided Transformer Decoding (PG-TD) は、計画アルゴリズムを用いてルックアヘッド検索を行い、トランスフォーマーを誘導してより良いプログラムを生成する。
我々は、公開コーディングチャレンジベンチマークのバックボーンとして、いくつかの大きな言語モデルを用いて、我々のフレームワークを実証的に評価する。
論文 参考訳（メタデータ） (2023-03-09T18:59:47Z) - Best-$k$ Search Algorithm for Neural Text Generation [118.02691398555781]
本稿では,品質と多様性のバランスをとる決定論的探索アルゴリズムを提案する。
提案アルゴリズムはパラメータフリーで、軽量で、効率的で、使いやすくなっている。
論文 参考訳（メタデータ） (2022-11-22T00:26:13Z) - Multidimensional Assignment Problem for multipartite entity resolution [69.48568967931608]
Multipartiteエンティティ解決は、複数のデータセットから1つのエンティティにレコードを統合することを目的としている。
代入問題を解くために、グリーディアルゴリズムと大規模近傍探索という2つの手順を適用する。
データベースのサイズが大きくなるにつれて、設計ベースのマルチスタートがより効率的であることを示す。
論文 参考訳（メタデータ） (2021-12-06T20:34:55Z) - Determinantal Beam Search [75.84501052642361]
ビームサーチは、ニューラルシーケンスモデルをデコードするためのゴーツー戦略である。
複数のソリューションを要求するユースケースでは、多様あるいは代表的なセットがしばしば望まれる。
ビームサーチを一連の部分決定問題として繰り返し行うことにより、アルゴリズムを多種多様なサブセット選択プロセスに変換することができる。
論文 参考訳（メタデータ） (2021-06-14T13:01:46Z) - Expressivity of Parameterized and Data-driven Representations in Quality
Diversity Search [111.06379262544911]
2つの異なる検索空間で実施した品質多様性進化探索の出力多様性を比較する。
学習モデルは、未知の例への外挿や拡大よりも、既知のデータポイント間の補間が優れている。
論文 参考訳（メタデータ） (2021-05-10T10:27:43Z) - Unsupervised Text Generation by Learning from Search [86.51619839836331]
TGLSは、教師なしテキスト生成のための新しいフレームワークである。
実世界の自然言語生成タスクであるパラフレーズ生成とテキストの形式化におけるTGLSの有効性を示す。
論文 参考訳（メタデータ） (2020-07-09T04:34:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。