論文の概要: Cascaded Text Generation with Markov Transformers
- arxiv url: http://arxiv.org/abs/2006.01112v2
- Date: Sat, 5 Dec 2020 05:26:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-26 05:48:00.341351
- Title: Cascaded Text Generation with Markov Transformers
- Title(参考訳): マルコフ変換器を用いたカスケードテキスト生成
- Authors: Yuntian Deng, Alexander M. Rush
- Abstract要約: ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。
本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。
このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
- 参考スコア(独自算出の注目度): 122.76100449018061
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The two dominant approaches to neural text generation are fully
autoregressive models, using serial beam search decoding, and
non-autoregressive models, using parallel decoding with no output dependencies.
This work proposes an autoregressive model with sub-linear parallel time
generation. Noting that conditional random fields with bounded context can be
decoded in parallel, we propose an efficient cascaded decoding approach for
generating high-quality output. To parameterize this cascade, we introduce a
Markov transformer, a variant of the popular fully autoregressive model that
allows us to simultaneously decode with specific autoregressive context
cutoffs. This approach requires only a small modification from standard
autoregressive training, while showing competitive accuracy/speed tradeoff
compared to existing methods on five machine translation datasets.
- Abstract(参考訳): ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用する完全自己回帰モデルと、出力依存のない並列デコーディングを使用する非自己回帰モデルである。
本研究は,部分線形並列時間生成を持つ自己回帰モデルを提案する。
コンテキスト境界を持つ条件付き確率場を並列にデコードできることに注目し,高品質な出力を生成するための効率的なカスケード復号法を提案する。
このカスケードをパラメータ化するために、マルコフ変換器(Markov transformer)を導入する。これは、一般的な完全自己回帰モデルの変種で、特定の自己回帰的コンテキストカットオフで同時にデコードできる。
このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからわずかに修正するだけでよい。
関連論文リスト
- Non-autoregressive Sequence-to-Sequence Vision-Language Models [63.77614880533488]
本稿では,デコーダ内の複数の推論経路をマージする並列デコードシーケンス・ツー・シーケンス・ビジョン言語モデルを提案する。
このモデルは最先端の自己回帰モデルと同等のパフォーマンスを実現するが、推論時間では高速である。
論文 参考訳(メタデータ) (2024-03-04T17:34:59Z) - Hierarchical Attention Encoder Decoder [2.4366811507669115]
自己回帰モデリングは、多くの実世界の応用を持つ複雑で斬新なシーケンスを生成することができる。
これらのモデルはアウトプットを自動回帰的に生成しなければなりません。
階層型リカレントデコーダアーキテクチャに基づくモデルを提案する。
論文 参考訳(メタデータ) (2023-06-01T18:17:23Z) - Accelerating Transformer Inference for Translation via Parallel Decoding [2.89306442817912]
自動回帰復号化は機械翻訳(MT)における変圧器の効率を制限する
並列デコーディングアルゴリズムを3つ提示し、異なる言語やモデルでテストする。
論文 参考訳(メタデータ) (2023-05-17T17:57:34Z) - Fast Inference from Transformers via Speculative Decoding [3.950600027250452]
Transformersのような大規模な自己回帰モデルからの推論は遅く、Kトークンの復号化はモデルのKシリアル実行を伴います。
本研究では,複数のトークンを並列に計算することで,自動回帰モデルから高速にサンプリングするアルゴリズムである投機的復号化を導入する。
論文 参考訳(メタデータ) (2022-11-30T17:33:28Z) - Regression Transformer: Concurrent Conditional Generation and Regression
by Blending Numerical and Textual Tokens [3.421506449201873]
Regression Transformer (RT)は、数値トークンのシーケンスとして連続プロパティをキャストし、それらを従来のトークンと共同でエンコードする。
我々はXLNetの目的に対するいくつかの拡張を提案し、プロパティ予測と条件テキスト生成を同時に最適化する交互トレーニングスキームを採用する。
このことは、特にプロパティ駆動で、化学またはタンパク質空間の局所的な探索に応用される。
論文 参考訳(メタデータ) (2022-02-01T08:57:31Z) - Non-Autoregressive Translation by Learning Target Categorical Codes [59.840510037250944]
本論文では,非回帰型復号法に潜在変数として暗黙的に分類符号を学習するCNATを提案する。
実験の結果,本モデルは機械翻訳タスクにおいて同等あるいは優れた性能が得られることがわかった。
論文 参考訳(メタデータ) (2021-03-21T14:12:34Z) - POINTER: Constrained Progressive Text Generation via Insertion-based
Generative Pre-training [93.79766670391618]
ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。
提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。
結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
論文 参考訳(メタデータ) (2020-05-01T18:11:54Z) - Improve Variational Autoencoder for Text Generationwith Discrete Latent
Bottleneck [52.08901549360262]
変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。
VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。
よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
論文 参考訳(メタデータ) (2020-04-22T14:41:37Z) - Non-Autoregressive Machine Translation with Disentangled Context
Transformer [70.95181466892795]
最先端のニューラルネットワーク翻訳モデルは、左から右への翻訳を生成し、各ステップは以前に生成されたトークンに条件付けされる。
本研究では,異なるコンテキストのトークンを同時に生成するDisentangled Context (DisCo) 変換器を提案する。
本モデルでは,非自己回帰型機械翻訳技術と比較して性能が向上する一方,デコーディング時間の平均は大幅に減少する。
論文 参考訳(メタデータ) (2020-01-15T05:32:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。