論文の概要: Nearest Neighbor Non-autoregressive Text Generation

• arxiv url: http://arxiv.org/abs/2208.12496v1
• Date: Fri, 26 Aug 2022 08:21:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-29 12:56:19.138934
• Title: Nearest Neighbor Non-autoregressive Text Generation
• Title（参考訳）: 隣接非自己回帰テキスト生成
• Authors: Ayana Niwa, Sho Takase, and Naoaki Okazaki
• Abstract要約: 非自己回帰モデル(NAR)は、自己回帰モデルよりも少ない計算量で文を生成することができるが、生成品質を犠牲にする。 本研究は,NARデコーダの初期状態として近隣住民を用いて反復的に編集することを提案する。 我々は,NARテキスト生成を改善するために,近隣住民の編集操作を学習するための新しいトレーニング戦略を提案する。
• 参考スコア（独自算出の注目度）: 19.894564926971096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Non-autoregressive (NAR) models can generate sentences with less computation than autoregressive models but sacrifice generation quality. Previous studies addressed this issue through iterative decoding. This study proposes using nearest neighbors as the initial state of an NAR decoder and editing them iteratively. We present a novel training strategy to learn the edit operations on neighbors to improve NAR text generation. Experimental results show that the proposed method (NeighborEdit) achieves higher translation quality (1.69 points higher than the vanilla Transformer) with fewer decoding iterations (one-eighteenth fewer iterations) on the JRC-Acquis En-De dataset, the common benchmark dataset for machine translation using nearest neighbors. We also confirm the effectiveness of the proposed method on a data-to-text task (WikiBio). In addition, the proposed method outperforms an NAR baseline on the WMT'14 En-De dataset. We also report analysis on neighbor examples used in the proposed method.
• Abstract（参考訳）: 非自己回帰モデル(NAR)は、自己回帰モデルよりも少ない計算で文を生成するが、生成品質を犠牲にする。 これまでの研究では、反復的な復号化によってこの問題に対処している。 本研究は,NARデコーダの初期状態として近隣住民を用いて反復的に編集することを提案する。 我々は,NARテキスト生成を改善するために,近隣住民の編集操作を学習するための新しいトレーニング戦略を提案する。 提案手法(NeighborEdit)は,近辺の機械翻訳の一般的なベンチマークデータセットであるJRC-Acquis En-Deデータセット上で,復号イテレーションを減らし,高い翻訳品質(バニラ変換器よりも1.69ポイント高い)を達成することを示す。 また,提案手法の有効性をWikiBio(Data-to-text Task)で検証した。 さらに,提案手法は,WMT'14 En-Deデータセット上でのNARベースラインよりも優れていた。 また,提案手法における隣接例の分析を行った。

関連論文リスト

• Variational Sparse Coding with Learned Thresholding [6.737133300781134]
  サンプルをしきい値にすることでスパース分布を学習できる変分スパース符号化の新しい手法を提案する。 まず,線形発生器を訓練し,その性能,統計的効率,勾配推定に優れることを示す。
  論文  参考訳（メタデータ） (2022-05-07T14:49:50Z)
• A Well-Composed Text is Half Done! Composition Sampling for Diverse Conditional Generation [79.98319703471596]
  高品質の条件付き生成のための多種多様な出力を生成するための簡易で効果的な合成サンプリング法であるコンポジションサンプリングを提案する。 これは最近提案された計画ベースのニューラルジェネレーションモデルに基づいて構築され、まず最初に出力の合成を作成し、それと入力を条件付けして生成するように訓練される。
  論文  参考訳（メタデータ） (2022-03-28T21:24:03Z)
• Step-unrolled Denoising Autoencoders for Text Generation [17.015573262373742]
  本稿では,SUNDAE(Step-unrolled Denoising Autoencoder)というテキスト生成モデルを提案する。 SUNDAEはトークンの列に繰り返し適用され、ランダムな入力から始まり、収束するまで毎回改善される。 拡散法よりも少ないイテレーションで収束する単純な改良演算子を提案する。
  論文  参考訳（メタデータ） (2021-12-13T16:00:33Z)
• HETFORMER: Heterogeneous Transformer with Sparse Attention for Long-Text Extractive Summarization [57.798070356553936]
  HETFORMERはトランスフォーマーをベースとした事前学習モデルであり、抽出要約のための多粒度スパースアテンションを持つ。 単一文書と複数文書の要約タスクの実験から,HETFORMERがルージュF1の最先端性能を達成することが示された。
  論文  参考訳（メタデータ） (2021-10-12T22:42:31Z)
• Rejuvenating Low-Frequency Words: Making the Most of Parallel Data in Non-Autoregressive Translation [98.11249019844281]
  知識蒸留(KD)は、非自己回帰翻訳(NAT)モデルを訓練するための合成データを構築するために一般的に用いられる。 低周波対象語に対するアライメントを向上するために,逆KDを提案する。 その結果,提案手法は翻訳品質を大幅に向上させることができることがわかった。
  論文  参考訳（メタデータ） (2021-06-02T02:41:40Z)
• Adaptive Nearest Neighbor Machine Translation [60.97183408140499]
  kNN-MTは、事前訓練されたニューラルネットワーク翻訳とトークンレベルのk-nearest-neighbor検索を組み合わせる。 従来のkNNアルゴリズムは、ターゲットトークンごとに同じ数の近傍を検索する。 ターゲットトークン毎のk個数を動的に決定する適応的kNN-MTを提案する。
  論文  参考訳（メタデータ） (2021-05-27T09:27:42Z)
• Improved Semantic Role Labeling using Parameterized Neighborhood Memory Adaptation [22.064890647610348]
  本稿では,アクティベーションのメモリにおける近接するトークンのパラメータ化表現を用いたパラメータ化近傍メモリ適応(PNMA)手法を提案する。 単語埋め込みの種類に関係なく,PNMAはベースモデルのSRL性能を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2020-11-29T22:51:25Z)
• Improving Text Generation with Student-Forcing Optimal Transport [122.11881937642401]
  トレーニングモードとテストモードで生成されたシーケンスに最適なトランスポート(OT)を提案する。 テキストシーケンスの構造的および文脈的情報に基づいて、OT学習を改善するための拡張も提案されている。 提案手法の有効性は,機械翻訳,テキスト要約,テキスト生成タスクにおいて検証される。
  論文  参考訳（メタデータ） (2020-10-12T19:42:25Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。