論文の概要: On Efficient Training, Controllability and Compositional Generalization of Insertion-based Language Generators

• arxiv url: http://arxiv.org/abs/2102.11008v2
• Date: Mon, 1 Mar 2021 06:12:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-05 00:37:26.441042
• Title: On Efficient Training, Controllability and Compositional Generalization of Insertion-based Language Generators
• Title（参考訳）: 挿入型言語生成器の効率的な訓練・制御性・構成一般化に関する研究
• Authors: Sidi Lu and Nanyun Peng
• Abstract要約: InsNetは挿入ベースのシーケンスモデルで、トランスフォーマーデコーダと同じくらい効率的にトレーニングできる。 InsNetのストーリー生成とCleVR-CoGENTキャプションの評価を行った。
• 参考スコア（独自算出の注目度）: 18.98725770517241
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Auto-regressive language models with the left-to-right generation order have been a predominant paradigm for language generation. Recently, out-of-order text generation beyond the traditional left-to-right paradigm has attracted extensive attention, with a notable variation of insertion-based generation, where a model is used to gradually extend the context into a complete sentence purely with insertion operations. However, since insertion operations disturb the position information of each token, it is often believed that each step of the insertion-based likelihood estimation requires a bi-directional \textit{re-encoding} of the whole generated sequence. This computational overhead prohibits the model from scaling up to generate long, diverse texts such as stories, news articles, and reports. To address this issue, we propose InsNet, an insertion-based sequence model that can be trained as efficiently as traditional transformer decoders while maintaining the same performance as that with a bi-directional context encoder. We evaluate InsNet on story generation and CleVR-CoGENT captioning, showing the advantages of InsNet in several dimensions, including computational costs, generation quality, the ability to perfectly incorporate lexical controls, and better compositional generalization.
• Abstract（参考訳）: 左から右への世代順を持つ自動回帰型言語モデルは、言語生成の主要なパラダイムである。 近年,従来の左から右へのパラダイムを超越したアウト・オブ・オーダーテキスト生成が注目され,挿入ベース生成の顕著な変化がみられた。 しかし、挿入操作は各トークンの位置情報を妨害するため、挿入に基づく推定のそれぞれのステップは生成シーケンス全体の双方向な \textit{re-encoding} を必要とするとしばしば信じられている。 この計算オーバーヘッドは、物語、ニュース記事、レポートなど、長く多様なテキストを生成するためにモデルをスケールアップすることを妨げる。 そこで本稿では,従来のトランスフォーマーデコーダと同等の性能を両方向コンテクストエンコーダで維持しつつ,効率的に訓練できるインサートベースシーケンスモデルであるinsnetを提案する。 insnet のストーリー生成と clevr-cogent キャプションを評価し,計算コスト,生成品質,語彙制御を完全に組み込む能力,構成の一般化など,insnet の利点を数次元で示した。

関連論文リスト

• Self-Infilling Code Generation [60.12883980846781]
  自動回帰デコードにインフィル操作を組み込んだ汎用フレームワークであるセルフインフィルコード生成を導入する。 我々は,従来の復号化において,新しい割り込みとループ機構を導入するために,この機能を利用する。 提案する復号処理は,複数のコード生成ベンチマークにおける正規性と品質の向上に有効である。
  論文  参考訳（メタデータ） (2023-11-29T16:02:06Z)
• Efficient Guided Generation for Large Language Models [0.21485350418225244]
  本稿では, 有限状態マシンの状態間の遷移の観点から, ニューラルテキスト生成の問題を構成的に再構成する方法を示す。 このフレームワークは、正規表現と文脈自由文法でテキスト生成を導くための効率的なアプローチをもたらす。
  論文  参考訳（メタデータ） (2023-07-19T01:14:49Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• Real-World Compositional Generalization with Disentangled Sequence-to-Sequence Learning [81.24269148865555]
  最近提案されたDunangled sequence-to-sequence model (Dangle)は、有望な一般化能力を示している。 このモデルに2つの重要な変更を加え、より不整合表現を奨励し、その計算とメモリ効率を改善する。 具体的には、各タイミングでソースキーと値を適応的に再エンコードするのではなく、表現をアンタングルし、キーを定期的に再エンコードする。
  論文  参考訳（メタデータ） (2022-12-12T15:40:30Z)
• Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
  木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。 その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-30T12:27:48Z)
• Twist Decoding: Diverse Generators Guide Each Other [116.20780037268801]
  様々なモデルの恩恵を受けながらテキストを生成するシンプルで一般的な推論アルゴリズムであるTwist decodingを導入する。 我々の方法は、語彙、トークン化、あるいは生成順序が共有されていると仮定しない。
  論文  参考訳（メタデータ） (2022-05-19T01:27:53Z)
• DiscoDVT: Generating Long Text with Discourse-Aware Discrete Variational Transformer [40.10695204278747]
  本稿では,不整合問題に対処する談話対応離散変分変換器DiscoDVTを提案する。 本研究では、2つのオープンなストーリー生成データセットについて広範な実験を行い、より長い範囲のコヒーレンスを持つ長文を生成するためにモデルを導く談話構造に対して有意義な対応を学習していることを示す。
  論文  参考訳（メタデータ） (2021-10-12T13:41:06Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。