論文の概要: ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer

• arxiv url: http://arxiv.org/abs/2103.09548v1
• Date: Wed, 17 Mar 2021 10:24:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-18 13:29:27.110094
• Title: ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer
• Title（参考訳）: ENCONTER:Insertion-based Transformerによるエンティティ制約付きプログレッシブシーケンス生成
• Authors: Lee-Hsun Hsieh and Yang-Yin Lee and Ee-Peng Lim
• Abstract要約: 自己回帰型言語モデルは、厳しい語彙制約下ではうまく機能しない。 プログレッシブ挿入ベースのトランスフォーマーはこの制限を克服することができる。 Entity-constrained insertion transformer (ENCONTER) を提案する。 実験の結果,ENCONTERは他のベースラインモデルよりも性能が優れていることがわかった。
• 参考スコア（独自算出の注目度）: 11.310502327308575
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained using large amount of data, autoregressive language models are able to generate high quality sequences. However, these models do not perform well under hard lexical constraints as they lack fine control of content generation process. Progressive insertion-based transformers can overcome the above limitation and efficiently generate a sequence in parallel given some input tokens as constraint. These transformers however may fail to support hard lexical constraints as their generation process is more likely to terminate prematurely. The paper analyses such early termination problems and proposes the Entity-constrained insertion transformer (ENCONTER), a new insertion transformer that addresses the above pitfall without compromising much generation efficiency. We introduce a new training strategy that considers predefined hard lexical constraints (e.g., entities to be included in the generated sequence). Our experiments show that ENCONTER outperforms other baseline models in several performance metrics rendering it more suitable in practical applications. Our code is available at https://github.com/LARC-CMU-SMU/Enconter
• Abstract（参考訳）: 大量のデータを用いて事前訓練された自己回帰言語モデルは、高品質なシーケンスを生成することができる。 しかし,これらのモデルは,コンテンツ生成過程の微妙な制御を欠くため,厳格な語彙制約下ではうまく機能しない。 プログレッシブ挿入ベースのトランスフォーマーは上記の制限を克服し、いくつかの入力トークンを制約として、並列にシーケンスを生成する。 しかしながら、これらのトランスは、生成プロセスが早めに終了する可能性が高いため、ハードレキシカルな制約をサポートしない可能性がある。 本稿では, 早期終了問題を分析し, 生成効率を損なうことなく, 上記の落とし穴に対処する新しい挿入変圧器である Entity-Constrained insert transformer (ENCONTER) を提案する。 我々は,事前定義されたハード語彙制約(例えば,生成したシーケンスに含まれるエンティティ)を考慮した新たなトレーニング戦略を導入する。 実験の結果,エンコンターは他のベースラインモデルよりもいくつかの性能指標が優れていることがわかった。 私たちのコードはhttps://github.com/LARC-CMU-SMU/Enconterで利用可能です。

関連論文リスト

• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Repeat After Me: Transformers are Better than State Space Models at Copying [53.47717661441142]
  一般化された状態空間モデルは、推論時間効率の観点からは有望であるが、入力コンテキストからのコピーを必要とするタスクのトランスフォーマーモデルと比較して限定的であることを示す。
  論文  参考訳（メタデータ） (2024-02-01T21:44:11Z)
• Fourier Transformer: Fast Long Range Modeling by Removing Sequence Redundancy with FFT Operator [24.690247474891958]
  フーリエ変換器は、様々な大きな事前訓練されたモデルから継承する能力を維持しながら、計算コストを大幅に削減することができる。 本モデルは,長距離モデリングベンチマークLRAにおいて,トランスフォーマーベースモデル間の最先端性能を実現する。 CNN/DailyMailやELI5などのシークエンシャルなシークエンスタスクでは、BARTを継承することで、私たちのモデルは標準のBARTよりも優れています。
  論文  参考訳（メタデータ） (2023-05-24T12:33:06Z)
• Optimizing Non-Autoregressive Transformers with Contrastive Learning [74.46714706658517]
  非自己回帰変換器(NAT)は、逐次順序ではなく全ての単語を同時に予測することにより、自動回帰変換器(AT)の推論遅延を低減する。 本稿では,データ分布ではなく,モデル分布からのサンプリングによるモダリティ学習の容易化を提案する。
  論文  参考訳（メタデータ） (2023-05-23T04:20:13Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Towards More Efficient Insertion Transformer with Fractional Positional Encoding [44.45401243989363]
  自動回帰ニューラルシーケンスモデルは、テキスト生成タスクで有効であることが示されている。 左から右への復号命令は、生成が並列化されるのを防ぐ。 Insertion Transformerは、単一の生成ステップで複数のトークンを出力できる魅力的な代替手段である。
  論文  参考訳（メタデータ） (2021-12-12T18:38:27Z)
• Towards Incremental Transformers: An Empirical Analysis of Transformer Models for Incremental NLU [19.103130032967663]
  インクリメンタル処理により、対話システムは部分的な入力に基づいて応答できる。 最近の作業では、再起動と増分によってトランスフォーマーを漸進的に適用しようと試みている。 このアプローチは計算コストが高く、長いシーケンスに対して効率よくスケールしない。
  論文  参考訳（メタデータ） (2021-09-15T15:20:29Z)
• Applying the Transformer to Character-level Transduction [68.91664610425114]
  この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。 十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-05-20T17:25:43Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。