論文の概要: Towards More Efficient Insertion Transformer with Fractional Positional Encoding

• arxiv url: http://arxiv.org/abs/2112.06295v1
• Date: Sun, 12 Dec 2021 18:38:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-15 08:07:41.081445
• Title: Towards More Efficient Insertion Transformer with Fractional Positional Encoding
• Title（参考訳）: 分数位置符号化によるより効率的な挿入変圧器の開発
• Authors: Zhisong Zhang, Yizhe Zhang, Bill Dolan
• Abstract要約: 自動回帰ニューラルシーケンスモデルは、テキスト生成タスクで有効であることが示されている。 左から右への復号命令は、生成が並列化されるのを防ぐ。 Insertion Transformerは、単一の生成ステップで複数のトークンを出力できる魅力的な代替手段である。
• 参考スコア（独自算出の注目度）: 44.45401243989363
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Auto-regressive neural sequence models have been shown to be effective across text generation tasks. However, their left-to-right decoding order prevents generation from being parallelized. Insertion Transformer (Stern et al., 2019) is an attractive alternative that allows outputting multiple tokens in a single generation step. Nevertheless, due to the incompatibility of absolute positional encoding and insertion-based generation schemes, it needs to refresh the encoding of every token in the generated partial hypotheses at each step, which could be costly. We design a novel incremental positional encoding scheme for insertion transformers called Fractional Positional Encoding (FPE), which allows reusing representations calculated in previous steps. Empirical studies on various language generation tasks demonstrate the effectiveness of FPE, which leads to reduction of floating point operations and latency improvements on batched decoding.
• Abstract（参考訳）: 自動回帰ニューラルシーケンスモデルは、テキスト生成タスクで有効であることが示されている。 しかし、その左から右への復号順序は生成の並列化を防ぐ。 Insertion Transformer (Stern et al., 2019)は、1世代で複数のトークンを出力できる魅力的な代替手段だ。 それでも、絶対的な位置エンコーディングと挿入ベースの生成スキームの不整合のため、各ステップで生成された部分仮説における全てのトークンのエンコーディングをリフレッシュする必要がある。 我々はFPE(Fractional Positional Encoding)と呼ばれる挿入変換器のための新しいインクリメンタルな位置符号化方式を設計する。 様々な言語生成タスクに関する実証研究は、FPEの有効性を実証し、浮動小数点演算の削減とバッチデコーディングの遅延改善につながった。

関連論文リスト

• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• Self-Infilling Code Generation [60.12883980846781]
  自動回帰デコードにインフィル操作を組み込んだ汎用フレームワークであるセルフインフィルコード生成を導入する。 我々は,従来の復号化において,新しい割り込みとループ機構を導入するために,この機能を利用する。 提案する復号処理は,複数のコード生成ベンチマークにおける正規性と品質の向上に有効である。
  論文  参考訳（メタデータ） (2023-11-29T16:02:06Z)
• LAIT: Efficient Multi-Segment Encoding in Transformers with Layer-Adjustable Interaction [31.895986544484206]
  変換器(LAIT)における層間相互作用について紹介する。 LAIT内では、セグメント化された入力は、まず独立に符号化され、次に共同で符号化される。 LAITは高い精度を保ちながら、多くのタスクにおけるFLOPの30～50%の注意を減らすことができる。
  論文  参考訳（メタデータ） (2023-05-31T06:09:59Z)
• Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
  木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。 その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-30T12:27:48Z)
• Demystifying the Better Performance of Position Encoding Variants for Transformer [12.503079503907989]
  トランスフォーマーモデルに位置とセグメントをエンコードする方法を示します。 提案手法は、GLUE, XTREME, WMTベンチマークのSOTAと同等に実行し、コストを節約する。
  論文  参考訳（メタデータ） (2021-04-18T03:44:57Z)
• ENCONTER: Entity Constrained Progressive Sequence Generation via Insertion-based Transformer [11.310502327308575]
  自己回帰型言語モデルは、厳しい語彙制約下ではうまく機能しない。 プログレッシブ挿入ベースのトランスフォーマーはこの制限を克服することができる。 Entity-constrained insertion transformer (ENCONTER) を提案する。 実験の結果,ENCONTERは他のベースラインモデルよりも性能が優れていることがわかった。
  論文  参考訳（メタデータ） (2021-03-17T10:24:10Z)
• On Efficient Training, Controllability and Compositional Generalization of Insertion-based Language Generators [18.98725770517241]
  InsNetは挿入ベースのシーケンスモデルで、トランスフォーマーデコーダと同じくらい効率的にトレーニングできる。 InsNetのストーリー生成とCleVR-CoGENTキャプションの評価を行った。
  論文  参考訳（メタデータ） (2021-02-12T11:05:02Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)
• Addressing Some Limitations of Transformers with Feedback Memory [51.94640029417114]
  トランスフォーマーは、フィードフォワードネットワークであるにもかかわらず、シーケンシャルな自動回帰タスクにうまく適用されている。 本稿では、過去のすべての表現を将来のすべての表現に公開する、フィードバックトランスフォーマーアーキテクチャを提案する。 言語モデリング、機械翻訳、強化学習の様々なベンチマークにおいて、表現能力の増大は、同等のトランスフォーマーよりもはるかに強力なパフォーマンスを持つ、小さくて浅いモデルを生成することができることを実証する。
  論文  参考訳（メタデータ） (2020-02-21T16:37:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。