論文の概要: Pipelined Decoder for Efficient Context-Aware Text Generation

• arxiv url: http://arxiv.org/abs/2506.23431v1
• Date: Sun, 29 Jun 2025 23:37:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-01 21:27:53.872292
• Title: Pipelined Decoder for Efficient Context-Aware Text Generation
• Title（参考訳）: 効率的な文脈認識テキスト生成のためのパイプラインデコーダ
• Authors: Zixian Huang, Chenxu Niu, Yu Gu, Gengyang Xiao, Xinwei Huang, Gong Cheng,
• Abstract要約: 自己回帰モデルは、以前に生成されたすべてのトークンに依存する新しいトークンを生成する必要がある。 本稿では,コンテキスト認識タスクに対して,テキストを効率的に並列に生成するデコーダアーキテクチャを提案する。
• 参考スコア（独自算出の注目度）: 10.156322390341478
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As the basis of generative AI, an autoregressive model requires the generation of a new token depending on all the previously generated tokens, which brings high quality but also restricts the model to generate tokens one by one, forming a bottleneck limiting the generation speed. In this paper, we propose a new decoder architecture that efficiently generates text in parallel for context-aware generation tasks. Our proposed pipelined decoder initiates the generation of multiple subsequences simultaneously, and, at each time-step, it generates a new token for each subsequence to realize parallelism. Experiments on multiple text generation tasks, including question answering, text summarization, and keyphrase generation, show that our pipelined decoder significantly improves the generation speed without a significant loss of generation quality or additional memory consumption.
• Abstract（参考訳）: 生成AIの基盤として、自己回帰モデルは、前述したすべてのトークンに依存する新しいトークンの生成を必要とする。 本稿では,コンテキスト認識タスクに対して,テキストを効率的に並列に生成するデコーダアーキテクチャを提案する。 提案するパイプラインデコーダは,複数のサブシーケンスを同時に生成し,各タイミングで並列性を実現するために,各サブシーケンスに対して新しいトークンを生成する。 質問応答,テキスト要約,キーフレーズ生成など,複数のテキスト生成タスクの実験から,パイプラインデコーダが生成品質を著しく低下させることなく生成速度を大幅に向上させることを示す。

関連論文リスト

• AdaDecode: Accelerating LLM Decoding with Adaptive Layer Parallelism [17.858104076062897]
  大規模言語モデル (LLM) は、長いコンテンツ生成にますます使われている。 補助モデルや元のモデルパラメータの変更を必要とせずにデコーディングを高速化するAdaDecodeを提案する。 AdaDecodeは最大1.73倍のスピードアップで優れた復号処理を実現している。
  論文  参考訳（メタデータ） (2025-06-04T08:32:30Z)
• Hierarchical Skip Decoding for Efficient Autoregressive Text Generation [9.16858904192541]
  本稿では,効率的な自己回帰テキスト生成のための階層型スキップ復号法(HSD)を提案する。 ほぼ半分のレイヤがスキップされているため、HSDはバニラの自動回帰デコードに比べてテキスト品質の90%を維持できる。
  論文  参考訳（メタデータ） (2024-03-22T02:44:05Z)
• Self-Infilling Code Generation [60.12883980846781]
  自動回帰デコードにインフィル操作を組み込んだ汎用フレームワークであるセルフインフィルコード生成を導入する。 我々は,従来の復号化において,新しい割り込みとループ機構を導入するために,この機能を利用する。 提案する復号処理は,複数のコード生成ベンチマークにおける正規性と品質の向上に有効である。
  論文  参考訳（メタデータ） (2023-11-29T16:02:06Z)
• FastFit: Towards Real-Time Iterative Neural Vocoder by Replacing U-Net Encoder With Multiple STFTs [1.8047694351309207]
  FastFitは、U-Netエンコーダを複数の短時間フーリエ変換(STFT)に置き換える新しいニューラルボコーダアーキテクチャである。 我々は,FastFitが高音質を維持しつつ,ベースラインベースボコーダの生成速度を約2倍に向上することを示す。
  論文  参考訳（メタデータ） (2023-05-18T09:05:17Z)
• SeqDiffuSeq: Text Diffusion with Encoder-Decoder Transformers [50.90457644954857]
  本研究では,拡散モデルを用いてシーケンス・ツー・シーケンスのテキスト生成を行う。 シーケンス・ツー・シーケンス生成のためのテキスト拡散モデルであるSeqDiffuSeqを提案する。 実験結果は、テキストの品質と推論時間の観点から、シーケンス・ツー・シーケンス生成の優れた性能を示す。
  論文  参考訳（メタデータ） (2022-12-20T15:16:24Z)
• Towards Generating Real-World Time Series Data [52.51620668470388]
  時系列データ生成のための新しい生成フレームワーク - RTSGANを提案する。 RTSGANは、時系列インスタンスと固定次元潜在ベクトルの間のマッピングを提供するエンコーダデコーダモジュールを学習する。 不足した値の時系列を生成するために、RTSGANに観測埋め込み層と決定・生成デコーダを更に装備する。
  論文  参考訳（メタデータ） (2021-11-16T11:31:37Z)
• Parallel Refinements for Lexically Constrained Text Generation with BART [0.0]
  語彙制約付きテキスト生成のための制約付きBART(CBART)を提案する。 CBARTは、このタスクを2つのサブタスクに分解することで、デコーダからエンコーダに生成負荷の一部を転送し、文質を向上させる。 One-Billion-WordとYelpの実験結果によると、CBARTは高い品質と多様性を持つ可塑性テキストを生成できるが、推論は著しく加速する。
  論文  参考訳（メタデータ） (2021-09-26T03:56:45Z)
• Cascaded Text Generation with Markov Transformers [122.76100449018061]
  ニューラルテキスト生成における2つの主要なアプローチは、シリアルビームサーチデコーディングを使用した完全自己回帰モデルと、出力依存のない並列デコーディングを使用した非自己回帰モデルである。 本稿では,境界付きコンテキストを持つ条件付きランダムフィールドを並列にデコードできることに言及し,高品質な出力を生成するための効率的なカスケードデコード手法を提案する。 このアプローチでは,5つの機械翻訳データセットの既存の手法と比較して,競争力のある精度と速度のトレードオフを示す一方で,標準的な自己回帰トレーニングからのわずかな変更しか必要としない。
  論文  参考訳（メタデータ） (2020-06-01T17:52:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。