論文の概要: A Survey on Parallel Text Generation: From Parallel Decoding to Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2508.08712v2
• Date: Wed, 13 Aug 2025 13:24:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-14 14:06:00.573174
• Title: A Survey on Parallel Text Generation: From Parallel Decoding to Diffusion Language Models
• Title（参考訳）: 並列テキスト生成に関する調査:並列復号化から拡散言語モデルへ
• Authors: Lingzhe Zhang, Liancheng Fang, Chiming Duan, Minghua He, Leyi Pan, Pei Xiao, Shiyu Huang, Yunpeng Zhai, Xuming Hu, Philip S. Yu, Aiwei Liu,
• Abstract要約: トークン・バイ・トークン生成のボトルネックを破り、推論効率を向上させることを目的とした並列テキスト生成技術。 既存のアプローチをARベースのパラダイムと非ARベースのパラダイムに分類し、各カテゴリの中核技術について詳細に検討する。 我々は、最近の進歩を強調し、オープンな課題を特定し、並列テキスト生成における将来的な研究の方向性を概説する。
• 参考スコア（独自算出の注目度）: 49.97547209846335
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As text generation has become a core capability of modern Large Language Models (LLMs), it underpins a wide range of downstream applications. However, most existing LLMs rely on autoregressive (AR) generation, producing one token at a time based on previously generated context-resulting in limited generation speed due to the inherently sequential nature of the process. To address this challenge, an increasing number of researchers have begun exploring parallel text generation-a broad class of techniques aimed at breaking the token-by-token generation bottleneck and improving inference efficiency. Despite growing interest, there remains a lack of comprehensive analysis on what specific techniques constitute parallel text generation and how they improve inference performance. To bridge this gap, we present a systematic survey of parallel text generation methods. We categorize existing approaches into AR-based and Non-AR-based paradigms, and provide a detailed examination of the core techniques within each category. Following this taxonomy, we assess their theoretical trade-offs in terms of speed, quality, and efficiency, and examine their potential for combination and comparison with alternative acceleration strategies. Finally, based on our findings, we highlight recent advancements, identify open challenges, and outline promising directions for future research in parallel text generation. We have also created a GitHub repository for indexing relevant papers and open resources available at https://github.com/zhanglingzhe0820/Awesome-Parallel-Text-Generation.
• Abstract（参考訳）: テキスト生成が現代のLarge Language Models (LLM) のコア機能となっているため、幅広い下流アプリケーションを支える。 しかし、ほとんどの既存のLCMは自己回帰(AR)生成に依存しており、プロセスの本質的にシーケンシャルな性質のため、以前に生成されたコンテキスト置換に基づいて1つのトークンを同時に生成する。 この課題に対処するため、トークン・バイ・トークン生成のボトルネックを突破し、推論効率を向上させるための幅広い手法である、並列テキスト生成を探求する研究者が増えている。 関心が高まりつつあるにもかかわらず、特定のテクニックが並列テキスト生成を構成するのか、どのように推論性能を改善するのか、包括的な分析はいまだに残っていない。 このギャップを埋めるために,並列テキスト生成手法を体系的に調査する。 既存のアプローチをARベースのパラダイムと非ARベースのパラダイムに分類し、各カテゴリの中核技術について詳細に検討する。 この分類に続き、速度、品質、効率の観点から理論上のトレードオフを評価し、代替加速戦略と組み合わせて比較する可能性を検討する。 最後に,本研究の成果を踏まえて,最近の進歩を強調し,オープン課題を特定し,並列テキスト生成における今後の研究の方向性を概説する。 また、関連する論文やオープンリソースをインデックスするGitHubリポジトリをhttps://github.com/zhanglingzhe0820/Awesome-Parallel-Text-Generation.comで作成しました。

関連論文リスト

• LSR-MCTS: Alleviating Long Range Dependency in Code Generation [42.10272627826627]
  大規模言語モデル(LLM)は、コード生成タスクの開発を著しく促進している。 本稿では,MCTS を利用した textbfLSR-MCTS アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:03:25Z)
• A Comprehensive Survey of Accelerated Generation Techniques in Large Language Models [2.091322528026356]
  本稿では,自己回帰言語モデルにおける高速化手法について調査する。 我々はこれらの手法を,投機的復号化,早期退避機構,非自己回帰手法の4つの重要な領域に分類する。
  論文  参考訳（メタデータ） (2024-05-15T07:36:56Z)
• Evaluating, Understanding, and Improving Constrained Text Generation for Large Language Models [49.74036826946397]
  本研究では,大言語モデル(LLM)の制約付きテキスト生成について検討する。 本研究は主に,制約を語彙型,構造型,関係型に分類するオープンソース LLM に重点を置いている。 その結果、LLMの能力と不足を照らし、制約を取り入れ、制約付きテキスト生成における将来の発展に対する洞察を提供する。
  論文  参考訳（メタデータ） (2023-10-25T03:58:49Z)
• Learning to Rank in Generative Retrieval [62.91492903161522]
  生成的検索は、検索対象として関連する通路の識別子文字列を生成することを目的としている。 我々はLTRGRと呼ばれる生成検索のための学習 torankフレームワークを提案する。 このフレームワークは、現在の生成的検索システムを強化するために、追加の学習からランクまでのトレーニングフェーズのみを必要とする。
  論文  参考訳（メタデータ） (2023-06-27T05:48:14Z)
• $\textit{latent}$-GLAT: Glancing at Latent Variables for Parallel Text Generation [65.29170569821093]
  並列テキスト生成は、ジェネレーション効率の成功により、広く注目を集めています。 本稿では,単語分類情報を取得するために,離散潜在変数を用いた$textitlatent$-GLATを提案する。 実験結果から,本手法は自己回帰モデルを用いることなく,強いベースラインを達成できることが示唆された。
  論文  参考訳（メタデータ） (2022-04-05T07:34:12Z)
• A Survey on Retrieval-Augmented Text Generation [53.04991859796971]
  Retrieval-augmented text generationは顕著な利点があり、多くのNLPタスクで最先端のパフォーマンスを実現している。 まず、検索拡張生成の一般的なパラダイムを強調し、異なるタスクに応じて注目すべきアプローチをレビューする。
  論文  参考訳（メタデータ） (2022-02-02T16:18:41Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。