論文の概要: Intra-Prompt Parallel Decoding for Common-Context Question Answering

• arxiv url: http://arxiv.org/abs/2609.05707v1
• Date: Fri, 04 Sep 2026 20:25:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 12:50:16.279151
• Title: Intra-Prompt Parallel Decoding for Common-Context Question Answering
• Title（参考訳）: 共通文脈質問応答のためのプロンプト内並列デコード
• Abstract要約: Intra-Prompt Parallel Decoding (IPPD) は、単一のプロンプト内で複数の共通コンテキスト問題に並列に答える新しい推論手法である。 IPPDは、注意プロセス中にメモリと計算の両方を効率的に共有することで、ボトルネックに対処する。 IPPDは、品質劣化のない効果的なスループット標準デコーディングを最大7倍提供します。
• 参考スコア（独自算出の注目度）: 19.462297971524233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In common-context question answering (CCQA) tasks, multiple input questions share a common context to base their answers from. However, Large Language Models typically generate each answer using an independent prompt. While existing batching and caching techniques help improve parallelism and reduce repeated computations, the separation of questions across prompts limits the achievable speedup, as modern GPUs are underutilized due to a memory bottleneck during attention. We present Intra-Prompt Parallel Decoding (IPPD), a novel inference method that answers multiple common-context questions in parallel within a single prompt. IPPD directly addresses the bottleneck by efficiently sharing both memory and computation during the attention process, as the next token for every question is decoded in a single inference step. IPPD uses virtual position IDs and attention mask manipulation to generate the same output as standard prompting without requiring fine-tuning or any changes to the LLM architecture. Since all parallelism occurs within a prompt, IPPD is fully compatible with batched inference, even when each prompt features a different context. Our experiments show that IPPD delivers up to 7X the effective throughput as standard decoding without quality degradation, and outperforms prefix caching with PagedAttention in most settings.
• Abstract（参考訳）: 共通コンテキスト質問応答(CCQA)タスクでは、複数の入力質問が共通のコンテキストを共有して回答をベースとする。 しかし、大言語モデルは通常、独立したプロンプトを使用して各回答を生成する。 既存のバッチ処理とキャッシュ技術は並列性の向上と繰り返し計算の削減に有効だが、現代のGPUは注目中のメモリボトルネックのために利用されていないため、プロンプト間の質問の分離は達成可能なスピードアップを制限している。 本稿では,複数の共通文問合せを1つのプロンプト内で並列に答える新しい推論手法であるIPPDを提案する。 IPPDは、すべての質問に対する次のトークンが単一の推論ステップでデコードされるので、注意プロセス中にメモリと計算の両方を効率的に共有することで、ボトルネックに直接対処する。 IPPDは仮想位置IDとアテンションマスク操作を使用して、微調整やLLMアーキテクチャの変更を必要とせず、標準のプロンプトと同じ出力を生成する。 全ての並列性はプロンプト内で発生するため、IPPDはバッチ推論と完全に互換性がある。 実験の結果,IPPDは品質劣化のない標準的なデコーディングのスループットを最大7倍に向上し,ほとんどの設定でPagedAttentionでプレフィックスキャッシュよりも優れていた。

関連論文リスト

• BASP: Communication-Efficient Batch-Aware Sequence Parallelism for LLM Training [0.48127184936824546]
  BASP(Batch-Aware Sequence Parallelism)は、バッチ構造を利用して通信オーバーヘッドを削減するシーケンス並列化手法である。 BASPは、マイクロバッチサイズに応じて分離されたシーケンス並列グループに分割することで、バッチ構造を利用する。 NVIDIA A100クラスタの実験結果によると、BASPはエンドツーエンドのトレーニング時間を最大1.17～1.31倍改善している。
  論文  参考訳（メタデータ） (2026-09-02T20:33:23Z)
• Learning to Share: Selective Memory for Efficient Parallel Agentic Systems [49.78267008828593]
  エージェントシステムは、反復的に推論する複数のエージェントを調整することで複雑なタスクを解決し、ツールを呼び出し、中間結果を交換する。 最近のアプローチでは、さまざまな推論の軌跡を探索するために、複数のエージェントチームが並行して運用されている。 我々は並列エージェントフレームワークのための学習された共有メモリ機構であるLearning to Share (LTS)を提案する。
  論文  参考訳（メタデータ） (2026-02-05T18:20:21Z)
• ASPD: Unlocking Adaptive Serial-Parallel Decoding by Exploring Intrinsic Parallelism in LLMs [34.477777651648914]
  大規模言語モデル(LLM)は、自動回帰デコードパラダイムのため、推論遅延の大きな問題を生じさせる。 本稿では、並列化可能なデータの自動構築と効率的な並列化機構の2つの課題に対処する適応シリアル-パラレルデコーディング(ASPD)を提案する。 我々のフレームワークは、効率的なLCM並列推論のための基盤となるベンチマークを設定し、AIによるカスタマーサービスボットや回答検索エンジンのようなレイテンシに敏感なアプリケーションへのデプロイの道を開く。
  論文  参考訳（メタデータ） (2025-08-12T12:35:55Z)
• LLM Serving Optimization with Variable Prefill and Decode Lengths [6.937936394246354]
  本研究では,各要求が不均一なプレフィルとデコード長を持つLLM要求(Large Language Model)を提供する問題について検討する。 この問題は、配置制約の相互運用、優先関係、メモリ使用量の線形増加などによりNPハードであることが示される。 本稿では,時間とともに効率よくバッチを生成する新しい選択基準に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-08-08T08:54:21Z)
• ONLY: One-Layer Intervention Sufficiently Mitigates Hallucinations in Large Vision-Language Models [67.75439511654078]
  LVLM(Large Vision-Language Models)は、テキスト応答による画像入力の理解と推論のための新しいパラダイムを導入している。 彼らは幻覚という永続的な課題に直面しており、現実のアプリケーションに信頼性のあるデプロイを行うことについて懸念を抱き、実践的な弱点をもたらしている。 OnLYは,1つのクエリと1層の介入しか必要とせず,効率的なリアルタイムデプロイメントを実現するためのトレーニング不要なデコーディング手法である。
  論文  参考訳（メタデータ） (2025-07-01T16:01:08Z)
• Accelerate Parallelizable Reasoning via Parallel Decoding within One Sequence [4.044294432478243]
  推論プロセスを加速するために、特定のタスクの固有の並列化性を活用します。 提案手法は,解答品質を維持しつつ,デコードにおける最大100%の高速化を実現する。
  論文  参考訳（メタデータ） (2025-03-26T13:28:57Z)
• APB: Accelerating Distributed Long-Context Inference by Passing Compressed Context Blocks across GPUs [81.5049387116454]
  我々は、効率的な長文推論フレームワークであるAPBを紹介する。 APBはプリフィル速度を高めるためにマルチホスト近似アテンションを使用する。 APBはFlashAttn、RingAttn、StarAttnと比較して最大9.2x、4.2x、1.6xの速度を実現している。
  論文  参考訳（メタデータ） (2025-02-17T17:59:56Z)
• Fast Chain-of-Thought: A Glance of Future from Parallel Decoding Leads to Answers Faster [61.83949316226113]
  FastCoTは並列デコーディングに基づくモデルに依存しないフレームワークである。 我々は、FastCoTが通常のアプローチと比較して、無視できる性能低下だけで、推論時間を20%近く削減できることを示します。
  論文  参考訳（メタデータ） (2023-11-14T15:56:18Z)
• QParallel: Explicit Parallelism for Programming Quantum Computers [62.10004571940546]
  並列量子プログラミングのための言語拡張を提案する。 QParallelは、現在の量子プログラミング言語における並列性に関する曖昧さを取り除く。 並列化によって最も利益を上げるサブルーチンを識別し,並列領域の配置にプログラマを誘導するツールを提案する。
  論文  参考訳（メタデータ） (2022-10-07T16:35:16Z)
• Fast and Complete: Enabling Complete Neural Network Verification with Rapid and Massively Parallel Incomplete Verifiers [112.23981192818721]
  BaB プロセス中に線形計画法 (LP) を置き換えるために, 逆モード線形緩和に基づく解析法 (LiRPA) を提案する。 LPとは異なり、LiRPAを適用すると、より弱い境界が得られ、分割時にサブドメインのコンフリクトをチェックすることもできない。 既存のLPベースのアプローチと比較して、桁違いのスピードアップを示す。
  論文  参考訳（メタデータ） (2020-11-27T16:42:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。