論文の概要: Regulating Branch Parallelism in LLM Serving

• arxiv url: http://arxiv.org/abs/2605.06914v1
• Date: Thu, 07 May 2026 20:23:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.60378
• Title: Regulating Branch Parallelism in LLM Serving
• Title（参考訳）: LLMにおける分岐並列性制御
• Authors: Swapnil Gandhi, Siva Hari, William J. Dally, Christos Kozyrakis,
• Abstract要約: 提案手法では,有意な入場が共有デコードステップを膨らませる一方で,保守的な固定キャップがスループットを抑えることを示す。 本稿では,余分な枝を余分な作業として扱うステップ単位の入場制御系TAPERを紹介する。 Qwen3-32Bでは、TAPERはIRP-Offよりも$1.77タイム、IRP-Eagerより$1.48タイム、そして95%以上のSLO獲得を維持した。
• 参考スコア（独自算出の注目度）: 1.67934489728823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent methods expose intra-request parallelism in LLM outputs, allowing independent branches to decode concurrently. Existing serving systems execute these branches eagerly or under fixed caps. We show that both are brittle: eager admission inflates the shared decode step, degrading co-batched requests in serial stages, while conservative fixed caps forgo the throughput that motivated exposing branches in the first place. We call the excess step latency caused by admitted branches the branch externality and show that the safe width depends on batch composition, context lengths, and accumulated slack, all of which change continuously over a workload trace. We introduce TAPER, a per-step admission controller that treats extra branches as opportunistic work, admitted only when the predicted branch externality fits within the batch's current slack budget. Per-step regulation is practical because branch-level scheduling decouples compute from memory: branches share the request's prefix KV, so expanding or contracting width requires no memory reclamation. On Qwen3-32B, TAPER improves goodput by $1.77\times$ over IRP-Off and by $1.48\times$ over IRP-Eager, while maintaining over $95\%$ SLO attainment.
• Abstract（参考訳）: 近年の手法では, LLM出力における要求内並列性を公開し, 独立系分岐を並列に復号化することができる。 既存のサービスシステムは、これらのブランチを積極的にあるいは固定されたキャップの下で実行します。 我々はどちらも不安定であることを示す: アテンションは共有デコードステップを膨らませ、シリアルステージでコバッチされたリクエストを劣化させ、一方、保守的な固定キャップは、最初に枝を露出させる動機となるスループットを強制する。 我々は、ブランチの外部性を認めて発生する過剰なステップレイテンシを呼び出し、安全な幅がバッチ構成、コンテキストの長さ、蓄積されたスラックに依存していることを示す。 本稿では,バッチの現在のスラック予算内に,予測されたブランチ外部性が適合する場合のみ,余分なブランチを機会的作業として扱う,ステップ単位の受け入れコントローラであるTAPERを紹介する。 ブランチレベルのスケジューリングは、メモリから計算を分離する: ブランチはリクエストのプレフィックスKVを共有するため、拡張や縮小の幅はメモリの再利用を必要としない。 Qwen3-32B では、TAPER は IRP-Off よりも $1.77\times$ と IRP-Eager よりも $1.48\times$ の改善を行った。

関連論文リスト

• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Phase Transition for Budgeted Multi-Agent Synergy [41.486076708302456]
  マルチエージェントシステムは信頼性を向上させることができるが、固定された推論予算の下では、しばしば役立つか、飽和するか、崩壊するかさえある。 我々は、現代のエージェントスタックの3つの束縛制約からこれらの状態を予測する最小限の校正可能な理論を開発する。
  論文  参考訳（メタデータ） (2026-01-24T05:32:50Z)
• Tree Training: Accelerating Agentic LLMs Training via Shared Prefix Reuse [21.642997639835396]
  本研究では,各接頭辞を1回だけ計算し,前後の両方の分岐で中間結果を再利用するパラダイムであるツリートレーニングを提案する。 複数のオープンソースモデルの実験では、総トレーニング時間を3.9倍に削減し、より効率的なLLM SFTおよびRLトレーニングを可能にした。
  論文  参考訳（メタデータ） (2025-11-01T05:56:49Z)
• Lateral Tree-of-Thoughts Surpasses ToT by Incorporating Logically-Consistent, Low-Utility Candidates [0.0]
  Lateral Tree-of-Thoughts (LToT) は、ユーティリティを論理的一貫性から分離し、低ユーティリティだが一貫した候補を無駄ではなく資産として扱うドロップインコントローラである。 LToTは、横方向の小さなプローブを非常に広い横方向のセットに広げるキャップ付き連続半減レースである、横方向レーシングと短絡(LR--SC)を介して横方向を探索する。
  論文  参考訳（メタデータ） (2025-10-01T22:23:58Z)
• Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
  推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。 これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。 現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
  論文  参考訳（メタデータ） (2025-10-01T17:08:59Z)
• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• COMPACT: Common-token Optimized Model Pruning Across Channels and Tokens [8.846552276586918]
  プルーニングは有望な手法であるが、既存のプルーニング手法は限られている。 本研究では, (i) 埋め込み/LMヘッド層を縮小するために希少な語彙を併用し, (ii) 共通トケン重み付き活性化を用いたFFN中間チャネルをプルーするCompactを提案する。 Qwen、LLaMA、Gemmaファミリ(0.5B-70B)にわたる実験では、パラメータ、GPUメモリ、レイテンシを大幅に削減した最先端のダウンストリームのパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2025-09-08T16:07:06Z)
• Branching Reinforcement Learning [16.437993672422955]
  分岐強化学習(ブランチングRL)モデルを提案する。 本稿では,Regret Minimization(RM)とReward-Free Exploration(RFE)の指標について検討する。 このモデルは階層的なレコメンデーションシステムやオンライン広告に重要な応用を見出す。
  論文  参考訳（メタデータ） (2022-02-16T11:19:03Z)
• Acting in Delayed Environments with Non-Stationary Markov Policies [57.52103323209643]
  本稿では,MDPにおける学習と計画のためのフレームワークについて紹介する。 実行が遅れると、元の状態空間における決定論的マルコフポリシーは最大報酬を得るのに十分であるが、非定常である必要があることを証明します。 我々は、状態拡張に頼らずに遅延実行タスクを解く非定常Q学習スタイルのモデルベースアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2021-01-28T13:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。