論文の概要: Regulating Branch Parallelism in LLM Serving

• arxiv url: http://arxiv.org/abs/2605.06914v1
• Date: Thu, 07 May 2026 20:23:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.60378
• Title: Regulating Branch Parallelism in LLM Serving
• Title（参考訳）: LLMにおける分岐並列性制御
• Abstract要約: 提案手法では,有意な入場が共有デコードステップを膨らませる一方で,保守的な固定キャップがスループットを抑えることを示す。 本稿では,余分な枝を余分な作業として扱うステップ単位の入場制御系TAPERを紹介する。 Qwen3-32Bでは、TAPERはIRP-Offよりも$1.77タイム、IRP-Eagerより$1.48タイム、そして95%以上のSLO獲得を維持した。
• 参考スコア（独自算出の注目度）: 1.67934489728823
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent methods expose intra-request parallelism in LLM outputs, allowing independent branches to decode concurrently. Existing serving systems execute these branches eagerly or under fixed caps. We show that both are brittle: eager admission inflates the shared decode step, degrading co-batched requests in serial stages, while conservative fixed caps forgo the throughput that motivated exposing branches in the first place. We call the excess step latency caused by admitted branches the branch externality and show that the safe width depends on batch composition, context lengths, and accumulated slack, all of which change continuously over a workload trace. We introduce TAPER, a per-step admission controller that treats extra branches as opportunistic work, admitted only when the predicted branch externality fits within the batch's current slack budget. Per-step regulation is practical because branch-level scheduling decouples compute from memory: branches share the request's prefix KV, so expanding or contracting width requires no memory reclamation. On Qwen3-32B, TAPER improves goodput by $1.77\times$ over IRP-Off and by $1.48\times$ over IRP-Eager, while maintaining over $95\%$ SLO attainment.
• Abstract（参考訳）: 近年の手法では, LLM出力における要求内並列性を公開し, 独立系分岐を並列に復号化することができる。 既存のサービスシステムは、これらのブランチを積極的にあるいは固定されたキャップの下で実行します。 我々はどちらも不安定であることを示す: アテンションは共有デコードステップを膨らませ、シリアルステージでコバッチされたリクエストを劣化させ、一方、保守的な固定キャップは、最初に枝を露出させる動機となるスループットを強制する。 我々は、ブランチの外部性を認めて発生する過剰なステップレイテンシを呼び出し、安全な幅がバッチ構成、コンテキストの長さ、蓄積されたスラックに依存していることを示す。 本稿では,バッチの現在のスラック予算内に,予測されたブランチ外部性が適合する場合のみ,余分なブランチを機会的作業として扱う,ステップ単位の受け入れコントローラであるTAPERを紹介する。 ブランチレベルのスケジューリングは、メモリから計算を分離する: ブランチはリクエストのプレフィックスKVを共有するため、拡張や縮小の幅はメモリの再利用を必要としない。 Qwen3-32B では、TAPER は IRP-Off よりも $1.77\times$ と IRP-Eager よりも $1.48\times$ の改善を行った。

関連論文リスト

• ECHO: Early-layer Collaborative Hierarchical Orchestration with Bonus Logits in Speculative Decoding [60.34475274870224]
  ECHOは、LLM層間の機能的非対称性を利用する階層的なデュアルループフレームワークである。 インナーループ内では、アーリーレイヤのボーナスロジットは、最小限のコストで、高速で多段階のドラフトツリー探索を駆動する。 ECHOは平均的なトークンを著しく増加させ、2.4$times$2.9$times$スピードアップを達成する。
  論文  参考訳（メタデータ） (2026-09-15T14:21:33Z)
• Certified Inference and Training for Deep Equilibrium Networks: A Continuation Framework with Polynomial Complexity Guarantees [0.0]
  我々は、平衡計算と深層平衡ネットワークのトレーニングのための認定された継続フレームワークを開発する。 推論のために、コンパクトな入力ホモトピーは、供給された開始根からユニークな分岐を選択する。 トレーニングでは,プログラム可能な休眠性双線性階調チャネルで局所的・低位再発を増悪する。
  論文  参考訳（メタデータ） (2026-09-15T01:15:58Z)
• Spawn Freely, Act Sparingly: Progressive Risk Vesting for Recursive LLM-Agent Trees [0.0]
  LLMエージェントは、スペシャリストを産み出すことによって検索を広げることができる。後にデータやコードのデプロイを行うツールをリクエストするブランチもある。 外部制御が特定の害を防ぐサンドボックス生成と機能活性化を区別する。 我々は適応的に生成された木に常に拘束される危害を証明した。
  論文  参考訳（メタデータ） (2026-09-01T10:33:18Z)
• HARTS: Efficient Agentic Reinforcement Learning for Hybrid-Attention Models over Arbitrary Rollout Trees [10.936836651826722]
  HARTS (Hybrid-Attention RL over Tree Structures) について述べる。 HarTSは、実際のハイブリッドアテンションモデル上で任意のロールアウトツリープレフィックス共有スピードアップを示す最初のシステムである。
  論文  参考訳（メタデータ） (2026-08-28T10:18:54Z)
• ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
  textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。 回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。 我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
  論文  参考訳（メタデータ） (2026-07-14T17:50:50Z)
• ZEBRA: Zero-shot Budgeted Resource Allocation for LLM Orchestration [8.226365534099399]
  連続非線形クナップサック問題に対する多相予算割当を低減するフレームワークであるZEBRAを提案する。 150ドルのAPPS符号化ベンチマークでは、ZEBRAの2つの変種は全ての集計基準においてLLM-directよりも優れていた。 我々は,自律型マルチエージェントシステムの経済行動を改善するために,推論時の軽量なアルゴリズムガイダンスを提案する。
  論文  参考訳（メタデータ） (2026-05-19T20:50:05Z)
• Towards Joint Quantization and Token Pruning of Vision-Language Models [53.978753457744055]
  トークンプルーニングと低ビット量子化は、推論コストの削減を補完する。 我々は、低ビット推論と決定論的視覚トーケンプルーニングを統一する協調量子化&プルーニングフレームワークを提案する。 標準VLMベンチマークの実験では、同じ低ビット状態下でのステージワイドベースラインよりもロバスト性が改善された。
  論文  参考訳（メタデータ） (2026-04-19T08:18:29Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• Phase Transition for Budgeted Multi-Agent Synergy [41.486076708302456]
  マルチエージェントシステムは信頼性を向上させることができるが、固定された推論予算の下では、しばしば役立つか、飽和するか、崩壊するかさえある。 我々は、現代のエージェントスタックの3つの束縛制約からこれらの状態を予測する最小限の校正可能な理論を開発する。
  論文  参考訳（メタデータ） (2026-01-24T05:32:50Z)
• Tree Training: Accelerating Agentic LLMs Training via Shared Prefix Reuse [21.642997639835396]
  本研究では,各接頭辞を1回だけ計算し,前後の両方の分岐で中間結果を再利用するパラダイムであるツリートレーニングを提案する。 複数のオープンソースモデルの実験では、総トレーニング時間を3.9倍に削減し、より効率的なLLM SFTおよびRLトレーニングを可能にした。
  論文  参考訳（メタデータ） (2025-11-01T05:56:49Z)
• Lateral Tree-of-Thoughts Surpasses ToT by Incorporating Logically-Consistent, Low-Utility Candidates [0.0]
  Lateral Tree-of-Thoughts (LToT) は、ユーティリティを論理的一貫性から分離し、低ユーティリティだが一貫した候補を無駄ではなく資産として扱うドロップインコントローラである。 LToTは、横方向の小さなプローブを非常に広い横方向のセットに広げるキャップ付き連続半減レースである、横方向レーシングと短絡(LR--SC)を介して横方向を探索する。
  論文  参考訳（メタデータ） (2025-10-01T22:23:58Z)
• Rethinking Thinking Tokens: LLMs as Improvement Operators [80.12087211785949]
  推論トレーニングは、LLMに長い思考の連鎖(長いCoT)を生み出す動機を与え、自己チェックによるソリューション戦略を探索することを可能にする。 これにより、精度が高くなりますが、コンテキストの長さ、トークン/計算コスト、応答レイテンシが膨らみます。 現在のモデルはメタ認知を活用して、このParetoフロンティアで他の組み合わせを提供できるのでしょうか? i) 多様なドラフトを並列に生成し、(ii) それらを有界なテキストワークスペースに蒸留し、(iii) このワークスペース上に条件付き精製する。
  論文  参考訳（メタデータ） (2025-10-01T17:08:59Z)
• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• Pipeline Parallelism is All You Need for Optimized Early-Exit Based Self-Speculative Decoding [73.67253077506672]
  大規模言語モデル(LLM)は、優れた生成品質を提供するが、非常に高い推論コストをもたらす。 早期排他的自己投機的復号法(EESD)がこのコストを軽減するために登場した。 ドラフトと検証作業を完全にパイプライン化するパイプライン・パラレル自己スペクティブ・デコーディング(PPSD)を提案する。
  論文  参考訳（メタデータ） (2025-09-19T04:51:41Z)
• COMPACT: Common-token Optimized Model Pruning Across Channels and Tokens [8.846552276586918]
  プルーニングは有望な手法であるが、既存のプルーニング手法は限られている。 本研究では, (i) 埋め込み/LMヘッド層を縮小するために希少な語彙を併用し, (ii) 共通トケン重み付き活性化を用いたFFN中間チャネルをプルーするCompactを提案する。 Qwen、LLaMA、Gemmaファミリ(0.5B-70B)にわたる実験では、パラメータ、GPUメモリ、レイテンシを大幅に削減した最先端のダウンストリームのパフォーマンスが示されている。
  論文  参考訳（メタデータ） (2025-09-08T16:07:06Z)
• Branching Reinforcement Learning [16.437993672422955]
  分岐強化学習(ブランチングRL)モデルを提案する。 本稿では,Regret Minimization(RM)とReward-Free Exploration(RFE)の指標について検討する。 このモデルは階層的なレコメンデーションシステムやオンライン広告に重要な応用を見出す。
  論文  参考訳（メタデータ） (2022-02-16T11:19:03Z)
• Acting in Delayed Environments with Non-Stationary Markov Policies [57.52103323209643]
  本稿では,MDPにおける学習と計画のためのフレームワークについて紹介する。 実行が遅れると、元の状態空間における決定論的マルコフポリシーは最大報酬を得るのに十分であるが、非定常である必要があることを証明します。 我々は、状態拡張に頼らずに遅延実行タスクを解く非定常Q学習スタイルのモデルベースアルゴリズムを考案した。
  論文  参考訳（メタデータ） (2021-01-28T13:35:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。