論文の概要: LEAP: Efficient LLM Inference Scheduling with Generalizable Length Prediction

• arxiv url: http://arxiv.org/abs/2610.41359v1
• Date: Fri, 30 Oct 2026 07:23:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.642164
• Title: LEAP: Efficient LLM Inference Scheduling with Generalizable Length Prediction
• Title（参考訳）: LEAP: 一般化可能な長さ予測による効率的なLLM推論スケジューリング
• Abstract要約: 高速なオンライン適応と非同期CPU実行が可能な長予測システムである textbfLEAP を提案する。 LEAPは、出力長に関する情報を含むサービスモデルのプリフィル隠された状態を再利用し、線形読み出しを通じてこの信号を抽出する。 予測と更新はCPU上で非同期に実行され、予測と初期バッチ順序は残りのGPUプリフィルと重なる。
• 参考スコア（独自算出の注目度）: 4.401594202306659
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Length-aware scheduling reduces request latency in LLM serving by prioritizing shorter requests. However, despite their large model sizes, length predictors can suffer degraded ranking performance under domain and task shifts, and adapting them can require costly retraining. Their prediction overhead can further offset the benefits of scheduling. To improve the generalization and efficiency of length-aware scheduling, we propose \textbf{LEAP}, a length prediction system with fast online adaptation and asynchronous CPU execution. LEAP reuses the serving model's prefill hidden states, which contain information about the output length, and extracts this signal through a linear readout. To adapt to substantial domain and task shifts, it updates the readout at test time through recursive least squares, using completed requests as supervision without gradient computation or historical-data replay. Prediction and updates run asynchronously on CPU, while prediction and initial batch ordering overlap the remaining GPU prefill. Across the evaluated cross-domain transfers, LEAP retains strong ranking performance, and online adaptation improves Spearman correlation by 64.7\% under a larger domain shift. Serving experiments show that LEAP reduces average per-token latency by 15.9--40.8\% compared with the evaluated length predictors, while achieving 1.9\% higher throughput with $30{,}569\times$ fewer predictor parameters than the strongest evaluated baseline.
• Abstract（参考訳）: 長さ対応スケジューリングは、短い要求を優先順位付けすることで、LLMサービスにおける要求遅延を低減する。 しかし、モデルのサイズが大きいにもかかわらず、長さ予測器はドメインやタスクシフト下での格付け性能の低下に悩まされ、それらを適応するためにはコストがかかる可能性がある。 彼らの予測オーバーヘッドは、スケジューリングの利点をさらに相殺することができる。 そこで本研究では,高速なオンライン適応と非同期CPU実行が可能な長さ予測システムである‘textbf{LEAP} を提案する。 LEAPは、出力長に関する情報を含むサービスモデルのプリフィル隠された状態を再利用し、線形読み出しを通じてこの信号を抽出する。 かなりのドメインとタスクのシフトに対応するため、再帰的な最小二乗を通してテスト時の読み出しを更新し、グラデーション計算や履歴データの再生なしに、完了した要求を監督する。 予測と更新はCPU上で非同期に実行され、予測と初期バッチ順序は残りのGPUプリフィルと重なる。 評価されたクロスドメイン転送全体にわたって、LEAPは高いランク付け性能を維持し、オンライン適応はより大きなドメインシフトの下でスピアマン相関を64.7\%改善する。 実測実験では、LEAPは評価された長さ予測値よりも平均1.9～40.8%のレイテンシを減少させ、30{,}569\times$最も高い評価基準値よりも低い予測値で1.9\%高いスループットを達成する。

関連論文リスト

• Jumping the Line: Exploiting Length Predictions in LLM Scheduling [6.588918521735523]
  JILは予測ベースの大規模言語モデル(LLM)スケジューラに対する攻撃である。 スケジューリング信号を操作して優先度を高め、完了時間を短縮する。 JIL を2つのデータセットと4つの LLM で評価し,要求プロファイルとデプロイメント設定を多用した。
  論文  参考訳（メタデータ） (2026-10-02T15:12:43Z)
• Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
  本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。 当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。 提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
  論文  参考訳（メタデータ） (2026-04-16T17:39:33Z)
• Intra-request branch orchestration for efficient LLM reasoning [52.68946975865865]
  大規模言語モデル(LLM)は、複雑なタスクの正確性を改善するために、推論時推論アルゴリズムにますます依存している。 それまでの作業は、トークンの使用を減らすことを中心に、多くの場合、正確さを犠牲にしつつ、他のレイテンシ要因を見越すことに重点を置いていた。 本稿では,LLMサービスシステムであるDUCHESSについて,予測によって導かれるリクエスト内ブランチオーケストレーションにより,精度を犠牲にすることなく,コストとレイテンシを低減できるシステムを提案する。
  論文  参考訳（メタデータ） (2025-09-29T15:52:08Z)
• Adaptively Robust LLM Inference Optimization under Prediction Uncertainty [9.541681114575812]
  本稿では,Large Language Model (LLM) 推論スケジューリングを最適化し,全遅延を最小化する問題について検討する。 LLM推論の鍵となる課題は、実行時の長さが分かる一方で、メモリ使用量や処理時間に重大な影響を及ぼす出力長が不明であることである。 本稿では,各要求に対して間隔分類(min-max range)を提供すると仮定して,機械学習を利用して出力長を予測するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-08-20T08:55:26Z)
• Can Prompt Difficulty be Online Predicted for Accelerating RL Finetuning of Reasoning Models? [65.18157595903124]
  本研究では任意のプロンプトの反復的近似評価について検討する。 Model Predictive Prompt Selection (MoPPS)はベイズにおけるリスク予測フレームワークである。 MoPPSは迅速な困難を確実に予測し、ロールアウトを大幅に削減したトレーニングを加速する。
  論文  参考訳（メタデータ） (2025-07-07T03:20:52Z)
• $\texttt{SPECS}$: Faster Test-Time Scaling through Speculative Drafts [55.231201692232894]
  $textttSPECS$は、投機的デコードにインスパイアされた遅延対応のテスト時間スケーリングメソッドである。 我々の結果は、$textttSPECS$matchはビームサーチの精度を上回り、最大$sim$19.1%のレイテンシを削減していることを示している。
  論文  参考訳（メタデータ） (2025-06-15T05:50:05Z)
• Semi-Clairvoyant Scheduling of Speculative Decoding Requests to Minimize LLM Inference Latency [4.372762934308627]
  本稿では,LAPS-SD(Least-Attained/Perceived-Service for Speculative Decoding)と呼ばれる半クレアボイト要求スケジューリングアルゴリズムを提案する。 LAPS-SDは、デコーディング中に、要求を特徴に応じて適応的にスケジューリングすることで、平均推論遅延を効果的に最小化することができる。 LAPS-SDは、最先端のスケジューリング手法と比較して、推論遅延を約39%削減する。
  論文  参考訳（メタデータ） (2025-05-20T04:12:37Z)
• Efficient LLM Scheduling by Learning to Rank [19.33941579312897]
  そこで本研究では,要求の集合における出力長の相対的なランクを,学習者によるランク付けによって予測可能であることを示す。 我々は,LLM推論のための新しいスケジューラを開発し,SJFスケジュールを既存手法よりも高速に近似する。
  論文  参考訳（メタデータ） (2024-08-28T13:35:54Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。