論文の概要: DolphinRouting: Cluster-Level Binary Routing for Disaggregated LLM Inference Serving
- arxiv url: http://arxiv.org/abs/2610.40292v1
- Date: Thu, 29 Oct 2026 15:42:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-31 05:25:12.529359
- Title: DolphinRouting: Cluster-Level Binary Routing for Disaggregated LLM Inference Serving
- Title（参考訳）: DolphinRouting: 分散LDM推論のクラスタレベルバイナリルーティング
- Abstract要約: Prefill-Decode (PD)ディスアグリゲーションは、大規模言語モデルの2つのフェーズを分離するが、リクエストレベルのパス選択は、プリフィル作業、キャッシュ再利用、デコード要求を考慮しなければならない。
提案するDolphinRoutingは、与えられたP/Dリソース割り当てに基づいて、エンドツーエンドのSLOフィードバックからこの選択を学習する。
我々は,DolphinRoutingを実PD非集約クラスタ上で3つの公開ベンチマーク,混合ワークロード,および実データを用いて評価した。
- 参考スコア（独自算出の注目度）: 8.00263648694089
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Prefill-decode (PD) disaggregation isolates the two phases of large language model serving, but request-level path selection must account for prefill work, cache reuse, and decode demand. We present DolphinRouting, which learns this choice from end-to-end SLO feedback under a given P/D resource allocation. Requests are clustered by raw prompt length, cache-adjusted input lengths on both worker pools, and output-length information. Offline policy search learns one binary action per cluster. Online feature extraction, cluster assignment, and table lookup select local or remote prefill. We evaluate DolphinRouting on a real PD-disaggregated cluster using three public benchmarks, a mixed workload, and real data. Across the mixed workload and real data, DolphinRouting with $k$-means reduces P90 TTFT by 5.7--7.9\% and P90 TPOT by 2.6--10.1\% relative to Dynamo.
- Abstract（参考訳）: Prefill-Decode (PD)ディスアグリゲーションは、大規模言語モデルの2つのフェーズを分離するが、リクエストレベルのパス選択は、プリフィル作業、キャッシュ再利用、デコード要求を考慮しなければならない。
提案するDolphinRoutingは、与えられたP/Dリソース割り当てに基づいて、エンドツーエンドのSLOフィードバックからこの選択を学習する。
リクエストは、生のプロンプト長、両方のワーカープールのキャッシュ調整された入力長、出力長の情報によってクラスタリングされる。
オフラインポリシー検索はクラスタ毎に1つのバイナリアクションを学習する。
オンライン機能抽出、クラスタ割り当て、テーブルルックアップは、ローカルまたはリモートのプリフィルを選択する。
我々は,DolphinRoutingを実PD非集約クラスタ上で3つの公開ベンチマーク,混合ワークロード,および実データを用いて評価した。
混合ワークロードと実データ全体で、$k$-meansのDolphinRoutingはP90 TTFTを5.7--7.9 %、P90 TPOTを2.6--10.1 %削減する。
関連論文リスト
- Amortized Off-Policy Evaluation for LLMs [7.723985431438522]
そこで本稿では,OPEを文脈帯域幅の分布に分散した事前データ対応ネットワークを提案する。
HelpSteer2とUltraFeedbackのQwen、Llama、Gemmaのポリシーでは、PFN-OPEは最高のベースラインの2～9.3倍のエラーを達成している。
論文 参考訳（メタデータ） (2026-10-07T19:51:59Z) - Learning to Route in Visual Space via Multi-Step Embedding Retrieval [57.56937837326161]
VHOPは自動回帰多段階検索のためのエンドツーエンドのトレーニングパイプラインである。
VHOPは、中間テキストクエリを定式化することなく、単一のツールコールでリンクされたイメージチェーンを検索する。
VHOPコンテキストは、検索性能を5%未満から76.3%に向上させる。
論文 参考訳（メタデータ） (2026-09-30T01:28:06Z) - AdaVSkip: Adaptive Visual Token Skipping Across Layers For Efficient MLLMs Inference [14.50173720268662]
マルチモーダル・大規模言語モデル(MLLM)は、すべてのトランスフォーマー層にまたがる多数の視覚トークンを処理するために、かなりの計算を必要とする。
本稿では,AdaVSkipを提案する。AdaVSkipは各層に2つの軽量ルータを装備し,視覚トークンが通過するか否かを独立に判断する。
AdaVSkipは、計算量を大幅に減らしながら、強いタスク性能を維持している。
論文 参考訳（メタデータ） (2026-09-14T07:07:51Z) - Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models [49.259951930558]
コーディングエージェントは、継続的な推論に外部ツールリターンを統合する必要がある。
我々は,中等教育における機能意識の充足を通じてこれを活用する。
論文 参考訳（メタデータ） (2026-07-14T07:44:26Z) - Towards Load-Aware Prefill Deflection for Disaggregated LLM Serving [3.5681110041631565]
P95 Time-to-First-Token (TTFT) の2-23%のプレフィル実行アカウント
そこで本研究では,プロアクティブなプリフィル定義スケジューラを提案する。このスケジューラにより,デコードノードは,要求のプリフィルフェーズを,飛行中のデコードバッチとインターリーブされたチャンクドプレフィルステップとして提供することができる。
論文 参考訳（メタデータ） (2026-07-02T11:10:05Z) - Scaling Test-Time Compute for Agentic Coding [126.72747643609274]
本稿では,ロールアウト軌跡のコンパクトな表現に基づくエージェントコーディングのためのテスト時間スケーリングフレームワークを提案する。
当社のフレームワークは,各ロールアウトを,その健全な仮説,進捗,障害モードを保存する構造的な要約に変換する。
提案手法は,SWE-Bench Verified および Terminal-Bench v2.0 におけるフロンティア符号化エージェントの性能を一貫して改善する。
論文 参考訳（メタデータ） (2026-04-16T17:39:33Z) - Echo: Decoupling Inference and Training for Large-Scale RL Alignment on Heterogeneous Swarms [4.127488674019288]
大規模言語モデルのポストトレーニングは、同じGPUクラスタ上でトラジェクトリサンプリングとポリシ最適化を併用する。
ヘテロジニアスな"推論"と"トレーニング"スワムにまたがって、これらの2つのフェーズをきれいに分離するRLシステムであるEchoを紹介します。
論文 参考訳（メタデータ） (2025-08-07T13:37:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。