論文の概要: Online Linear Programming for Multi-Objective Routing in LLM Serving

• arxiv url: http://arxiv.org/abs/2607.03948v1
• Date: Sat, 04 Jul 2026 16:48:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.770168
• Title: Online Linear Programming for Multi-Objective Routing in LLM Serving
• Title（参考訳）: LLMにおける多目的ルーティングのためのオンライン線形プログラミング
• Abstract要約: 大規模言語モデルサービスにおけるオンラインルーティング問題について検討する。 本稿では,オンライン線形プログラミングとしてルーティングを定式化する多目的最適化フレームワークを提案する。 科学に基づくアプローチはミリ秒のデコードに基づいて他よりも優れています。
• 参考スコア（独自算出の注目度）: 9.541681114575812
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We study the online routing problem in large language model serving, where requests arrive sequentially and must be dispatched to parallel decode workers under tight batch-size and KV-cache constraints. Unlike widely used routing heuristics that are not tied to explicit service-level objectives (SLOs) and offer limited control over latency-throughput trade-offs, we introduce a multi-objective optimization framework that formulates routing as an online linear programming with interpretable decision rewards. We apply an efficient bid-price control policy based on the online linear programming that admits requests when their SLO-weighted benefit exceeds their shadow prices. To meet millisecond decision requirements, we develop a warm-started, projected first-order updates that track the evolving dual shadow prices online with predictable runtime. We integrate our router into the Vidur simulator and demonstrate substantial improvements over standard baselines across multiple SLO regimes, including end-to-end latency, time-to-first-token, throughput, and tail performance. A big picture from our result: a science-based approach outperforms others based on heuristics.
• Abstract（参考訳）: 大規模言語モデルでは,要求が順次到着し,バッチサイズとKVキャッシュ制約の厳しい並列デコードワーカーに送らなければならない。 明示的なサービスレベルの目的(SLO)に縛られず、レイテンシとスループットのトレードオフを限定的に制御できるような、広く使われているルーティングヒューリスティックとは違って、我々は、ルーティングを解釈可能な決定報酬を伴うオンライン線形プログラミングとして定式化する多目的最適化フレームワークを導入する。 我々は,SLO重み付けによる利益がシャドー価格を超える場合の要求を認めるオンライン線形プログラミングに基づく効率的な入札価格制御ポリシーを適用した。 ミリ秒の意思決定要件を満たすため、予測可能なランタイムでオンラインに進化するデュアルシャドウ価格を追跡する、ウォームスタートした1次更新を計画しています。 我々のルータをVidurシミュレータに統合し、エンドツーエンドのレイテンシ、タイム・ツー・ファーストのトケ、スループット、テールパフォーマンスなど、複数のSLOレシスタンスで標準ベースラインよりも大幅に改善されていることを示す。 科学に基づくアプローチは、ヒューリスティックスに基づいた他者よりも優れています。

関連論文リスト

• End-to-End Latency-Minimizing and Load-Balanced Request Scheduling for Edge LLM Inference in Agentic AI Services [13.04369901641143]
  大規模言語モデル(LLM)を使用したエージェントAIサービスでは、低レイテンシ推論がますます求められている。 本研究では,各要求に対する送信,プリフィル,再分配レベル復号化,キー値キャッシュの進化をキャプチャするクロススロット推論モデルを開発した。 本稿では,Lyapunov最適化による長期負荷分散制約を変換するLYREO手法を提案する。
  論文  参考訳（メタデータ） (2026-09-15T13:50:54Z)
• Goal-Conditioned Supervised Learning for LLM Fine-Tuning [10.43951412455864]
  大規模言語モデルのためのオフライン微調整フレームワークとして,目標条件付き教師あり学習を提案する。 私たちの中核的な考え方は、フィードバック信号を直接明示的な目標として扱い、純粋に教師付き学習を通じてモデルをトレーニングし、その目標を達成するためのレスポンスを生成することです。
  論文  参考訳（メタデータ） (2026-05-08T01:55:40Z)
• Efficient and Interpretable Multi-Agent LLM Routing via Ant Colony Optimization [58.59491516762626]
  マルチエージェントシステム(MAS)のための効率的かつ解釈可能なルーティングフレームワークAMRO-Sを提案する。 AMRO-Sは、意味条件付き経路選択問題としてMASルーティングをモデル化し、3つのキーメカニズムを通してルーティング性能を向上させる。 5つの公開ベンチマークと高速ストレステストによる大規模な実験により、AMRO-Sは強いルーティングベースラインに対する品質-コストトレードオフを一貫して改善することを示した。
  論文  参考訳（メタデータ） (2026-03-13T12:26:05Z)
• Multi-task Offline Reinforcement Learning for Online Advertising in Recommender Systems [54.709976343045824]
  現在のオフライン強化学習(RL)手法は、スパース広告シナリオに適用した場合、重大な課題に直面している。 MTORLは,2つの主要な目標を対象とする,新しいマルチタスクオフラインRLモデルである。 我々はマルチタスク学習を用いて行動と報酬をデコードし、同時にチャネルレコメンデーションと予算配分に対処する。
  論文  参考訳（メタデータ） (2025-06-29T05:05:13Z)
• CITER: Collaborative Inference for Efficient Large Language Model Decoding with Token-Level Routing [74.14816777318033]
  Token-lEvel Routing(CITER)との協調推論は、小規模および大規模言語モデルの効率的な協調を可能にするフレームワークである。 ルータの学習をポリシー最適化として定式化し、予測の質と生成の推論コストの両方に基づいて報酬を受け取る。 実験の結果,CITERは高品質な生成を保ちながら推論コストを低減し,リアルタイムおよびリソース制約のあるアプリケーションに対して有望なソリューションを提供することがわかった。
  論文  参考訳（メタデータ） (2025-02-04T03:36:44Z)
• AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding [12.106234303559571]
  本稿では,SLO-customized Speculative Decodingによる効率的なマルチSLOサービスを支援するために設計された,最初のサービスシステムであるAdaServeを紹介する。 AdaServeは制約付き最適化問題として機能するマルチSLOを定式化し、ハードウェア対応アルゴリズムを導入した。 システムスループットを最大化しつつ、復号速度のきめ細かい制御を可能にする推測-検証パイプラインを備えている。
  論文  参考訳（メタデータ） (2025-01-21T14:15:01Z)
• HyGen: Efficient LLM Serving via Elastic Online-Offline Request Co-location [6.727166537196941]
  大規模言語モデル(LLM)は、異なるサービスレベルの目的(SLO)を持つ幅広いアプリケーションを容易にした。 既存のデプロイメントモデルは、各ワークロードにマシンを割り当て、SLO管理を単純化するが、リソース利用の低さにつながることが多い。 本稿では、オンラインおよびオフラインワークロードの効率的なコロケーションを可能にする干渉対応LLMサービスシステムであるHyGenを紹介する。
  論文  参考訳（メタデータ） (2025-01-15T16:32:27Z)
• ConServe: Fine-Grained GPU Harvesting for LLM Online and Offline Co-Serving [61.35068981176018]
  ConServeは、高いスループットと強力なオンラインレイテンシ保証を実現する大規模言語モデル(LLM)サービスシステムである。 我々は,ConServeが平均2.2$times$高スループットを実現し,オンラインサービステールのレイテンシを最先端システムと比較して平均2.9$times$削減することを示した。
  論文  参考訳（メタデータ） (2024-10-02T04:12:13Z)
• ENOTO: Improving Offline-to-Online Reinforcement Learning with Q-Ensembles [52.34951901588738]
  我々はENsemble-based Offline-To-Online (ENOTO) RLという新しいフレームワークを提案する。 Q-networksの数を増やすことで、オフラインの事前トレーニングとオンラインの微調整を、パフォーマンスを低下させることなくシームレスに橋渡しします。 実験により,ENOTOは既存のオフラインRL手法のトレーニング安定性,学習効率,最終性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-06-12T05:10:10Z)
• Learning-Assisted Algorithm Unrolling for Online Optimization with Budget Constraints [27.84415856657607]
  我々はLAAU(Learning-Assisted Algorithm Unrolling)と呼ばれる新しい機械学習支援アンローリング手法を提案する。 バックプロパゲーションによる効率的なトレーニングには、時間とともに決定パイプラインの勾配を導出します。 また、トレーニングデータがオフラインで利用可能で、オンラインで収集できる場合の2つのケースの平均的なコスト境界も提供します。
  論文  参考訳（メタデータ） (2022-12-03T20:56:29Z)
• A Graph Neural Networks based Framework for Topology-Aware Proactive SLA Management in a Latency Critical NFV Application Use-case [0.34376560669160383]
  5Gと6Gの最近の進歩は、ネットワークシリーズ(NFV)によって実現される遅延クリティカルなアプリケーションの出現につながっている。 本稿では,グラフニューラルネットワーク(GNN)と深層強化学習(DRL)を活用して,効率性と信頼性のトレードオフをバランスさせる,積極的なSLA管理フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-10T23:22:05Z)
• JUMBO: Scalable Multi-task Bayesian Optimization using Offline Data [86.8949732640035]
  追加データをクエリすることで制限をサイドステップするMBOアルゴリズムであるJUMBOを提案する。 GP-UCBに類似した条件下では, 応答が得られないことを示す。 実世界の2つの最適化問題に対する既存手法に対する性能改善を実証的に示す。
  論文  参考訳（メタデータ） (2021-06-02T05:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。