論文の概要: From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving
- arxiv url: http://arxiv.org/abs/2609.23130v1
- Date: Sat, 19 Sep 2026 16:58:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-23 18:04:03.923738
- Title: From Inference Engine to Inference Control Plane: Connecting vLLM, llm-d, and the Evolution of Efficient Distributed LLM Serving
- Title（参考訳）: 推論エンジンから推論制御プレーンへ: vLLM, llm-d 接続と分散 LLM の効率的な実行の進化
- Abstract要約: 大規模言語モデル(LLM)推論は、エンジンローカル問題から分散制御問題へと進化している。
本稿では,ピアレビューシステム研究,オープンソース実装,文書化製品研究の変遷を関連づける。
本稿では,エンドポイントのみでなく実行可能な実行計画を選択する推論実行プランナを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language model (LLM) inference is evolving from an engine-local optimization problem into a distributed control problem involving reusable state, phase placement, heterogeneous accelerators, networking, autoscaling, reliability, and service-level objectives. This paper connects that transition across peer-reviewed systems research, open-source implementations, and documented production studies. It treats vLLM and llm-d as complementary layers: model-serving engines optimize execution through mechanisms such as PagedAttention, continuous batching, kernels, quantization, and parallelism, while an inference control plane can optimize where, when, and under what policy execution occurs across a fleet. The contribution is synthesis rather than a new benchmark; all reported performance and deployment results remain attributed to their original sources. The combined evidence suggests that the scarce resource in modern inference is shifting from raw FLOPs alone toward managed state, placement, network movement, reliability, and decision quality. We propose an Inference Execution Planner that selects feasible execution plans rather than only endpoints, including aggregated versus disaggregated topology, KV source and transfer action, hardware variant, routing/admission policy, and slower scaling decisions. We also provide a source-local benchmark atlas, a bottleneck-migration taxonomy, practical deployment guidance, an evaluation framework based on SLO-goodput, and research questions for agentic, multimodal, heterogeneous, and resilient inference.
- Abstract（参考訳）: 大規模言語モデル(LLM)推論は、エンジンローカル最適化問題から、再利用可能な状態、位相配置、異種加速器、ネットワーク、オートスケーリング、信頼性、サービスレベルの目的を含む分散制御問題へと進化している。
本稿では,ピアレビューシステム研究,オープンソース実装,文書化製品研究の変遷を関連づける。
モデルサービスエンジンは、PagedAttention、Continuous batching、カーネル、量子化、並列化といったメカニズムによる実行を最適化します。
このコントリビューションは、新しいベンチマークではなく、シンセサイザーである。
統合された証拠は、現代の推論における資源不足が、生のFLOPだけから、管理状態、配置、ネットワーク移動、信頼性、意思決定品質へとシフトしていることを示唆している。
本稿では,集約型トポロジと非集約型トポロジ,KVソースおよび転送動作,ハードウェア変種,ルーティング/アドミッションポリシ,スケーリング決定の遅さなど,エンドポイントだけではなく実行可能な実行計画を選択する推論実行計画を提案する。
また、ソースローカルベンチマークアトラス、ボトルネックマイグレーション分類、実践的デプロイメントガイダンス、SLOグッドプットに基づく評価フレームワーク、エージェント、マルチモーダル、ヘテロジニアス、レジリエント推論のための研究質問を提供する。
関連論文リスト
- Diffusion Language Models for Mobile Edge Agentic AI: Foundations, Applications, and Challenges [58.887152635127165]
拡散言語モデル(DLM)は、モバイルエッジエージェント人工知能(AI)の非自己回帰的な代替手段を提供する
DLMは複数の不確実なトークンを並列に更新し、生成プロセスを通して双方向のコンテキストを利用することができる。
この調査は、DLMの基礎をレビューし、レイテンシ、メモリ、エネルギ、帯域幅、プライバシ、信頼性制約の下でのエッジ設定に対する適合性を分析します。
論文 参考訳（メタデータ） (2026-09-04T06:16:49Z) - ThinkBooster: A Unified Framework for Seamless Test-Time Scaling of LLM Reasoning [110.46431027868954]
ThinkBoosterは、大規模言語モデル(LLM)推論のシームレスなテスト時間計算スケーリングのためのフレームワークである。
最新のTTCスケーリング戦略とスコアファミリを実装するモジュール型のPythonライブラリで構成されている。
デプロイ可能なOpenAI互換プロキシサービスにより、現実のアプリケーションへの適応推論のドロップイン統合が可能になる。
論文 参考訳（メタデータ） (2026-06-05T05:28:46Z) - FLARE: Diffusion for Hybrid Language Model [72.60770374799634]
FLAREは、ハイブリッドアテンションな大規模言語モデルのための体系的な変換フレームワークである。
トークン平等なAR/拡散目標、ハードウェア対応カーネル、統一推論を組み合わせることで、ひとつのチェックポイントがARスタイルの検証された復号化と拡散スタイルの並列復号化の両方をサポートすることができる。
この結果から,実際のdLLMは復号化アルゴリズムだけでなく,データ品質や現在のブロック拡散目標のトレーニング非効率によって制限されていることが示唆された。
論文 参考訳（メタデータ） (2026-06-01T06:58:15Z) - Unifying Temporal and Structural Credit Assignment in LLM-Based Multi-Agent Prompt Optimization [10.37712840622514]
マルチエージェントシステム(MAS)は、大規模言語モデルに複雑な推論計算タスクに取り組む権限を与える。
既存のブラックボックスは、トラジェクトリレベルの障害を特定のローカルコンポーネントに原因付けるのに苦労する。
我々は、抽出可能なMAS最適化は、誤り信号のアンタングルを解消するために構造的帰納バイアスを必要とすると論じる。
論文 参考訳（メタデータ） (2026-05-28T16:57:57Z) - Joint Optimization of Trajectory Control, Resource Allocation, and Task Offloading for Multi-UAV-Assisted IoV [42.14161392443562]
本稿では,多目的航空車両(UAV)共同基地局支援インターネット・オブ・ビークルズ(IoV)タスクオフロードシステムについて検討する。
システム遅延を最小限に抑えるために,新しいマルチエージェント強化学習パラダイムを提案する。
論文 参考訳（メタデータ） (2026-05-06T02:59:18Z) - Generate, Filter, Control, Replay: A Comprehensive Survey of Rollout Strategies for LLM Reinforcement Learning [79.88942231770629]
強化学習(RL)は、大規模言語モデル(LLM)の推論能力を向上させるための訓練後の中心的なツールとなっている。
統一表記によるロールアウトパイプラインの形式化とGenerate-Filter-Control-Replay(GFCR)の導入
検証可能な報酬、プロセスの監督、判断に基づくゲーティング、ガイドとツリー/セグメントのロールアウト、アダプティブな計算割り当て、早期終了と部分的なロールアウト、スループット最適化、自己改善のための再生/再配置でRLにまたがる手法を合成する。
論文 参考訳（メタデータ） (2026-04-08T00:53:29Z) - CoLLM: A Unified Framework for Co-execution of LLMs Federated Fine-tuning and Inference [33.14453252489961]
CoLLMは、FL PEFTと共有エッジレプリカとモデルパラメータの推論を統一するシステムである。
常に最先端のLLMシステムより優れており、最大で3倍高い出力を実現している。
論文 参考訳（メタデータ） (2026-03-31T09:49:47Z) - Utility Function is All You Need: LLM-based Congestion Control [4.751031084775429]
混雑制御プロトコルにより、ネットワークアプリケーションは、その性能とネットワーク利用を最適化する方法で送信率を調整できる。
本稿では,大規模言語モデルのコード生成機能を活用して,混雑制御ユーティリティ関数を設計するフレームワークであるGenCCを提案する。
以上の結果から,ジェネレーティブコード進化戦略と数式チェーン・オブ・シント(CoT)によって導かれるLCMは,そのシナリオに応じて,最先端の渋滞制御プロトコルを37%～142%向上させることができることがわかった。
論文 参考訳（メタデータ） (2026-03-11T03:11:36Z) - HEAS: Hierarchical Evolutionary Agent Simulation Framework for Cross-Scale Modeling and Multi-Objective Search [4.807104001943257]
階層シミュレーションエージェント(Hierarchical Simulation Agent, HEAS)は、階層化されたエージェントベースのモデリングを進化的最適化とトーナメント評価で統合するPythonフレームワークである。
HEASは、共有コンテキストを読み書きする決定論的レイヤにスケジュールされた軽量プロセス(ストリーム)の階層としてモデルを表現する。
compact APIとCLIは、シングルオブジェクトとマルチオブジェクトの進化をシミュレートし、最適化し、評価します。
論文 参考訳（メタデータ） (2025-08-21T13:35:46Z) - The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。
本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
論文 参考訳（メタデータ） (2025-05-14T08:18:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。