論文の概要: Strait: Perceiving Priority and Interference in ML Inference Serving

• arxiv url: http://arxiv.org/abs/2604.28175v1
• Date: Thu, 30 Apr 2026 17:55:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.240806
• Title: Strait: Perceiving Priority and Interference in ML Inference Serving
• Title（参考訳）: Strait:ML推論における優先度と干渉の認識
• Authors: Haidong Zhao, Nikolaos Georgantas,
• Abstract要約: EmphStraitは、GPU利用率の高い二重優先度推論トラフィックの期限満足度を高めるために設計されたサービスシステムである。 ストレートは、高優先度タスクの期限違反を1.02から11.18ポイント削減し、低優先度タスクの許容コストを発生させる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine learning (ML) inference serving systems host deep neural network (DNN) models and schedule incoming inference requests across deployed GPUs. However, limited support for task prioritization and insufficient latency estimation under concurrent execution may restrict their applicability in on-premises scenarios. We present \emph{Strait}, a serving system designed to enhance deadline satisfaction for dual-priority inference traffic under high GPU utilization. To improve latency estimation, Strait models potential contention during data transfer and accounts for kernel execution interference through an adaptive prediction model. By drawing on these predictions, it performs priority-aware scheduling to deliver differentiated handling. Evaluation results under intense workloads suggest that Strait reduces deadline violations for high-priority tasks by 1.02 to 11.18 percentage points while incurring acceptable costs on low-priority tasks. Compared to software-defined preemption approaches, Strait also exhibits more equitable performance.
• Abstract（参考訳）: 機械学習(ML)推論サービスシステムは、ディープニューラルネットワーク(DNN)モデルをホストし、デプロイされたGPU間で受信した推論要求をスケジュールする。 しかし、タスク優先順位付けの制限と同時実行時の遅延推定の欠如は、オンプレミスシナリオにおける適用性を制限する可能性がある。 本稿では,高GPU利用下での二重優先度推論トラフィックに対する期限満足度を高めるために設計されたサービスシステムである \emph{Strait} を提案する。 遅延推定を改善するために、Straitはデータ転送時の潜在的な競合をモデル化し、適応予測モデルを通じてカーネル実行の干渉を勘定する。 これらの予測を描画することにより、区別されたハンドリングを提供するために優先度対応のスケジューリングを実行する。 厳しいワークロード下での評価結果は、Straitが高優先度タスクの期限違反を1.02から11.18ポイント削減し、低優先度タスクの許容コストを発生させることを示唆している。 ソフトウェア定義のプリエンプションアプローチと比較して、Straitはより公平なパフォーマンスを示す。

関連論文リスト

• FlowPrefill: Decoupling Preemption from Prefill Scheduling Granularity to Mitigate Head-of-Line Blocking in LLM Serving [13.856291757420012]
  長期にわたる要求はリソースを独占し、より高いプライオリティの要求を遅らせ、TTFT(Time-to-first-token)サービスレベルの違反を広範囲に発生させる。 本稿では,TTFTに最適化されたサービスシステムであるFlowPrefillを提案する。 FlowPrefillは最先端システムと比較して最大出力を最大5.6$times$に改善することを示す。
  論文  参考訳（メタデータ） (2026-02-18T16:57:45Z)
• ML Inference Scheduling with Predictable Latency [0.0]
  既存の干渉予測手法の潜在的な限界を評価する。 粗粒度法は予測精度に顕著なずれを生じさせ,静的モデルがワークロード変更時に著しく劣化することを示す。
  論文  参考訳（メタデータ） (2025-12-21T12:59:45Z)
• CSGO: Generalized Optimization for Cold Start in Wireless Collaborative Edge LLM Systems [62.24576366776727]
  本稿では,全体の推論遅延を最小限に抑えるために,遅延を考慮したスケジューリングフレームワークを提案する。 提案手法は,ベースライン戦略と比較して,コールドスタート遅延を著しく低減することを示す。
  論文  参考訳（メタデータ） (2025-08-15T07:49:22Z)
• The Larger the Merrier? Efficient Large AI Model Inference in Wireless Edge Networks [56.37880529653111]
  大規模計算モデル(LAIM)サービスの需要は、従来のクラウドベースの推論から、低レイテンシでプライバシ保護のアプリケーションのためのエッジベースの推論へのパラダイムシフトを推進している。 本稿では,事前学習したLAIMをデバイス上のサブモデルとサーバ上のサブモデルに分割して配置するLAIM推論方式について検討する。
  論文  参考訳（メタデータ） (2025-05-14T08:18:55Z)
• Task-Oriented Feature Compression for Multimodal Understanding via Device-Edge Co-Inference [54.53508601749513]
  本稿では,マルチモーダル理解のためのタスク指向特徴圧縮(TOFC)手法を提案する。 圧縮効率を向上させるために、視覚特徴の特性に基づいて複数のエントロピーモデルを適応的に選択する。 その結果,TOFCはデータ転送オーバーヘッドを最大52%削減し,システム遅延を最大63%削減できることがわかった。
  論文  参考訳（メタデータ） (2025-03-17T08:37:22Z)
• Loss Shaping Constraints for Long-Term Time Series Forecasting [79.3533114027664]
  本稿では,長期時系列予測のための制約付き学習手法を提案する。 提案手法は, 予測ウィンドウ上でエラーを発生させながら, 時系列ベンチマークにおける競合平均性能を示すことを示すための, 実用的なプリマル・デュアルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-14T18:20:44Z)
• Efficient Graph Neural Network Inference at Large Scale [54.89457550773165]
  グラフニューラルネットワーク(GNN)は、幅広いアプリケーションで優れた性能を示している。 既存のスケーラブルなGNNは、線形伝搬を利用して特徴を前処理し、トレーニングと推論の手順を高速化する。 本稿では,そのトポロジ情報に基づいて各ノードに対してパーソナライズされた伝搬順序を生成する適応的伝搬順序法を提案する。
  論文  参考訳（メタデータ） (2022-11-01T14:38:18Z)
• Resource-Constrained Edge AI with Early Exit Prediction [5.060405696893342]
  デバイスエッジコ推論システムにおいて,デバイス上での計算オーバーヘッドを低減するための早期出口予測機構を提案する。 具体的には,Exit Predictorと呼ばれる低複雑さモジュールを設計し,初期出口の計算をバイパスする「ハード」なサンプルを導出する。 通信帯域の変動を考慮すると、レイテンシを考慮したエッジ推論の早期終了予測機構を拡張する。
  論文  参考訳（メタデータ） (2022-06-15T03:14:21Z)
• Accelerating Deep Learning Inference via Learned Caches [11.617579969991294]
  ディープニューラルネットワーク(DNN)は、現実世界の問題を解決する精度が高いため、複数のドメインで採用が増加しています。 現在の低レイテンシソリューションは、精度のトレードオフや、ワークロードの予測に固有の時間的局所性を利用することができない。 低遅延推論のための学習キャッシュを組み込んだエンドツーエンド予測サービングシステムGATIの設計について述べる。
  論文  参考訳（メタデータ） (2021-01-18T22:13:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。