論文の概要: FleetSieve: Decision-Critical Profiling for SLO-Aware LLM Fleet Configuration

• arxiv url: http://arxiv.org/abs/2608.19659v1
• Date: Thu, 20 Aug 2026 05:54:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-21 20:28:51.456836
• Title: FleetSieve: Decision-Critical Profiling for SLO-Aware LLM Fleet Configuration
• Title（参考訳）: FleetSieve: SLO対応LLMフリート構成のための決定クリティカルプロファイリング
• Abstract要約: 本稿では、リソースを結合したSLO対応の艦隊決定において、期待される効果に応じて測定を選択できるFleetSieveを提案する。 22,200GPU秒でオラクルの集合決定に到達し、固定比較において一様ランダムプロファイリングよりも6.9%少ない。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Choosing tensor-parallel (TP) degrees and replica counts for an LLM serving fleet is difficult because performance is not monotonic in TP and the feasible choice can change with load. Exhaustive profiling resolves this uncertainty, but measures many configurations that do not affect the final resource allocation. We present FleetSieve, which selects measurements according to their expected effect on a resource-coupled, SLO-aware fleet decision. FleetSieve models capacity and tail latency jointly, compares conservative and optimistic allocations, and stops when their remaining decision gap is below a specified tolerance. On a fixed H100 measurement grid for a 31B-parameter open-weight model, FleetSieve reaches the oracle aggregate decision using 22,200 GPU-seconds, 6.9% less than uniform random profiling in the fixed comparison. Across 200 random reveal orders, its mean saving over random profiling is 5.4% (95% bootstrap CI: 3.5-7.2%). The fixed-comparison saving is 21.5% for Chat, while FleetSieve does not use the fewest GPU-seconds for Code. Joint capacity and tail modeling also avoids selecting a configuration whose 46.4-second completion p99 violates a 30-second SLO. In a 16-GPU allocation, an incorrect sparse-profile decision loses up to 1.93 requests/s and 12.4 percentage points of max-min fulfillment. Boundary repeats and BurstGPT measurements support the observed load-dependent tail-latency mechanism.
• Abstract（参考訳）: TPでは性能が単調ではなく,負荷によって選択可能な選択肢が変化するため,テンソルパラレル(TP)の次数とレプリカ数の選択は困難である。 排他的プロファイリングは、この不確実性を解決するが、最終的なリソース割り当てに影響を与えない多くの構成を測定する。 本稿では、リソースを結合したSLO対応の艦隊決定において、期待される効果に応じて測定を選択できるFleetSieveを提案する。 FleetSieveはキャパシティとテールレイテンシを併用してモデル化し、保守的なアロケーションと楽観的なアロケーションを比較し、残りの決定ギャップが指定された許容値を下回った場合に停止する。 31Bパラメトリックオープンウェイトモデルの固定H100測定グリッドでは、FleetSieveは22,200GPU秒でオラクル集合決定に達し、固定比較では均一なランダムプロファイリングよりも6.9%少ない。 200件を超えるランダムな注文は5.4%(95%ブートストラップCI:3.5-7.2%)である。 一方FleetSieveは、最も少ないGPU秒をコードに使用していない。 ジョイントキャパシティとテールモデリングは、46.4秒の完了p99が30秒のSLOに反する構成を選択することも避けている。 16GPUのアロケーションでは、誤ったスパース決定が最大1.93リクエスト/秒と最大12.4ポイントまで減少する。 境界リピートとBurstGPT測定は、観測された負荷依存性のテールレイテンシメカニズムをサポートする。

関連論文リスト

• TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
  クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。 データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。 我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
  論文  参考訳（メタデータ） (2026-09-13T19:52:46Z)
• Phase-Decoupled, Model-Calibrated Power Control for Disaggregated LLM Serving [1.249668212599889]
  NVIDIAのMax-Q推論プロファイルを分離したB200システムにデプロイする。 エージェント負荷下でQwen3-Coder-480B (FP8) を提供する8x B200ノード上では、バランスの取れたモードは、+20.4%トークン/Jを+3.5%平均e2eで提供する。
  論文  参考訳（メタデータ） (2026-09-10T06:23:37Z)
• From Proxy Learning to Driving Decisions: A Transfer-Based Framework for Evaluating Future-Aware Autonomous Driving Planners [0.34519649635864585]
  Proxy-to-Decision Transfer Frameworkは、学習後の情報が信頼性の高い駆動性能改善要求をサポートするときに評価する。 Decision-Transfer Decomposition Moduleはスコアマージン、スイッチ条件付きユーティリティ、サポート対選択後悔を通じて値損失をローカライズする。
  論文  参考訳（メタデータ） (2026-09-02T14:55:14Z)
• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• Device-First Feedback: Toward Mobile-Native LLM-Driven Neural Architecture Search [44.70501115891534]
  アーキテクチャ生成LLMのQLoRA微調整からループを閉じる自動モバイルデプロイメントパイプラインを提案する。 我々はSamsung SM-P613タブレット上で,CIFAR-10とCIFAR-100の2つのベンチマークで同じ凍結プロトコルを評価した。
  論文  参考訳（メタデータ） (2026-07-29T14:36:45Z)
• Entropy Across the Bridge: Conditional-Marginal Discretization for Flow and Schrödinger Samplers [68.9946633641494]
  フローマッチングとシュルディンガーブリッジは確率を定義するが、その推論格子は通常一点拡散から受け継がれる。 終端条件付き橋梁形状を境界流の進化から分離し, 橋梁を識別する条件付きエントロピーレートを導出する。 EDM/CIFAR-10では、エントロピックな時間分散は5段階のFID(186.3 pm 4.0対200.5 pm 2.9対cosineの238.0 pm 5.3)が最適である。
  論文  参考訳（メタデータ） (2026-05-15T16:11:10Z)
• LiNeXt: Revisiting LiDAR Completion with Efficient Non-Diffusion Architectures [52.59993476989728]
  LiNeXtは、高速で正確なポイントクラウド補完に最適化された軽量で非拡散ネットワークである。 LiNeXtは推論の199.8倍の高速化を実現し、チャンファー距離を50.7%削減し、LiDiffと比較してパラメータの6.1%しか使用していない。
  論文  参考訳（メタデータ） (2025-11-13T11:28:18Z)
• Unsupervised Conformal Inference: Bootstrapping and Alignment to Control LLM Uncertainty [49.19257648205146]
  生成のための教師なし共形推論フレームワークを提案する。 我々のゲートは、分断されたUPPよりも厳密で安定した閾値を提供する。 その結果は、ラベルのない、API互換の、テスト時間フィルタリングのゲートになる。
  論文  参考訳（メタデータ） (2025-09-26T23:40:47Z)
• Adaptive Deadline and Batch Layered Synchronized Federated Learning [66.93447103966439]
  フェデレートラーニング(FL)は、データプライバシを保持しながら、分散エッジデバイス間で協調的なモデルトレーニングを可能にする。 我々は,レイヤワイドアグリゲーションのために,ラウンド単位の期限とユーザ固有のバッチサイズを共同で最適化する新しいフレームワークADEL-FLを提案する。
  論文  参考訳（メタデータ） (2025-05-29T19:59:18Z)
• Quaff: Quantized Parameter-Efficient Fine-Tuning under Outlier Spatial Stability Hypothesis [9.884521812433661]
  Quaffは、大規模言語モデルのための量子化されたパラメータ効率の微調整フレームワークである。 軽量な操作を使用して、排他的な不変チャネルを抑える。 1.73倍のレイテンシ削減を実現し、30パーセントのメモリ節約を実現している。
  論文  参考訳（メタデータ） (2025-05-20T07:19:36Z)
• Thinking Forward: Memory-Efficient Federated Finetuning of Language Models [21.438831528354513]
  連合学習環境における大規模言語モデル(LLM)の微調整には、リソース制約のあるデバイスに対して過剰なメモリを必要とする。 本稿では,LLMのトレーニング可能な重みをクライアント間で分割するFLアルゴリズムであるSpryを紹介する。 Spryはメモリフットプリントが低く、精度が高く、高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-05-24T13:37:48Z)
• Non-Parametric Adaptive Network Pruning [125.4414216272874]
  アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。 顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。 EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
  論文  参考訳（メタデータ） (2021-01-20T06:18:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。