論文の概要: Human-Less LLM Serving: Quantifying the Human Tax on Throughput

• arxiv url: http://arxiv.org/abs/2606.20577v1
• Date: Sun, 03 May 2026 05:31:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:40:10.926225
• Title: Human-Less LLM Serving: Quantifying the Human Tax on Throughput
• Title（参考訳）: 人身売買のLLM:人間の消費税のスループットを定量化
• Abstract要約: スループットに対する人的課税は60～93%の範囲で著しく伸びていることがわかった。 以上の結果から,サービスシステムは全交通量に対して一律に人的税を課すのではなく,作業負荷に配慮したSLA構成を公開すべきである,という結論が得られた。
• 参考スコア（独自算出の注目度）: 21.191379642394704
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Every major LLM serving system is designed to meet TTFT and TPOT SLOs. These metrics capture latency as a human user perceives it, and the mechanisms built to satisfy them are now standard infrastructure. We observe that long-horizon AI tasks call LLMs programmatically in tight loops where no human observes TTFT or TPOT. We ask: how much throughput do serving systems sacrifice to meet TTFT and TPOT SLAs that these workloads never need? We conduct a systematic measurement study across chunk sizes, SLO settings, context lengths, and concurrency levels. We find that the human tax on throughput grows substantially with context length and lands in the 60-93% range. At 64K token contexts, tightening the TTFT SLO to production-typical settings costs a large fraction of throughput versus the human-less baseline. The human tax is larger at higher concurrency and is qualitatively similar across SGLang and Sarathi-Serve. We term the unconstrained optimum human-less serving and provide a prototype demonstrating that it is practical on real workloads. Our findings argue that serving systems should expose workload-class-aware SLA configurations rather than silently applying the human tax uniformly to all traffic.
• Abstract（参考訳）: 全てのLLMサービスシステムはTTFTとTPOT SLOに対応するように設計されている。 これらのメトリクスは、人間が認識したレイテンシをキャプチャし、それらを満たすために構築されたメカニズムが、現在では標準のインフラストラクチャになっている。 我々は、人間がTTFTやTPOTを観測しないタイトなループで、長期にわたるAIタスクがLLMをプログラム的に呼び出すのを観察する。 これらのワークロードが決して必要としないTTFTとTPOTのSLAを満たすために、システムのスループットを犠牲にしていますか? 我々は,チャンクサイズ,SLO設定,コンテキスト長,並行性レベルを体系的に調査する。 スループットに対する人的課税は,60～93%の範囲で,文脈長や土地とともに著しく増大することがわかった。 64Kトークンのコンテキストでは、TTFT SLOをプロダクション典型的な設定に締め付けるには、人間のいないベースラインに比べて大きなスループットが必要になります。 人税は高い並行性において大きく、SGLangとSarathi-Serveの間で質的に類似している。 制約のない最適なヒューマンレスサービスと表現し、実際のワークロードで実用的であることを示すプロトタイプを提供する。 以上の結果から,サービスシステムは全交通量に対して一律に人的税を課すのではなく,ワークロードを意識したSLA構成を公開すべきである,という結論が得られた。

関連論文リスト

• Supervised Fine-Tuning vs. In-Context Learning: An Equilibrium Analysis of LLM Personalization under Congestion [52.722575491987904]
  ICL と SFT は,事前学習とデータ信号対雑音比の相互関係によって決定される。 どちらのパーソナライズ手法も、計算負荷が増大する可能性があるにもかかわらず、プラットフォームの最大利益を損なうことはないことを実証する。
  論文  参考訳（メタデータ） (2026-07-15T21:17:42Z)
• EXPO-FT: Sample-Efficient Reinforcement Learning Finetuning for Vision-Language-Action Models [84.73890225707264]
  提案するEXPO-FTは,事前学習したVLAポリシーの安定かつサンプル効率の良いRL微調整システムである。 本システムは,オンラインロボットデータの平均19.1分以内の全ての評価課題に対して,完全なタスク性能(30/30の成功)を実現する。 我々は、ロボット工学におけるVLAモデルのより広範なRLファインタニング導入を促進することを目的とした、オープンソースのロバスト性をリリースする。
  論文  参考訳（メタデータ） (2026-05-25T06:31:03Z)
• Grounded in Reality: Learning and Deploying Proactive LLM from Offline Logs [72.08224879435762]
  textttLearn-to-Askは、プロアクティブな対話エージェントの学習とデプロイのためのシミュレータフリーフレームワークである。 当社のアプローチは,LLMの大規模オンラインAIサービスへの展開を成功に導くものです。
  論文  参考訳（メタデータ） (2025-10-29T12:08:07Z)
• Optimal Scheduling Algorithms for LLM Inference: Theory and Practice [6.043830060363904]
  本稿では,大規模言語モデル推論システムにおけるルーティングとスケジューリングをモデル化する理論的枠組みを開発する。 スループット向上に不可欠な設計原則として,最適化タイリングと動的リソース割り当ての2つがあげられる。 本稿では,リソース・アウェア・ダイナミック(RAD)スケジューラが軽度条件下でスループットの最適化を実現することを示す。
  論文  参考訳（メタデータ） (2025-08-01T18:12:21Z)
• SCORPIO: Serving the Right Requests at the Right Time for Heterogeneous SLOs in LLM Inference [6.045368624364908]
  既存のLarge Language Model (LLM) サービスシステムは最大スループットを優先する。 SCORPIOはSLO指向のLLMサービスシステムであり、異種SLOのワークロードに対するシステム出力とSLO達成を最大化するように設計されている。
  論文  参考訳（メタデータ） (2025-05-29T03:03:09Z)
• AdaServe: Accelerating Multi-SLO LLM Serving with SLO-Customized Speculative Decoding [12.106234303559571]
  本稿では,SLO-customized Speculative Decodingによる効率的なマルチSLOサービスを支援するために設計された,最初のサービスシステムであるAdaServeを紹介する。 AdaServeは制約付き最適化問題として機能するマルチSLOを定式化し、ハードウェア対応アルゴリズムを導入した。 システムスループットを最大化しつつ、復号速度のきめ細かい制御を可能にする推測-検証パイプラインを備えている。
  論文  参考訳（メタデータ） (2025-01-21T14:15:01Z)
• Hierarchical Autoscaling for Large Language Model Serving with Chiron [2.767894999702707]
  大規模言語モデル(LLM)のサービス提供は、クラウドプロバイダにとってますます重要なワークロードになりつつある。 LLMサービスのための以前のオートスケーラは、不要なスケーリングとリソースのアンダーユーティリティ化につながる要求SLOを考慮しない。 我々は,待ち行列サイズ,利用率,SLOを用いて推定した階層的バックプレッシャを用いた自動スケーラであるChironを紹介する。
  論文  参考訳（メタデータ） (2025-01-14T12:57:40Z)
• PARTNR: A Benchmark for Planning and Reasoning in Embodied Multi-agent Tasks [57.89516354418451]
  我々は,HumaN-Robotコラボレーション(PARTNR)における計画と推論タスクのベンチマークを示す。 大規模言語モデル(LLM)を用いた半自動タスク生成パイプラインを用いる。 我々は、計画、知覚、スキル実行の軸を越えて、PartinNRタスクにおける最先端のLCMを分析します。
  論文  参考訳（メタデータ） (2024-10-31T17:53:12Z)
• Revisiting Service Level Objectives and System Level Metrics in Large Language Model Serving [52.64408223944279]
  サービスレベルの目標(SLO)は、個々の要求とシステムレベルのメトリクス(SLM)の経験を考慮しています。 本研究では,SLOとSLMを統合し,LCMサービスにおけるユーザエクスペリエンスの性質を反映した,スムーズ・グッドプットと呼ばれる総合的なメトリック・フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:05:37Z)
• MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
  近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。 本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
  論文  参考訳（メタデータ） (2024-02-26T18:59:03Z)
• Human-in-the-Loop Task and Motion Planning for Imitation Learning [37.75197145733193]
  人間のデモからの模倣学習は、ロボットに複雑な操作スキルを教えることができるが、時間がかかり労働が集中している。 対照的に、タスク・アンド・モーション・プランニング(TAMP)システムは自動化されており、長距離タスクの解決に優れています。 両アプローチの利点を生かした新しいシステムであるHuman-in-the-Loop Task and Motion Planning (HITL-TAMP)を提案する。
  論文  参考訳（メタデータ） (2023-10-24T17:15:16Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。