論文の概要: Capacity Planning for Resource-Constrained Clinical LLM Serving
- arxiv url: http://arxiv.org/abs/2611.01152v1
- Date: Sat, 31 Oct 2026 17:41:35 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-11-03 19:48:55.547623
- Title: Capacity Planning for Resource-Constrained Clinical LLM Serving
- Title（参考訳）: 資源制約型臨床 LLM の能力計画
- Abstract要約: 資源制約下での艦隊構成と経路の相対的重要性について検討する。
ヘテロジニアスなNLPワークロードを備えた制御された4GPUサービス環境を使用する。
全小艦隊は最高の応答性とスループットを提供するが、長いコンテキストのカバレッジはかなり低い。
より大きなモデルキャパシティは、効率を犠牲にしてカバレッジを向上させる。
- 参考スコア（独自算出の注目度）: 11.476488227100065
- License:
- Abstract: Deploying large language models (LLMs) under a fixed accelerator budget requires jointly deciding how computational capacity is allocated across model sizes and how incoming requests are routed across that capacity. Although prior work has extensively studied LLM routing and serving efficiency, the relative importance of fleet composition and routing under resource constraints remains less understood. We investigate this question using a controlled four-GPU serving environment with heterogeneous clinical NLP workloads spanning short factual verification, biomedical semantic matching, and long-context clinical summarization. We systematically vary fleet composition, routing policy, and offered load while holding the workload trace and hardware budget fixed. Across 24 configurations, descriptive main-effect shares attribute more variation to fleet composition than to the evaluated routing policies in time to first token, latency, and long-context coverage. All-small fleets provide the best responsiveness and throughput but substantially lower long-context coverage, whereas larger-model capacity improves coverage at the cost of serving efficiency. Heterogeneous fleets provide intermediate operating points but can introduce strong-model bottlenecks when large-model capacity is scarce. In a focused evaluation of this bottleneck, capacity-aware routing reduces mean latency and increases throughput while incurring a small reduction in long-context coverage. Within this measured regime, the results support prioritizing capacity allocation, with routing managing demand within the provisioned capacity.
- Abstract（参考訳）: 固定されたアクセラレーター予算の下で大きな言語モデル(LLM)をデプロイするには、モデルサイズ間での計算能力の割り当て方法と、そのキャパシティ間での受信要求のルーティング方法について、共同で決定する必要がある。
以前の研究はLLMルーティングとサービス効率を幅広く研究してきたが、艦隊構成と資源制約下でのルーティングの相対的重要性はいまだに理解されていない。
本研究では, 短い事実検証, バイオメディカルセマンティックマッチング, 長期臨床要約を対象とする, 異種臨床NLPワークロードによる制御された4GPUサービス環境を用いて検討する。
作業負荷のトレースとハードウェア予算の固定を保ちながら、運用構成やルーティングポリシを体系的に変更し、負荷を提供します。
24構成中、説明的なメインエフェクト共有は、ファーストトークン、レイテンシ、長期コンテキストカバレッジに間に合うように、評価済みのルーティングポリシーよりも、フリート構成にバリエーションがある。
オールスモール・フリートは、応答性とスループットが最良であるが、長いコンテキストのカバレッジは大幅に低下する一方、より大きなモデル・キャパシティは、効率を犠牲にしてカバーを向上する。
不均一なフリートは中間動作ポイントを提供するが、大容量のキャパシティが不足している場合、強力なモデルボトルネックを発生させる可能性がある。
このボトルネックの集中評価では、キャパシティを意識したルーティングは平均遅延を減らし、長いコンテキストカバレッジを小さく抑えながらスループットを向上する。
この測定体制内では、結果がキャパシティ割り当ての優先順位付けをサポートし、プロビジョニングされたキャパシティ内での要求管理をルーティングする。
関連論文リスト
- Rethinking Vulnerability Remediation as a Capacity Allocation Problem [0.0]
本研究では,脆弱性修復をApache Jira,Mozilla Bugzilla,Red Hat Security errata,5つのパブリックJira組織,npm依存グラフを使用したフローコントロール問題として評価する。
プライマリイシュートラッカの到着時間の94～100%は、キャパシティ以上と推定されるキューに入る。
フロー制御解析は、オーバーロードからドレインキューへの遷移は、より短い解像度時間に関連付けられ、重度ファーストのシークエンシングは、固定容量における臨界遅延を減少させ、キャパシティ予約は、長時間の臨界遅延を減少させる。
論文 参考訳（メタデータ） (2026-08-28T16:42:53Z) - TALSC: Timeliness-Aware Large-Small VLM Collaboration for Infrastructure-Assisted Autonomous Driving [15.843591522874497]
我々は,LVLMの精度向上と遅延によるタイムライン劣化のバランスをとるために,タイムライン対応大規模VLMコラボレーション(TALSC)フレームワークを開発した。
具体的には、まず、VLM推論のためのAge of Information(AoI)進化をモデル化し、AoIとトークン長、タスクパフォーマンスの結合を特徴付ける。
スケジューリング決定は、将来のスケジュール基準に遅れがあり、スケジュール時に出力トークン番号が不明であるので、リアプノフドリフト+推定コストアルゴリズムを設計し、保証された性能を提供する。
論文 参考訳（メタデータ） (2026-08-03T09:58:20Z) - Route Before Retrieve: Activating Latent Routing Abilities of LLMs for RAG vs. Long-Context Selection [57.3886742625188]
Pre-Routeは、応答前に構造化推論を実行するプロアクティブなルーティングフレームワークである。
本研究は, (i) LLMは, ガイドラインを確実に適用可能な遅延ルーティング能力を有すること, (ii) 線形プローブにより, 表現空間における最適ルーティングの分離性を高めること, (iii) 蒸留により, この推論構造を, 軽量展開のためのより小さなモデルに伝達すること,の3つの重要な知見を示す。
論文 参考訳（メタデータ） (2026-05-11T09:10:55Z) - A Curriculum-Based Deep Reinforcement Learning Framework for the Electric Vehicle Routing Problem [0.4666493857924357]
EVRPTW(Electric Vehicle routing problem with Time Window)は、持続可能なロジスティクスにおいて複雑な最適化問題である。
この不安定性を解決するために,カリキュラムベースの深層強化学習(CB-DRL)フレームワークを提案する。
論文 参考訳（メタデータ） (2026-01-21T14:42:33Z) - Joint Channel Estimation and Computation Offloading in Fluid Antenna-assisted MEC Networks [81.36647816787713]
チャネル推定の遅延を最小限に抑えるためのFA支援オフロードフレームワークを提案する。
提案方式は,効率的な通信を行う場合の精度を大幅に低下させることを示す。
論文 参考訳（メタデータ） (2025-09-16T08:48:44Z) - SPOT: Spatio-Temporal Pattern Mining and Optimization for Load Consolidation in Freight Transportation Networks [13.121155604809372]
効率的な負荷統合計画は、交通管理プロセスとの整合性を確保するために慎重に選択された統合ポイントに依存している。
従来の最適化に基づくアプローチは正確な解決策を提供するが、その計算複雑性は大規模インスタンスでは実用的ではない。
この研究は、機械学習(ML)の利点と負荷統合の最適化を統合するエンドツーエンドアプローチであるSPOTを提案する。
論文 参考訳（メタデータ） (2025-04-13T18:14:38Z) - Confident or Seek Stronger: Exploring Uncertainty-Based On-device LLM Routing From Benchmarking to Generalization [61.02719787737867]
大規模言語モデル(LLM)はますますエッジデバイスにデプロイされ、民主化されている。
1つの有望な解決策は不確実性に基づくSLMルーティングであり、SLM上での低信頼応答が発生すると、高い要求を強いLCMにオフロードする。
我々は1500以上の設定でSLMからLLMへの不確実性駆動型ルーティング戦略のベンチマークと一般化を包括的に調査する。
論文 参考訳（メタデータ） (2025-02-06T18:59:11Z) - Efficient Parallel Split Learning over Resource-constrained Wireless
Edge Networks [44.37047471448793]
本稿では,エッジコンピューティングパラダイムと並列分割学習(PSL)の統合を提唱する。
そこで本研究では,モデル学習を高速化するために,効率的な並列分割学習(EPSL)という革新的なPSLフレームワークを提案する。
提案するEPSLフレームワークは,目標精度を達成するために必要なトレーニング遅延を著しく低減することを示す。
論文 参考訳（メタデータ） (2023-03-26T16:09:48Z) - Coverage and Capacity Optimization in STAR-RISs Assisted Networks: A
Machine Learning Approach [102.00221938474344]
再構成可能なインテリジェントサーフェス (STAR-RIS) アシストネットワークを同時に送信および反射するカバレッジとキャパシティ最適化のための新しいモデルを提案する。
損失関数ベースの更新戦略はコアポイントであり、各更新時にmin-normソルバによってカバレッジとキャパシティの両方の損失関数の重みを計算することができる。
解析結果から,提案手法は固定重みに基づくMOアルゴリズムよりも優れていることがわかった。
論文 参考訳（メタデータ） (2022-04-13T13:52:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。