論文の概要: BestServe: Serving Strategies with Optimal Goodput in Collocation and Disaggregation Architectures

• arxiv url: http://arxiv.org/abs/2506.05871v1
• Date: Fri, 06 Jun 2025 08:40:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-09 17:28:43.384902
• Title: BestServe: Serving Strategies with Optimal Goodput in Collocation and Disaggregation Architectures
• Title（参考訳）: BestServe: コロケーションとデアグリゲーションアーキテクチャにおける最適な成果で戦略を遂行する
• Authors: Xiannan Hu, Tianyou Zeng, Xiaoming Yuan, Liwei Song, Guangyuan Zhang, Bangzheng He,
• Abstract要約: BestServeは,様々な運用シナリオ下での実績を推定することで,サービス戦略のランク付けを行う新しいフレームワークである。 我々のフレームワークは、単一の標準CPU上で数分で最適な戦略を決定し、コストのかかるベンチマークを不要にします。
• 参考スコア（独自算出の注目度）: 4.689663813519749
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Serving large language models (LLMs) to millions of users requires efficient resource allocation and parallelism strategies. It is a labor intensive trial-and-error process to find such a strategy. We present BestServe, a novel framework for ranking serving strategies by estimating goodput under various operating scenarios. Supporting both collocated and disaggregated architectures, BestServe leverages an inference simulator built on an adapted roofline model and CPU-GPU dispatch dynamics. Our framework determines the optimal strategy in minutes on a single standard CPU, eliminating the need for costly benchmarking, while achieving predictions within a $20\%$ error margin. It appeals to be practical for rapid deployment planning because of its lightweight design and strong extensibility.
• Abstract（参考訳）: 大きな言語モデル(LLM)を数百万のユーザに渡すには、効率的なリソース割り当てと並列処理戦略が必要である。 このような戦略を見つけるのは、労働集約的な試行錯誤のプロセスである。 BestServeは,様々な運用シナリオ下での実績を推定することで,サービス戦略のランク付けを行う新しいフレームワークである。 BestServeは、配置されたルーフラインモデルとCPU-GPUディスパッチダイナミックス上に構築された推論シミュレータを利用する。 我々のフレームワークは、単一の標準CPU上で数分で最適な戦略を決定し、コストのかかるベンチマークの必要性をなくし、エラーマージンを20セントで予測する。 軽量な設計と強力な拡張性のために、迅速なデプロイメント計画に実用的であることをアピールする。

関連論文リスト

• LOP: Learning Optimal Pruning for Efficient On-Demand MLLMs Scaling [52.1366057696919]
  LOPは、ターゲットプルーニング制約から最適なプルーニング戦略を学ぶ、効率的なニューラルプルーニングフレームワークである。 LOPアプローチでは、自動回帰ニューラルネットワーク(NN)を使用して、ターゲットプルーニング制約に適応したレイヤワイズプルーニング戦略を直接予測する。 実験の結果,LOPは最大3桁のスピードアップを達成しつつ,様々な測定値において最先端のプルーニング手法よりも優れていた。
  論文  参考訳（メタデータ） (2025-06-15T12:14:16Z)
• Learning Virtual Machine Scheduling in Cloud Computing through Language Agents [22.314607581353638]
  クラウドサービスでは、仮想マシン(VM)スケジューリングは典型的なオンライン動的多次元Bin Packing(ODMBP)問題である。 従来の手法はリアルタイムな変化に適応するのに苦労し、ドメイン専門家が設計したアプローチは厳格な戦略に苦しむ。 本稿では,ODMBPを解くための大規模言語モデル(LLM)駆動設計パラダイムを提供するMiCoという階層型言語エージェントフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T09:42:11Z)
• Rack Position Optimization in Large-Scale Heterogeneous Data Centers [38.59029729507364]
  本稿では,局所探索のための低レベル勾配に基づく高レベル深部強化学習(DRL)モデルを用いた新しい2層最適化フレームワークを提案する。 高レベルのDRLエージェントは、Lead Rewardを最適ラック型順序付けに使用し、低レベルの効率的な位置マップ、移動回数の最小化、耐故障性資源分布の確保を行う。 当社のアルゴリズムは,大規模データセンタ管理に不可欠な,安定的で効率的な結果を継続的に提供しています。
  論文  参考訳（メタデータ） (2025-03-31T22:55:37Z)
• ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
  現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。 本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。 本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
  論文  参考訳（メタデータ） (2025-03-24T13:11:22Z)
• $φ$-Decoding: Adaptive Foresight Sampling for Balanced Inference-Time Exploration and Exploitation [22.607133083903125]
  インタイム最適化は計算をスケールし、効果的なパフォーマンスのための意図的な推論ステップを導出する。 我々は、デコード戦略を事前サンプリングとして、シミュレーションされた将来のステップを利用して、大域的に最適なステップ推定を得る。 実験では、$phi$-Decodingはパフォーマンスと効率の両方において、強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2025-03-17T15:38:33Z)
• Automatic Operator-level Parallelism Planning for Distributed Deep Learning -- A Mixed-Integer Programming Approach [6.449961842220686]
  本稿では,最適性と計算効率のバランスをとる二段階のソリューションフレームワークを提案する。 我々のフレームワークは、同等または優れた性能を実現し、同じメモリ制約下で計算バブルを半分に減らします。 このような能力は、最適な並列化戦略を探求するための貴重な研究ツールであり、大規模なAIデプロイメントのための実践的な産業ソリューションである。
  論文  参考訳（メタデータ） (2025-03-12T13:00:29Z)
• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Large-Batch, Iteration-Efficient Neural Bayesian Design Optimization [37.339567743948955]
  本稿では,BOの限界に対処するための新しいベイズ最適化フレームワークを提案する。 我々の重要な貢献は、高度にスケーラブルでサンプルベースの取得機能であり、非支配的な目的のソートを実行する。 我々は,ベイズ型ニューラルネットワークサロゲートと組み合わせることで,最小限の反復数でデータ集約環境に有効であることを示す。
  論文  参考訳（メタデータ） (2023-06-01T19:10:57Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances [58.720142291102135]
  VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。 これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-05-09T22:48:39Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• Optimizing Streaming Parallelism on Heterogeneous Many-Core Architectures: A Machine Learning Based Approach [16.702537371391053]
  本稿では、異種多コアアーキテクチャ上のタスクベース並列アプリケーションにおいて、ハードウェアリソース分割とタスク粒度に関する優れたソリューションを導出する自動手法を提案する。 提案手法では,与えられたリソース分割とタスクの粒度設定に基づいて,対象アプリケーションの結果のパフォーマンスを推定するために,性能モデルを用いる。 シングルストリームバージョンと比較すると,XeonPhiとGPUプラットフォームでそれぞれ1.6倍,1.1倍の高速化を実現している。
  論文  参考訳（メタデータ） (2020-03-05T21:18:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。