論文の概要: Efficient Multi-Model Orchestration for Self-Hosted Large Language Models

• arxiv url: http://arxiv.org/abs/2512.22402v1
• Date: Fri, 26 Dec 2025 22:42:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.035549
• Title: Efficient Multi-Model Orchestration for Self-Hosted Large Language Models
• Title（参考訳）: 自己ホスト型大規模言語モデルのための効率的な多モデルオーケストレーション
• Authors: Bhanu Prakash Vangala, Tanu Malik,
• Abstract要約: Pick and Spinは、セルフホストのオーケストレーションと経済性を実現するフレームワークである。 統合されたHelmベースのデプロイメントシステム、適応型スケールツーゼロ自動化、ハイブリッドルーティングモジュールを統合している。 最大21.6%の成功率、30%のレイテンシ、クエリ毎のコストの33%削減を実現している。
• 参考スコア（独自算出の注目度）: 2.3275796286410677
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Self-hosting large language models (LLMs) is increasingly appealing for organizations seeking privacy, cost control, and customization. Yet deploying and maintaining in-house models poses challenges in GPU utilization, workload routing, and reliability. We introduce Pick and Spin, a practical framework that makes self-hosted LLM orchestration scalable and economical. Built on Kubernetes, it integrates a unified Helm-based deployment system, adaptive scale-to-zero automation, and a hybrid routing module that balances cost, latency, and accuracy using both keyword heuristics and a lightweight DistilBERT classifier. We evaluate four models, Llama-3 (90B), Gemma-3 (27B), Qwen-3 (235B), and DeepSeek-R1 (685B) across eight public benchmark datasets, with five inference strategies, and two routing variants encompassing 31,019 prompts and 163,720 inference runs. Pick and Spin achieves up to 21.6% higher success rates, 30% lower latency, and 33% lower GPU cost per query compared with static deployments of the same models.
• Abstract（参考訳）: 自己ホスト型大規模言語モデル(LLM)は、プライバシやコスト管理、カスタマイズを求める組織にますますアピールしている。 しかし、社内モデルのデプロイとメンテナンスは、GPU利用、ワークロードのルーティング、信頼性に課題をもたらす。 自己ホスト型LLMオーケストレーションをスケーラブルかつ経済的にするための実践的なフレームワークであるPick and Spinを紹介します。 Kubernetes上に構築されたKubernetesは、統合されたHelmベースのデプロイメントシステム、適応型スケールツーゼロ自動化、キーワードヒューリスティックスと軽量なDistilBERT分類器の両方を使用して、コスト、レイテンシ、精度のバランスをとるハイブリッドルーティングモジュールを統合する。 Llama-3 (90B), Gemma-3 (27B), Qwen-3 (235B), DeepSeek-R1 (685B) の4つのモデルを, 8つのベンチマークデータセットに対して評価した。 PickとSpinは、同じモデルの静的デプロイメントと比較して、最大21.6%の成功率、30%のレイテンシ、33%のクエリ毎のGPUコストを達成する。

関連論文リスト

• Nemotron Elastic: Towards Efficient Many-in-One Reasoning LLMs [80.72350166388601]
  Nemotron Elasticは推論指向のLLMを構築するためのフレームワークである。 ネストしたサブモデルを単一の親モデルに組み込む。 これらのサブモデルはそれぞれ、親モデルと重みを共有し、デプロイ中にゼロショットを抽出できる。
  論文  参考訳（メタデータ） (2025-11-20T18:59:21Z)
• GLM-4.5: Agentic, Reasoning, and Coding (ARC) Foundation Models [194.64264251080454]
  GLM-4.5はオープンソースのMixture-of-Experts(MoE)大言語モデルであり,総パラメータは355B,アクティベートパラメータは32Bである。 23Tトークンのマルチステージトレーニングと、エキスパートモデルのイテレーションと強化学習による総合的なポストトレーニングを通じて、GLM-4.5はエージェント、推論、コーディングタスクにわたって強力なパフォーマンスを実現している。 GLM-4.5(355Bパラメータ)とGLM-4.5-Air(106Bパラメータ)をそれぞれリリースし、推論とエージェントAIシステムの研究を進めた。
  論文  参考訳（メタデータ） (2025-08-08T17:21:06Z)
• Goedel-Prover-V2: Scaling Formal Theorem Proving with Scaffolded Data Synthesis and Self-Correction [95.91743732150233]
  一連のオープンソースの言語モデルであるGoedel-Prover-V2は、自動定理の新たな最先端を証明した。 我々は、より複雑な定理をマスターするためにモデルを訓練することの困難さを増す合成タスクを生成する。 Goedel-Prover-V2-32Bは、標準モードのpass@32でMiniF2Fの88.1%、自己補正モードの90.4%を達成する。
  論文  参考訳（メタデータ） (2025-08-05T16:28:22Z)
• Hunyuan-TurboS: Advancing Large Language Models through Mamba-Transformer Synergy and Adaptive Chain-of-Thought [196.74837065805488]
  Hunyuan-TurboSは、Transformer-Mamba Mixture of Expertsの大型ハイブリッドモデルである。 高いパフォーマンスと効率のバランスを保ち、推論コストを低く抑えている。
  論文  参考訳（メタデータ） (2025-05-21T12:11:53Z)
• Empowering Smaller Models: Tuning LLaMA and Gemma with Chain-of-Thought for Ukrainian Exam Tasks [0.0]
  小型またはコンパクトなモデルの方が効率的だが、表現不足の言語を十分にサポートしていないことが多い。 この研究は、推論集約的なタスクを扱うために、コンパクトなオープンウェイト言語モデルのパラメータ効率の良い微調整の可能性を探る。 統合タスクトピックとステップバイステップのソリューション生成によるチューニング手法は、マッチングタスクにおける標準チェーン・オブ・シンキングよりも優れる。
  論文  参考訳（メタデータ） (2025-03-18T07:44:49Z)
• Optimizing Distributed Deployment of Mixture-of-Experts Model Inference in Serverless Computing [9.217991144854851]
  現在、Mixture-of-Experts (MoE) モデルはモデルアーキテクチャの主流となっている。 サーバレスプラットフォーム上での最適化されたMoEモデルデプロイメントと分散推論について検討する。 私たちの設計では、CPUクラスタと比較して、すべてのMoE層の請求コストを少なくとも75.67%削減しています。
  論文  参考訳（メタデータ） (2025-01-09T15:29:33Z)
• Puzzle: Distillation-Based NAS for Inference-Optimized LLMs [17.72841008597783]
  大きな言語モデル(LLM)は優れた能力を提供するが、高い推論コストは広く採用を制限する。 本稿では,LLMの推論を高速化するハードウェア対応フレームワークであるPuzzleについて述べる。 我々は、Llama-3.1-Nemotron-51B-Instruct (Nemotron-51B)とLlama-3.3-Nemotron-49Bという2つの公開モデルを通して、我々のフレームワークの影響を実証する。
  論文  参考訳（メタデータ） (2024-11-28T13:45:42Z)
• Mixture of Experts with Mixture of Precisions for Tuning Quality of Service [0.0]
  本稿では,MoEモデルの効率的なデプロイのための適応型サービス方式を提案する。 量子化の専門家の数を動的に決定することにより、スループットとモデル品質をチューニングするためのきめ細かい設定を提供する。 その結果、動的かつ精度の高いアプリケーションにおける我々のアプローチの実用性を強調した。
  論文  参考訳（メタデータ） (2024-07-19T15:42:49Z)
• ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked Models [56.21470608621633]
  本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。 提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。 生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
  論文  参考訳（メタデータ） (2021-05-07T11:39:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。