論文の概要: Meeting SLOs, Slashing Hours: Automated Enterprise LLM Optimization with OptiKIT

• arxiv url: http://arxiv.org/abs/2601.20408v1
• Date: Wed, 28 Jan 2026 09:13:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-29 15:46:06.869269
• Title: Meeting SLOs, Slashing Hours: Automated Enterprise LLM Optimization with OptiKIT
• Title（参考訳）: SLO と Slashing Hours: OptiKIT によるエンタープライズ LLM 最適化
• Authors: Nicholas Santavas, Kareem Eissa, Patrycja Cieplicka, Piotr Florek, Matteo Nulli, Stefan Vasilev, Seyyed Hadi Hashemi, Antonios Gasteratos, Shahram Khadivi,
• Abstract要約: 分散LLM最適化フレームワークOptiKITを提案する。 非専門家チームのための複雑な最適化を自動化することで、モデル圧縮とチューニングを民主化します。 実運用では、2倍以上のGPUスループット向上を実現している。
• 参考スコア（独自算出の注目度）: 7.499397261133133
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Enterprise LLM deployment faces a critical scalability challenge: organizations must optimize models systematically to scale AI initiatives within constrained compute budgets, yet the specialized expertise required for manual optimization remains a niche and scarce skillset. This challenge is particularly evident in managing GPU utilization across heterogeneous infrastructure while enabling teams with diverse workloads and limited LLM optimization experience to deploy models efficiently. We present OptiKIT, a distributed LLM optimization framework that democratizes model compression and tuning by automating complex optimization workflows for non-expert teams. OptiKIT provides dynamic resource allocation, staged pipeline execution with automatic cleanup, and seamless enterprise integration. In production, it delivers more than 2x GPU throughput improvement while empowering application teams to achieve consistent performance improvements without deep LLM optimization expertise. We share both the platform design and key engineering insights into resource allocation algorithms, pipeline orchestration, and integration patterns that enable large-scale, production-grade democratization of model optimization. Finally, we open-source the system to enable external contributions and broader reproducibility.
• Abstract（参考訳）: 組織は、制約のある計算予算内でAIイニシアチブをスケールするために、モデルを体系的に最適化する必要がありますが、手動最適化に必要な専門知識はニッチで不足しています。 この課題は、多種多様なワークロードを持つチームとLLM最適化経験の限られたチームがモデルを効率的にデプロイできるようにしながら、異種インフラストラクチャにわたるGPU利用の管理において特に顕著である。 非専門チームのための複雑な最適化ワークフローを自動化することにより、モデル圧縮とチューニングを民主化する分散LLM最適化フレームワークOptiKITを提案する。 OptiKITは動的リソース割り当て、自動クリーンアップによるステージドパイプライン実行、シームレスなエンタープライズインテグレーションを提供する。 運用環境では、GPUスループットを2倍以上に向上するとともに、アプリケーションチームに対して、深いLLM最適化専門知識を必要とせずに、一貫したパフォーマンス改善を実現するための権限を与えています。 私たちは、リソース割り当てアルゴリズム、パイプラインオーケストレーション、モデル最適化の大規模でプロダクショングレードの民主化を可能にする統合パターンに関する、プラットフォーム設計と重要なエンジニアリング上の洞察を共有しています。 最後に、外部からのコントリビューションとより広範な再現性を実現するためのシステムをオープンソース化する。

関連論文リスト

• xLLM Technical Report [57.13120905321185]
  我々は,知的かつ効率的なLarge Language Model (LLM)推論フレームワークであるxLLMを紹介する。 xLLMは、新しい分離されたサービスエンジンアーキテクチャを構築する。 xLLM-Engineは、システムとアルゴリズムの設計を最適化し、コンピュータリソースを完全に飽和させる。
  論文  参考訳（メタデータ） (2025-10-16T13:53:47Z)
• LADs: Leveraging LLMs for AI-Driven DevOps [3.240228178267042]
  LADは、どの条件の下で最適化が機能するかを詳細に分析することで、構成最適化の原則化されたアプローチである。 Retrieval-Augmented Generation、Few-Shot Learning、Chain-of-Thought、Feedback-Based Prompt Chainingを活用することで、LADは正確な構成を生成し、デプロイメント障害から反復的に洗練されたシステム設定を学ぶ。 我々の発見は、パフォーマンス、コスト、スケーラビリティのトレードオフに関する重要な洞察を明らかにし、実践者が異なるデプロイメントシナリオに対して適切な戦略を決定するのに役立つ。
  論文  参考訳（メタデータ） (2025-02-28T08:12:08Z)
• IMPROVE: Iterative Model Pipeline Refinement and Optimization Leveraging LLM Experts [28.9807389592324]
  機械学習のワークフローを自動化するための有望なソリューションとして、大規模言語モデル(LLM)エージェントが登場した。 LLM駆動のMLパイプライン設計のための新しい戦略であるIterative Refinementを紹介します。 実際のトレーニングフィードバックに基づいて個々のコンポーネントを体系的に更新することにより、イテレーティブリファインメントはモデル全体のパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2025-02-25T01:52:37Z)
• DNN-Powered MLOps Pipeline Optimization for Large Language Models: A Framework for Automated Deployment and Resource Management [0.0]
  本研究では、Deep Neural Networks(DNN)を活用してMLOpsパイプラインをLarge Language Models(LLM)に最適化する新しいフレームワークを提案する。 当社のアプローチでは,最適なパフォーマンスとコスト効率を維持しつつ,デプロイメント決定やリソース割り当て,パイプライン最適化を自動化するインテリジェントシステムを導入しています。
  論文  参考訳（メタデータ） (2025-01-14T14:15:32Z)
• Dynamic Rewarding with Prompt Optimization Enables Tuning-free Self-Alignment of Language Models [54.381650481255235]
  我々は,Prompt Optimization (O) を用いた動的リワードによる自己アライメントのための新しいチューニング不要アプローチを提案する。 提案手法は,LLMを反復的に自己改善し,最適アライメント命令を作成可能な検索ベース最適化フレームワークを活用する。 近年の8つのLCMのオープンおよびクローズドソースに関する実証評価により,DRPOはアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-11-13T16:15:38Z)
• Read-ME: Refactorizing LLMs as Router-Decoupled Mixture of Experts with System Co-Design [59.00758127310582]
  本稿では、事前学習された高密度LCMをより小さなMoEモデルに変換する新しいフレームワークRead-MEを提案する。 当社のアプローチでは,専門家の抽出にアクティベーション空間を用いる。 Read-MEは、同様のスケールの他の人気のあるオープンソース高密度モデルよりも優れています。
  論文  参考訳（メタデータ） (2024-10-24T19:48:51Z)
• Large Language Model as a Catalyst: A Paradigm Shift in Base Station Siting Optimization [62.16747639440893]
  大規模言語モデル(LLM)とその関連技術は、特に迅速な工学とエージェント工学の領域において進歩している。 提案するフレームワークは、検索拡張生成(RAG)を組み込んで、ドメイン固有の知識を取得してソリューションを生成するシステムの能力を高める。
  論文  参考訳（メタデータ） (2024-08-07T08:43:32Z)
• A Problem-Oriented Perspective and Anchor Verification for Code Optimization [43.28045750932116]
  大規模言語モデル(LLM)は、様々なプログラミングタスクを解く際、顕著な能力を示している。 本稿では,LLMが最小実行時間に最適化する能力について検討する。
  論文  参考訳（メタデータ） (2024-06-17T16:10:10Z)
• ORLM: A Customizable Framework in Training Large Models for Automated Optimization Modeling [15.67321902882617]
  本稿では,オープンソースのLLMをトレーニングし,モデリングやソルバコードの開発を最適化する実行可能なパスを提案する。 この研究は、実用的なOR問題の解決においてLLMを評価するための最初の産業ベンチマークであるIndustrialORも導入した。
  論文  参考訳（メタデータ） (2024-05-28T01:55:35Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。