論文の概要: A Survey of Serverless Machine Learning Model Inference

• arxiv url: http://arxiv.org/abs/2311.13587v1
• Date: Wed, 22 Nov 2023 18:46:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-23 14:01:41.292706
• Title: A Survey of Serverless Machine Learning Model Inference
• Title（参考訳）: サーバレス機械学習モデル推論に関する調査
• Authors: Kamil Kojs
• Abstract要約: ジェネレーティブAI、コンピュータビジョン、自然言語処理は、AIモデルをさまざまな製品に統合するきっかけとなった。 本調査は,大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し,分類することを目的としている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent developments in Generative AI, Computer Vision, and Natural Language Processing have led to an increased integration of AI models into various products. This widespread adoption of AI requires significant efforts in deploying these models in production environments. When hosting machine learning models for real-time predictions, it is important to meet defined Service Level Objectives (SLOs), ensuring reliability, minimal downtime, and optimizing operational costs of the underlying infrastructure. Large machine learning models often demand GPU resources for efficient inference to meet SLOs. In the context of these trends, there is growing interest in hosting AI models in a serverless architecture while still providing GPU access for inference tasks. This survey aims to summarize and categorize the emerging challenges and optimization opportunities for large-scale deep learning serving systems. By providing a novel taxonomy and summarizing recent trends, we hope that this survey could shed light on new optimization perspectives and motivate novel works in large-scale deep learning serving systems.
• Abstract（参考訳）: ジェネレーティブAI、コンピュータビジョン、自然言語処理の最近の進歩により、AIモデルがさまざまな製品に統合されるようになった。 このAIの普及は、これらのモデルを本番環境にデプロイする上で、多大な努力を必要とする。 リアルタイム予測のために機械学習モデルをホスティングする場合、定義されたサービスレベルオブジェクト(SLO)を満足し、信頼性を確保し、ダウンタイムを最小限にし、基盤となるインフラストラクチャの運用コストを最適化することが重要です。 大規模な機械学習モデルは、しばしばSLOを満たすための効率的な推論のためにGPUリソースを要求する。 これらのトレンドの文脈では、推論タスクにGPUアクセスを提供しながら、サーバレスアーキテクチャでAIモデルをホストすることへの関心が高まっている。 本調査は,大規模ディープラーニングサービスシステムの新たな課題と最適化機会を要約し,分類することを目的とする。 新たな分類学を提供し、最近の傾向を要約することによって、この調査が新たな最適化の視点に光を当て、大規模深層学習サービスシステムにおける新しい研究を動機付けることを期待する。

関連論文リスト

• A Survey: Collaborative Hardware and Software Design in the Era of Large Language Models [16.250856588632637]
  大規模言語モデル(LLM)の急速な発展は、人工知能の分野を大きく変えた。 これらのモデルは多様なアプリケーションに統合され、研究と産業の両方に影響を及ぼす。 本稿では,大規模言語モデルの特徴と制約に対処するために,ハードウェアとソフトウェアの共同設計手法について検討する。
  論文  参考訳（メタデータ） (2024-10-08T21:46:52Z)
• AI Foundation Models in Remote Sensing: A Survey [6.036426846159163]
  本稿では,リモートセンシング領域における基礎モデルの包括的調査を行う。 コンピュータビジョンおよびドメイン固有タスクにおけるそれらの応用に基づいて、これらのモデルを分類する。 これらの基盤モデルによって達成された、新しいトレンドと大きな進歩を強調します。
  論文  参考訳（メタデータ） (2024-08-06T22:39:34Z)
• LVLM-Interpret: An Interpretability Tool for Large Vision-Language Models [50.259006481656094]
  本稿では,大規模視覚言語モデルの内部メカニズムの理解を目的とした対話型アプリケーションを提案する。 このインタフェースは, 画像パッチの解釈可能性を高めるために設計されており, 応答の生成に有効である。 本稿では,一般的な大規模マルチモーダルモデルであるLLaVAにおける障害機構の理解に,アプリケーションがどのように役立つかのケーススタディを示す。
  論文  参考訳（メタデータ） (2024-04-03T23:57:34Z)
• Machine Learning Insides OptVerse AI Solver: Design Principles and Applications [74.67495900436728]
  本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。 本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。 本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
  論文  参考訳（メタデータ） (2024-01-11T15:02:15Z)
• Towards Efficient Generative Large Language Model Serving: A Survey from Algorithms to Systems [14.355768064425598]
  生成型大規模言語モデル(LLM)が最前線に立ち、データとのインタラクション方法に革命をもたらします。 しかし、これらのモデルをデプロイする際の計算強度とメモリ消費は、効率性の観点から大きな課題を呈している。 本研究は,機械学習システム(MLSys)研究の観点から,効率的なLCM提供手法の必要性について考察する。
  論文  参考訳（メタデータ） (2023-12-23T11:57:53Z)
• On-device Training: A First Overview on Existing Systems [6.551096686706628]
  リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。 この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
  論文  参考訳（メタデータ） (2022-12-01T19:22:29Z)
• Retrieval-Enhanced Machine Learning [110.5237983180089]
  本稿では,いくつかの既存モデルを含む汎用的な検索強化機械学習フレームワークについて述べる。 REMLは情報検索の慣例に挑戦し、最適化を含む中核領域における新たな進歩の機会を提示している。 REMLリサーチアジェンダは、情報アクセス研究の新しいスタイルの基礎を築き、機械学習と人工知能の進歩への道を開く。
  論文  参考訳（メタデータ） (2022-05-02T21:42:45Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• A Survey of Large-Scale Deep Learning Serving System Optimization: Challenges and Opportunities [24.38071862662089]
  サーベイは、大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し、分類することを目的としている。 ディープラーニング(DL)モデルは、ビジョン、言語、医療、商業広告、エンターテイメントなど、多くのアプリケーション領域で優れたパフォーマンスを実現しています。
  論文  参考訳（メタデータ） (2021-11-28T22:14:10Z)
• INTERN: A New Learning Paradigm Towards General Vision [117.3343347061931]
  我々はInterNという新しい学習パラダイムを開発した。 複数の段階の複数のソースからの監視信号を用いて学習することにより、トレーニング対象のモデルは強力な一般化性を生み出す。 ほとんどの場合、ターゲットドメインのトレーニングデータの10%しか適応していないモデルが、完全なデータセットでトレーニングされたトレーニングデータよりも優れています。
  論文  参考訳（メタデータ） (2021-11-16T18:42:50Z)
• A Survey on Large-scale Machine Learning [67.6997613600942]
  機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。 ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。 大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
  論文  参考訳（メタデータ） (2020-08-10T06:07:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。