論文の概要: A Survey of Serverless Machine Learning Model Inference
- arxiv url: http://arxiv.org/abs/2311.13587v1
- Date: Wed, 22 Nov 2023 18:46:05 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-23 14:01:41.292706
- Title: A Survey of Serverless Machine Learning Model Inference
- Title(参考訳): サーバレス機械学習モデル推論に関する調査
- Authors: Kamil Kojs
- Abstract要約: ジェネレーティブAI、コンピュータビジョン、自然言語処理は、AIモデルをさまざまな製品に統合するきっかけとなった。
本調査は,大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し,分類することを目的としている。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent developments in Generative AI, Computer Vision, and Natural Language
Processing have led to an increased integration of AI models into various
products. This widespread adoption of AI requires significant efforts in
deploying these models in production environments. When hosting machine
learning models for real-time predictions, it is important to meet defined
Service Level Objectives (SLOs), ensuring reliability, minimal downtime, and
optimizing operational costs of the underlying infrastructure. Large machine
learning models often demand GPU resources for efficient inference to meet
SLOs. In the context of these trends, there is growing interest in hosting AI
models in a serverless architecture while still providing GPU access for
inference tasks. This survey aims to summarize and categorize the emerging
challenges and optimization opportunities for large-scale deep learning serving
systems. By providing a novel taxonomy and summarizing recent trends, we hope
that this survey could shed light on new optimization perspectives and motivate
novel works in large-scale deep learning serving systems.
- Abstract(参考訳): ジェネレーティブAI、コンピュータビジョン、自然言語処理の最近の進歩により、AIモデルがさまざまな製品に統合されるようになった。
このAIの普及は、これらのモデルを本番環境にデプロイする上で、多大な努力を必要とする。
リアルタイム予測のために機械学習モデルをホスティングする場合、定義されたサービスレベルオブジェクト(SLO)を満足し、信頼性を確保し、ダウンタイムを最小限にし、基盤となるインフラストラクチャの運用コストを最適化することが重要です。
大規模な機械学習モデルは、しばしばSLOを満たすための効率的な推論のためにGPUリソースを要求する。
これらのトレンドの文脈では、推論タスクにGPUアクセスを提供しながら、サーバレスアーキテクチャでAIモデルをホストすることへの関心が高まっている。
本調査は,大規模ディープラーニングサービスシステムの新たな課題と最適化機会を要約し,分類することを目的とする。
新たな分類学を提供し、最近の傾向を要約することによって、この調査が新たな最適化の視点に光を当て、大規模深層学習サービスシステムにおける新しい研究を動機付けることを期待する。
関連論文リスト
- Machine Learning Insides OptVerse AI Solver: Design Principles and
Applications [74.67495900436728]
本稿では,Huawei CloudのOpsVerse AIソルバに機械学習(ML)技術を統合するための総合的研究について述べる。
本稿では,実世界の多面構造を反映した生成モデルを用いて,複雑なSATインスタンスとMILPインスタンスを生成する手法を紹介する。
本稿では,解解器性能を著しく向上させる,最先端パラメータチューニングアルゴリズムの導入について詳述する。
論文 参考訳(メタデータ) (2024-01-11T15:02:15Z) - Towards Efficient Generative Large Language Model Serving: A Survey from
Algorithms to Systems [14.355768064425598]
生成型大規模言語モデル(LLM)が最前線に立ち、データとのインタラクション方法に革命をもたらします。
しかし、これらのモデルをデプロイする際の計算強度とメモリ消費は、効率性の観点から大きな課題を呈している。
本研究は,機械学習システム(MLSys)研究の観点から,効率的なLCM提供手法の必要性について考察する。
論文 参考訳(メタデータ) (2023-12-23T11:57:53Z) - Visual Prompting Upgrades Neural Network Sparsification: A Data-Model
Perspective [67.25782152459851]
より優れた重量空間を実現するために、新しいデータモデル共設計視点を導入する。
具体的には、提案したVPNフレームワークでニューラルネットワークのスパーシフィケーションをアップグレードするために、カスタマイズされたVisual Promptが実装されている。
論文 参考訳(メタデータ) (2023-12-03T13:50:24Z) - Reinforcement Learning for Generative AI: A Survey [40.21640713844257]
この調査は、さまざまなアプリケーション領域にまたがるハイレベルなレビューに光を当てることを目的としています。
この領域では厳格な分類法を提供し、様々なモデルや応用について十分なカバレッジを提供している。
この調査は、現在のモデルの限界に対処し、生成AIのフロンティアを拡大する可能性のある潜在的方向を示すことで締めくくられる。
論文 参考訳(メタデータ) (2023-08-28T06:15:14Z) - Entity Aware Modelling: A Survey [22.32009539611539]
最近の機械学習の進歩により、新しい最先端の応答予測モデルが生まれている。
人口レベルで構築されたモデルは、多くのパーソナライズされた予測設定において、最適以下のパフォーマンスをもたらすことが多い。
パーソナライズされた予測では、予測性能を改善するために、異なるエンティティの固有の特性を取り入れることが目的である。
論文 参考訳(メタデータ) (2023-02-16T16:33:33Z) - On-device Training: A First Overview on Existing Systems [8.0653715405809]
リソース制約のあるデバイスにいくつかのモデルをデプロイする努力も行われている。
この研究は、デバイス上でモデルトレーニングを可能にする最先端のシステム研究を要約し、分析することを目的としている。
論文 参考訳(メタデータ) (2022-12-01T19:22:29Z) - Retrieval-Enhanced Machine Learning [110.5237983180089]
本稿では,いくつかの既存モデルを含む汎用的な検索強化機械学習フレームワークについて述べる。
REMLは情報検索の慣例に挑戦し、最適化を含む中核領域における新たな進歩の機会を提示している。
REMLリサーチアジェンダは、情報アクセス研究の新しいスタイルの基礎を築き、機械学習と人工知能の進歩への道を開く。
論文 参考訳(メタデータ) (2022-05-02T21:42:45Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳(メタデータ) (2021-12-22T14:45:37Z) - A Survey of Large-Scale Deep Learning Serving System Optimization:
Challenges and Opportunities [24.38071862662089]
サーベイは、大規模ディープラーニングサービスシステムにおける新たな課題と最適化の機会を要約し、分類することを目的としている。
ディープラーニング(DL)モデルは、ビジョン、言語、医療、商業広告、エンターテイメントなど、多くのアプリケーション領域で優れたパフォーマンスを実現しています。
論文 参考訳(メタデータ) (2021-11-28T22:14:10Z) - INTERN: A New Learning Paradigm Towards General Vision [117.3343347061931]
我々はInterNという新しい学習パラダイムを開発した。
複数の段階の複数のソースからの監視信号を用いて学習することにより、トレーニング対象のモデルは強力な一般化性を生み出す。
ほとんどの場合、ターゲットドメインのトレーニングデータの10%しか適応していないモデルが、完全なデータセットでトレーニングされたトレーニングデータよりも優れています。
論文 参考訳(メタデータ) (2021-11-16T18:42:50Z) - A Survey on Large-scale Machine Learning [67.6997613600942]
機械学習はデータに対する深い洞察を与え、マシンが高品質な予測を行うことを可能にする。
ほとんどの高度な機械学習アプローチは、大規模なデータを扱う場合の膨大な時間コストに悩まされる。
大規模機械学習は、ビッグデータからパターンを、同等のパフォーマンスで効率的に学習することを目的としている。
論文 参考訳(メタデータ) (2020-08-10T06:07:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。