論文の概要: FlexServe: Deployment of PyTorch Models as Flexible REST Endpoints

• arxiv url: http://arxiv.org/abs/2003.01538v1
• Date: Sat, 29 Feb 2020 18:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-27 20:34:19.191425
• Title: FlexServe: Deployment of PyTorch Models as Flexible REST Endpoints
• Title（参考訳）: FlexServe: 柔軟なRESTエンドポイントとしてのPyTorchモデルのデプロイ
• Authors: Edward Verenich, Alvaro Velasquez, M.G. Sarwar Murshed, Faraz Hussain
• Abstract要約: 現代のソフトウェアシステムへの人工知能機能の統合は、クラウドベースのサービスと表現型状態転送アーキテクチャを使用することで、ますます単純化されている。 モデル証明とモデル進化に対する制御の欠如に関する不十分な情報は、厳格なセキュリティ要件を持つ多くの運用環境において、これらのサービスをより広く採用する上で障害となる。
• 参考スコア（独自算出の注目度）: 6.730473762151365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The integration of artificial intelligence capabilities into modern software systems is increasingly being simplified through the use of cloud-based machine learning services and representational state transfer architecture design. However, insufficient information regarding underlying model provenance and the lack of control over model evolution serve as an impediment to the more widespread adoption of these services in many operational environments which have strict security requirements. Furthermore, tools such as TensorFlow Serving allow models to be deployed as RESTful endpoints, but require error-prone transformations for PyTorch models as these dynamic computational graphs. This is in contrast to the static computational graphs of TensorFlow. To enable rapid deployments of PyTorch models without intermediate transformations we have developed FlexServe, a simple library to deploy multi-model ensembles with flexible batching.
• Abstract（参考訳）: 現代のソフトウェアシステムへの人工知能機能の統合は、クラウドベースの機械学習サービスと表現型ステート転送アーキテクチャ設計によってますます単純化されている。 しかしながら、モデル証明とモデル進化に対する制御の欠如に関する不十分な情報は、厳格なセキュリティ要件を持つ多くの運用環境において、これらのサービスを広く採用する上で障害となる。 さらに、tensorflow servingのようなツールは、モデルをrestfulなエンドポイントとしてデプロイできるが、これらの動的計算グラフのようにpytorchモデルにはエラーが発生しやすい変換を必要とする。 これはTensorFlowの静的計算グラフとは対照的である。 中間変換なしでpytorchモデルの迅速なデプロイを可能にするために、私たちはflexserveを開発した。

関連論文リスト

• SeBS-Flow: Benchmarking Serverless Cloud Function Workflows [51.4200085836966]
  本稿では、最初のサーバーレスワークフローベンチマークスイートSeBS-Flowを提案する。 SeBS-Flowには6つの実世界のアプリケーションベンチマークと、異なる計算パターンを表す4つのマイクロベンチマークが含まれている。 当社では,パフォーマンス,コスト,スケーラビリティ,ランタイムの偏差など,3つの主要なクラウドプラットフォームに関する包括的な評価を実施しています。
  論文  参考訳（メタデータ） (2024-10-04T14:52:18Z)
• FlexModel: A Framework for Interpretability of Distributed Large Language Models [0.0]
  マルチGPUとマルチノード構成に分散したモデルを扱うための,合理化されたインターフェースを提供するソフトウェアパッケージであるFlexModelを紹介する。 このライブラリは既存のモデル配布ライブラリと互換性があり、PyTorchモデルをカプセル化している。 ユーザ登録可能なHookFunctionを公開して,分散モデル内部との直接的なインタラクションを容易にする。
  論文  参考訳（メタデータ） (2023-12-05T21:19:33Z)
• Predicting Resource Consumption of Kubernetes Container Systems using Resource Models [3.138731415322007]
  本稿では,クラウドシステムの資源モデルを実証的に導き出す方法について考察する。 私たちは、CPUとメモリリソースに明示的に準拠したフォーマルな言語でデプロイされたサービスのモデルに基づいています。 我々は、小規模なデプロイメントから収集したデータを経験的に活用して、より大きなデプロイメント上での高強度シナリオの実行をシミュレートする。
  論文  参考訳（メタデータ） (2023-05-12T17:59:01Z)
• PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
  我々は PDSketch という新しいドメイン定義言語を提案する。 これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。 移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
  論文  参考訳（メタデータ） (2023-03-09T18:54:12Z)
• MetaNetwork: A Task-agnostic Network Parameters Generation Framework for Improving Device Model Generalization [65.02542875281233]
  そこで本研究では,デバイス上でのトレーニングを伴わずに,クラウドから適応的なデバイスモデルパラメータを生成するための,MetaNetworkという新しいタスク非依存フレームワークを提案する。 MetaGeneratorは、サンプルからモデルパラメータへのマッピング関数を学習するために設計されており、デバイスからクラウドにアップロードされたサンプルに基づいて、適応パラメータをデバイスに生成および配信することができる。 MetaStabilizerは、MetaGeneratorの振動を減らし、収束を加速し、トレーニングと推論の両方でモデルパフォーマンスを改善することを目的としている。
  論文  参考訳（メタデータ） (2022-09-12T13:26:26Z)
• SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
  本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。 しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
  論文  参考訳（メタデータ） (2021-12-22T14:45:37Z)
• Amazon SageMaker Model Parallelism: A General and Flexible Framework for Large Model Training [10.223511922625065]
  PyTorchと統合したソフトウェアライブラリであるAmazon SageMakerモデル並列性について紹介する。 モデル並列性やその他のメモリ節約機能を使って、大規模なモデルのトレーニングを容易にする。 GPT-3,RoBERTa,BERT,ニューラルコラボレーティブフィルタの性能評価を行った。
  論文  参考訳（メタデータ） (2021-11-10T22:30:21Z)
• DIETERpy: a Python framework for The Dispatch and Investment Evaluation Tool with Endogenous Renewables [62.997667081978825]
  DIETERはオープンソースの電力セクターモデルであり、可変再生可能エネルギー源の非常に高いシェアで将来の設定を分析するように設計されている。 システム全体のコストを最小化し、様々な世代の固定および可変コスト、柔軟性、セクター結合オプションを含む。 我々は、GAMS(General Algebraic Modeling System)で記述された既存のモデルバージョンの上に構築されたDIETERpyを紹介し、それをPythonフレームワークで強化する。
  論文  参考訳（メタデータ） (2020-10-02T09:27:33Z)
• Ensemble Distillation for Robust Model Fusion in Federated Learning [72.61259487233214]
  Federated Learning(FL)は、多くのデバイスが機械学習モデルを協調的にトレーニングする機械学習環境である。 現在のトレーニングスキームのほとんどでは、サーバモデルのパラメータと更新されたパラメータをクライアント側から平均化することで、中央モデルを洗練します。 本研究では,モデル融合のためのアンサンブル蒸留法を提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:49:47Z)
• Scalable Deployment of AI Time-series Models for IoT [0.7169734491710924]
  IBM Research Castorは、IoTアプリケーションで時系列モデルを管理およびデプロイするためのクラウドネイティブシステムである。 モデルテンプレートはセマンティックな概念の特定のインスタンスに対してデプロイできる。 実世界のスマートグリッドライブ予測アプリケーションのデプロイ結果が報告されている。
  論文  参考訳（メタデータ） (2020-03-24T14:27:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。