Fugu-MT 論文翻訳(概要): Using Python for Model Inference in Deep Learning

論文の概要: Using Python for Model Inference in Deep Learning

arxiv url: http://arxiv.org/abs/2104.00254v1
Date: Thu, 1 Apr 2021 04:48:52 GMT
ステータス: 処理完了
システム内更新日: 2021-04-02 13:30:51.091926
Title: Using Python for Model Inference in Deep Learning
Title（参考訳）: ディープラーニングにおけるモデル推論にPythonを使用する
Authors: Zachary DeVito, Jason Ansel, Will Constable, Michael Suo, Ailing Zhang, Kim Hazelwood
Abstract要約: pythonで推論を実行しながら、パフォーマンスとパッケージングの制約を満たす方法を示します。複数のPythonインタプリタを単一のプロセスで使用して,スケーラブルな推論を実現する方法を提案する。
参考スコア（独自算出の注目度）: 0.6027358520885614
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Python has become the de-facto language for training deep neural networks, coupling a large suite of scientific computing libraries with efficient libraries for tensor computation such as PyTorch or TensorFlow. However, when models are used for inference they are typically extracted from Python as TensorFlow graphs or TorchScript programs in order to meet performance and packaging constraints. The extraction process can be time consuming, impeding fast prototyping. We show how it is possible to meet these performance and packaging constraints while performing inference in Python. In particular, we present a way of using multiple Python interpreters within a single process to achieve scalable inference and describe a new container format for models that contains both native Python code and data. This approach simplifies the model deployment story by eliminating the model extraction step, and makes it easier to integrate existing performance-enhancing Python libraries. We evaluate our design on a suite of popular PyTorch models on Github, showing how they can be packaged in our inference format, and comparing their performance to TorchScript. For larger models, our packaged Python models perform the same as TorchScript, and for smaller models where there is some Python overhead, our multi-interpreter approach ensures inference is still scalable.
Abstract（参考訳）: Pythonはディープニューラルネットワークのトレーニングのためのデファクト言語となり、科学計算ライブラリをPyTorchやTensorFlowといったテンソル計算のための効率的なライブラリと結合した。しかし、モデルが推論に使用される場合、通常はパフォーマンスとパッケージングの制約を満たすために、TensorFlowグラフまたはTorchScriptプログラムとしてPythonから抽出される。抽出過程は時間がかかり、高速なプロトタイピングを阻害する。我々は、Pythonで推論を実行しながら、これらのパフォーマンスとパッケージングの制約を満たす方法を示す。特に,単一プロセス内で複数のPythonインタプリタを使用して,スケーラブルな推論を実現し,ネイティブPythonコードとデータの両方を含むモデル用の新しいコンテナフォーマットを記述する。このアプローチは、モデル抽出のステップをなくすことで、モデルデプロイメントのストーリーを単純化し、既存のパフォーマンス向上のPythonライブラリとの統合を簡単にする。 Github上で人気のPyTorchモデルのスイートで設計を評価し、推論フォーマットでどのようにパッケージ化できるかを示し、パフォーマンスをTorchScriptと比較した。より大きなモデルでは、パッケージ化されたpythonモデルはtorchscriptと同じパフォーマンスで、pythonのオーバーヘッドがある小さなモデルでは、マルチインタープリタアプローチによって、推論のスケーラビリティが保たれます。

関連論文リスト

PoTo: A Hybrid Andersen's Points-to Analysis for Python [3.6793233203143743]
PoToはAndersenスタイルのコンテキスト非感性とフロー非感性を備えたPythonのポイントツー分析である。 PoTo+は、ポイントツー分析に基づいて構築されたPythonの静的型推論である。
論文参考訳（メタデータ） (2024-09-05T21:26:25Z)
PyMarian: Fast Neural Machine Translation and Evaluation in Python [11.291502854418098]
シーケンス・ツー・シーケンス・モデルのための C++ ベースのトレーニングおよび推論ツールキットである Marian NMT に Python インタフェースを記述した。このインターフェースにより、Marianでトレーニングされたモデルが、Pythonで利用可能なリッチで幅広いツールに接続できるようになる。
論文参考訳（メタデータ） (2024-08-15T01:41:21Z)
CyNetDiff -- A Python Library for Accelerated Implementation of Network Diffusion Models [0.9831489366502302]
CyNetDiffはPythonライブラリで、Cythonで記述されている。多くの研究課題において、これらのシミュレーションが最も計算集約的なタスクであるため、高水準言語へのインタフェースを備えたライブラリを持つことが望ましい。
論文参考訳（メタデータ） (2024-04-25T21:59:55Z)
pyvene: A Library for Understanding and Improving PyTorch Models via Interventions [79.72930339711478]
$textbfpyvene$は、さまざまなPyTorchモジュールに対するカスタマイズ可能な介入をサポートするオープンソースライブラリである。私たちは、$textbfpyvene$が、ニューラルモデルへの介入を実行し、他のモデルとインターバルされたモデルを共有するための統一されたフレームワークを提供する方法を示します。
論文参考訳（メタデータ） (2024-03-12T16:46:54Z)
PyTorch Hyperparameter Tuning - A Tutorial for spotPython [0.20305676256390928]
このチュートリアルには、実験を実行し、ハイパーパラメータをチューニングするためのPythonライブラリであるRay Tuneとの簡単な比較が含まれている。 spotPythonはRay Tuneよりも柔軟で透明でありながら、同じような、あるいはさらに優れた結果が得られることを示しています。
論文参考訳（メタデータ） (2023-05-19T17:47:50Z)
Comparing neural network training performance between Elixir and Python [0.9023847175654603]
Pythonは、それ自体を主要なプログラミング言語の1つとして名づけた。 2021年2月、Jos'e ValimとSean Moriarityは、Nxライブラリの最初のバージョンを発表した。
論文参考訳（メタデータ） (2022-10-25T11:57:14Z)
DADApy: Distance-based Analysis of DAta-manifolds in Python [51.37841707191944]
DADApyは、高次元データの分析と特徴付けのためのピソンソフトウェアパッケージである。固有次元と確率密度を推定し、密度に基づくクラスタリングを行い、異なる距離メトリクスを比較する方法を提供する。
論文参考訳（メタデータ） (2022-05-04T08:41:59Z)
PyGOD: A Python Library for Graph Outlier Detection [56.33769221859135]
PyGODは、グラフデータの外れ値を検出するオープンソースライブラリである。外れ値検出のための主要なグラフベースのメソッドを幅広くサポートしています。 PyGODはBSD 2-Clauseライセンスの下でhttps://pygod.orgとPython Package Index (PyPI)でリリースされている。
論文参考訳（メタデータ） (2022-04-26T06:15:21Z)
Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch [97.03321382630975]
Continual Inferenceは、PyTorchでContinuous Inference Networks(CIN)を実装するPythonライブラリである。我々は、CINとその実装を包括的に紹介し、現代のディープラーニングのための複雑なモジュールを構成するためのベストプラクティスとコード例を提供します。
論文参考訳（メタデータ） (2022-04-07T13:03:09Z)
PyHHMM: A Python Library for Heterogeneous Hidden Markov Models [63.01207205641885]
PyHHMM は Heterogeneous-Hidden Markov Models (HHMM) のオブジェクト指向Python実装である。 PyHHMMは、異種観測モデル、データ推論の欠如、異なるモデルの順序選択基準、半教師付きトレーニングなど、同様のフレームワークではサポートされない機能を強調している。 PyHHMMは、numpy、scipy、scikit-learn、およびシーボーンPythonパッケージに依存しており、Apache-2.0ライセンスの下で配布されている。
論文参考訳（メタデータ） (2022-01-12T07:32:36Z)
OPFython: A Python-Inspired Optimum-Path Forest Classifier [68.8204255655161]
本稿では,OPFythonと表記されるPythonベースのOptimum-Path Forestフレームワークを提案する。 OPFythonはPythonベースのライブラリなので、C言語よりもフレンドリーな環境とプロトタイピングの作業スペースを提供する。
論文参考訳（メタデータ） (2020-01-28T15:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。