論文の概要: Python Workflows on HPC Systems
- arxiv url: http://arxiv.org/abs/2012.00365v1
- Date: Tue, 1 Dec 2020 09:51:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-30 19:34:04.257607
- Title: Python Workflows on HPC Systems
- Title(参考訳): HPCシステム上のPythonワークフロー
- Authors: Dominik Strassel, Philipp Reusch and Janis Keuper
- Abstract要約: 計算集約型機械学習とデータ分析手法の最近の成功と広範な応用により、HPCシステムにおけるPythonプログラミング言語の使用が促進されている。
Pythonはユーザに対して多くの利点を提供しているが、マルチユーザ環境や並列プログラミングに重点を置いて設計されていない。
本稿では,HPCクラスタ上でのPythonの使用によって引き起こされる重要な問題を分析し,適切な回避策をスケッチする。
- 参考スコア(独自算出の注目度): 2.1485350418225244
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The recent successes and wide spread application of compute intensive machine
learning and data analytics methods have been boosting the usage of the Python
programming language on HPC systems. While Python provides many advantages for
the users, it has not been designed with a focus on multi-user environments or
parallel programming - making it quite challenging to maintain stable and
secure Python workflows on a HPC system. In this paper, we analyze the key
problems induced by the usage of Python on HPC clusters and sketch appropriate
workarounds for efficiently maintaining multi-user Python software
environments, securing and restricting resources of Python jobs and containing
Python processes, while focusing on Deep Learning applications running on GPU
clusters.
- Abstract(参考訳): 計算集約型機械学習とデータ分析手法の最近の成功と広範な応用により、HPCシステムにおけるPythonプログラミング言語の使用が促進されている。
Pythonはユーザに対して多くのメリットを提供しているが、マルチユーザ環境や並列プログラミングに重点を置いて設計されていないため、HPCシステム上で安定的でセキュアなPythonワークフローを維持することは極めて困難である。
本稿では,HPCクラスタ上でのPythonの利用によって引き起こされる重要な問題を分析し,マルチユーザPythonソフトウェア環境の効率的なメンテナンス,Pythonジョブのリソースの確保と制限,およびPythonプロセスを含むための適切な回避策のスケッチを行う。
関連論文リスト
- DyPyBench: A Benchmark of Executable Python Software [18.129031749321058]
我々は、Pythonプロジェクトの最初のベンチマークであるDyPyBenchを紹介します。
ベンチマークには、さまざまなアプリケーションドメインから50の人気のあるオープンソースプロジェクトが含まれており、合計681万行のPythonコードと30万のテストケースが含まれている。
我々は、DyPyBenchが他の動的解析の基礎を提供し、Pythonコードの実行時の振る舞いを研究することを想定する。
論文 参考訳(メタデータ) (2024-03-01T13:53:15Z) - PyPOTS: A Python Toolbox for Data Mining on Partially-Observed Time
Series [0.0]
PyPOTSは、部分的に保存された時系列のデータマイニングと分析に特化した、オープンソースのPythonライブラリである。
これは、計算、分類、クラスタリング、予測の4つのタスクに分類される多様なアルゴリズムに容易にアクセスできる。
論文 参考訳(メタデータ) (2023-05-30T07:57:05Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor
Abstractions on CPU Architectures [101.36990944099105]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳(メタデータ) (2023-04-25T05:04:44Z) - PyGOD: A Python Library for Graph Outlier Detection [71.8385116214495]
PyGODは、グラフデータ上の外れ値を検出するオープンソースライブラリである。
コードの信頼性と保守性を向上するためのベストプラクティスを備えている。
論文 参考訳(メタデータ) (2022-04-26T06:15:21Z) - Continual Inference: A Library for Efficient Online Inference with Deep
Neural Networks in PyTorch [97.03321382630975]
Continual Inferenceは、PyTorchでContinuous Inference Networks(CIN)を実装するPythonライブラリである。
我々は、CINとその実装を包括的に紹介し、現代のディープラーニングのための複雑なモジュールを構成するためのベストプラクティスとコード例を提供します。
論文 参考訳(メタデータ) (2022-04-07T13:03:09Z) - pymdp: A Python library for active inference in discrete state spaces [52.85819390191516]
pymdpはPythonでアクティブな推論をシミュレートするオープンソースパッケージである。
我々は,POMDPによるアクティブな推論をシミュレートする,最初のオープンソースパッケージを提供する。
論文 参考訳(メタデータ) (2022-01-11T12:18:44Z) - OMB-Py: Python Micro-Benchmarks for Evaluating Performance of MPI
Libraries on HPC Systems [1.066106854070245]
OMB-Pyは並列Pythonアプリケーションのための最初の通信ベンチマークスイートである。
OMB-Pyは様々なポイント・ツー・ポイントと集合的な通信ベンチマークテストから構成される。
逐次実行と比較して,224CPUコア上での最大106倍の高速化を報告した。
論文 参考訳(メタデータ) (2021-10-20T16:59:14Z) - Extending Python for Quantum-Classical Computing via Quantum
Just-in-Time Compilation [78.8942067357231]
Pythonは、その柔軟性、ユーザビリティ、可読性、開発者の生産性を重視することで有名な人気のあるプログラミング言語です。
量子ジャスト・イン・タイム・コンパイルのための堅牢なC++インフラストラクチャを通じて、異種量子古典計算を可能にするPythonの言語拡張を提案する。
論文 参考訳(メタデータ) (2021-05-10T21:11:21Z) - Using Python for Model Inference in Deep Learning [0.6027358520885614]
pythonで推論を実行しながら、パフォーマンスとパッケージングの制約を満たす方法を示します。
複数のPythonインタプリタを単一のプロセスで使用して,スケーラブルな推論を実現する方法を提案する。
論文 参考訳(メタデータ) (2021-04-01T04:48:52Z) - OPFython: A Python-Inspired Optimum-Path Forest Classifier [68.8204255655161]
本稿では,OPFythonと表記されるPythonベースのOptimum-Path Forestフレームワークを提案する。
OPFythonはPythonベースのライブラリなので、C言語よりもフレンドリーな環境とプロトタイピングの作業スペースを提供する。
論文 参考訳(メタデータ) (2020-01-28T15:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。