論文の概要: Python Workflows on HPC Systems

• arxiv url: http://arxiv.org/abs/2012.00365v1
• Date: Tue, 1 Dec 2020 09:51:12 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-30 19:34:04.257607
• Title: Python Workflows on HPC Systems
• Title（参考訳）: HPCシステム上のPythonワークフロー
• Authors: Dominik Strassel, Philipp Reusch and Janis Keuper
• Abstract要約: 計算集約型機械学習とデータ分析手法の最近の成功と広範な応用により、HPCシステムにおけるPythonプログラミング言語の使用が促進されている。 Pythonはユーザに対して多くの利点を提供しているが、マルチユーザ環境や並列プログラミングに重点を置いて設計されていない。 本稿では,HPCクラスタ上でのPythonの使用によって引き起こされる重要な問題を分析し,適切な回避策をスケッチする。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The recent successes and wide spread application of compute intensive machine learning and data analytics methods have been boosting the usage of the Python programming language on HPC systems. While Python provides many advantages for the users, it has not been designed with a focus on multi-user environments or parallel programming - making it quite challenging to maintain stable and secure Python workflows on a HPC system. In this paper, we analyze the key problems induced by the usage of Python on HPC clusters and sketch appropriate workarounds for efficiently maintaining multi-user Python software environments, securing and restricting resources of Python jobs and containing Python processes, while focusing on Deep Learning applications running on GPU clusters.
• Abstract（参考訳）: 計算集約型機械学習とデータ分析手法の最近の成功と広範な応用により、HPCシステムにおけるPythonプログラミング言語の使用が促進されている。 Pythonはユーザに対して多くのメリットを提供しているが、マルチユーザ環境や並列プログラミングに重点を置いて設計されていないため、HPCシステム上で安定的でセキュアなPythonワークフローを維持することは極めて困難である。 本稿では,HPCクラスタ上でのPythonの利用によって引き起こされる重要な問題を分析し,マルチユーザPythonソフトウェア環境の効率的なメンテナンス,Pythonジョブのリソースの確保と制限,およびPythonプロセスを含むための適切な回避策のスケッチを行う。

関連論文リスト

• PoTo: A Hybrid Andersen's Points-to Analysis for Python [3.6793233203143743]
  PoToはAndersenスタイルのコンテキスト非感性とフロー非感性を備えたPythonのポイントツー分析である。 PoTo+は、ポイントツー分析に基づいて構築されたPythonの静的型推論である。
  論文  参考訳（メタデータ） (2024-09-05T21:26:25Z)
• A Comprehensive Guide to Combining R and Python code for Data Science, Machine Learning and Reinforcement Learning [42.350737545269105]
  機械学習、ディープラーニング、強化学習プロジェクトを構築するために、PythonのScikit-learn、pytorch、OpenAIのジムライブラリを簡単に実行する方法を示します。
  論文  参考訳（メタデータ） (2024-07-19T23:01:48Z)
• Python is Not Always the Best Choice: Embracing Multilingual Program of Thoughts [51.49688654641581]
  本稿では,多言語からの強みと多様性を生かしたMultiPoTというタスクとモデル非依存のアプローチを提案する。 実験の結果、Python Self-Consistencyを著しく上回ることがわかった。 特にMultiPoTはChatGPT(gpt-3.5-turbo-0701)で平均4.6%以上の改善を実現している。
  論文  参考訳（メタデータ） (2024-02-16T13:48:06Z)
• PyPOTS: A Python Toolbox for Data Mining on Partially-Observed Time Series [0.0]
  PyPOTSは、部分的に保存された時系列のデータマイニングと分析に特化した、オープンソースのPythonライブラリである。 これは、計算、分類、クラスタリング、予測の4つのタスクに分類される多様なアルゴリズムに容易にアクセスできる。
  論文  参考訳（メタデータ） (2023-05-30T07:57:05Z)
• PyGOD: A Python Library for Graph Outlier Detection [56.33769221859135]
  PyGODは、グラフデータの外れ値を検出するオープンソースライブラリである。 外れ値検出のための主要なグラフベースのメソッドを幅広くサポートしています。 PyGODはBSD 2-Clauseライセンスの下でhttps://pygod.orgとPython Package Index (PyPI)でリリースされている。
  論文  参考訳（メタデータ） (2022-04-26T06:15:21Z)
• Continual Inference: A Library for Efficient Online Inference with Deep Neural Networks in PyTorch [97.03321382630975]
  Continual Inferenceは、PyTorchでContinuous Inference Networks(CIN)を実装するPythonライブラリである。 我々は、CINとその実装を包括的に紹介し、現代のディープラーニングのための複雑なモジュールを構成するためのベストプラクティスとコード例を提供します。
  論文  参考訳（メタデータ） (2022-04-07T13:03:09Z)
• pymdp: A Python library for active inference in discrete state spaces [52.85819390191516]
  pymdpはPythonでアクティブな推論をシミュレートするオープンソースパッケージである。 我々は,POMDPによるアクティブな推論をシミュレートする,最初のオープンソースパッケージを提供する。
  論文  参考訳（メタデータ） (2022-01-11T12:18:44Z)
• OMB-Py: Python Micro-Benchmarks for Evaluating Performance of MPI Libraries on HPC Systems [1.066106854070245]
  OMB-Pyは並列Pythonアプリケーションのための最初の通信ベンチマークスイートである。 OMB-Pyは様々なポイント・ツー・ポイントと集合的な通信ベンチマークテストから構成される。 逐次実行と比較して,224CPUコア上での最大106倍の高速化を報告した。
  論文  参考訳（メタデータ） (2021-10-20T16:59:14Z)
• Extending Python for Quantum-Classical Computing via Quantum Just-in-Time Compilation [78.8942067357231]
  Pythonは、その柔軟性、ユーザビリティ、可読性、開発者の生産性を重視することで有名な人気のあるプログラミング言語です。 量子ジャスト・イン・タイム・コンパイルのための堅牢なC++インフラストラクチャを通じて、異種量子古典計算を可能にするPythonの言語拡張を提案する。
  論文  参考訳（メタデータ） (2021-05-10T21:11:21Z)
• Using Python for Model Inference in Deep Learning [0.6027358520885614]
  pythonで推論を実行しながら、パフォーマンスとパッケージングの制約を満たす方法を示します。 複数のPythonインタプリタを単一のプロセスで使用して,スケーラブルな推論を実現する方法を提案する。
  論文  参考訳（メタデータ） (2021-04-01T04:48:52Z)
• OPFython: A Python-Inspired Optimum-Path Forest Classifier [68.8204255655161]
  本稿では,OPFythonと表記されるPythonベースのOptimum-Path Forestフレームワークを提案する。 OPFythonはPythonベースのライブラリなので、C言語よりもフレンドリーな環境とプロトタイピングの作業スペースを提供する。
  論文  参考訳（メタデータ） (2020-01-28T15:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。