論文の概要: HiQ -- A Declarative, Non-intrusive, Dynamic and Transparent
Observability and Optimization System
- arxiv url: http://arxiv.org/abs/2304.13302v1
- Date: Wed, 26 Apr 2023 06:11:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-04-27 15:30:31.381288
- Title: HiQ -- A Declarative, Non-intrusive, Dynamic and Transparent
Observability and Optimization System
- Title(参考訳): HiQ -- 宣言的で非侵襲的で動的で透明な可観測性と最適化システム
- Authors: Fuheng Wu, Ivan Davchev, Jun Qian
- Abstract要約: 本稿では,Pythonプログラム実行時情報を追跡する非侵襲的,宣言的,動的,透過的システムであるHiQを提案する。
HiQはモノリシックおよび分散システム、オフラインおよびオンラインアプリケーションに使用できる。
- 参考スコア(独自算出の注目度): 2.6641834518599308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a non-intrusive, declarative, dynamic and transparent
system called `HiQ` to track Python program runtime information without
compromising on the run-time system performance and losing insight. HiQ can be
used for monolithic and distributed systems, offline and online applications.
HiQ is developed when we optimize our large deep neural network (DNN) models
which are written in Python, but it can be generalized to any Python program or
distributed system, or even other languages like Java. We have implemented the
system and adopted it in our deep learning model life cycle management system
to catch the bottleneck while keeping our production code clean and highly
performant. The implementation is open-sourced at:
[https://github.com/oracle/hiq](https://github.com/oracle/hiq).
- Abstract(参考訳): 本稿では,Pythonプログラムのランタイム情報を追跡するために,非侵襲的で宣言的で動的で透過的なシステムであるHiQを提案する。
HiQはモノリシックおよび分散システム、オフラインおよびオンラインアプリケーションに使用できる。
HiQはPythonで記述された大規模なディープニューラルネットワーク(DNN)モデルを最適化するときに開発されますが、Pythonプログラムや分散システム、さらにはJavaのような他の言語にも一般化できます。
我々は,本システムを実装し,ディープラーニングモデルライフサイクル管理システムに導入し,本番コードをクリーンかつ高性能に保ちながらボトルネックを把握した。
実装は、[https://github.com/oracle/hiq](https://github.com/oracle/hiq])でオープンソース化されている。
関連論文リスト
- Cuvis.Ai: An Open-Source, Low-Code Software Ecosystem for Hyperspectral Processing and Classification [0.4038539043067986]
cuvis.aiは、データ取得、前処理、モデルトレーニングのためのオープンソースでローコードなソフトウェアエコシステムである。
パッケージはPythonで書かれており、一般的な機械学習ライブラリのラッパーを提供する。
論文 参考訳(メタデータ) (2024-11-18T06:33:40Z) - Llumnix: Dynamic Scheduling for Large Language Model Serving [17.919408899409113]
大規模言語モデル(LLM)に対する推論は、その可能性を解き放つ鍵である。
Llumnixは、実行時再スケジューリングによって、不均一で予測不能な要求に応答するLLMサービスシステムである。
Llumnixはテールレイテンシを桁違いに改善し,高優先度要求を最大1.5倍高速化し,最大36%のコスト削減を実現している。
論文 参考訳(メタデータ) (2024-06-05T13:20:18Z) - DyPyBench: A Benchmark of Executable Python Software [18.129031749321058]
我々は、Pythonプロジェクトの最初のベンチマークであるDyPyBenchを紹介します。
ベンチマークには、さまざまなアプリケーションドメインから50の人気のあるオープンソースプロジェクトが含まれており、合計681万行のPythonコードと30万のテストケースが含まれている。
我々は、DyPyBenchが他の動的解析の基礎を提供し、Pythonコードの実行時の振る舞いを研究することを想定する。
論文 参考訳(メタデータ) (2024-03-01T13:53:15Z) - PyGim: An Efficient Graph Neural Network Library for Real Processing-In-Memory Architectures [10.047157906258196]
実PIMシステム上でグラフニューラルネットワークを高速化する,効率的なMLライブラリであるPyGimを紹介する。
我々は、計算集約型およびメモリ集約型カーネルをプロセッサ中心およびメモリ中心のシステムで実行するハイブリッドGNN実行を提供する。
我々は、1992年のPIMコアを持つ実世界のPIMシステム上で、新しいGNNモデルを用いてPyGimを広範囲に評価し、Intel Xeonの最先端CPUを平均3.04倍に上回っていることを示す。
論文 参考訳(メタデータ) (2024-02-26T16:52:35Z) - Online Clustered Codebook [100.1650001618827]
オンラインコードブック学習のための簡単な代替手法であるClustering VQ-VAE(CVQ-VAE)を提案する。
弊社のアプローチでは、コード化された機能をアンカーとして選択し、デッドのコードベクタを更新すると同時に、元の損失によって生存しているコードブックを最適化する。
私たちのCVQ-VAEは、ほんの数行のコードで既存のモデルに簡単に統合できます。
論文 参考訳(メタデータ) (2023-07-27T18:31:04Z) - Continual Inference: A Library for Efficient Online Inference with Deep
Neural Networks in PyTorch [97.03321382630975]
Continual Inferenceは、PyTorchでContinuous Inference Networks(CIN)を実装するPythonライブラリである。
我々は、CINとその実装を包括的に紹介し、現代のディープラーニングのための複雑なモジュールを構成するためのベストプラクティスとコード例を提供します。
論文 参考訳(メタデータ) (2022-04-07T13:03:09Z) - PyHHMM: A Python Library for Heterogeneous Hidden Markov Models [63.01207205641885]
PyHHMM は Heterogeneous-Hidden Markov Models (HHMM) のオブジェクト指向Python実装である。
PyHHMMは、異種観測モデル、データ推論の欠如、異なるモデルの順序選択基準、半教師付きトレーニングなど、同様のフレームワークではサポートされない機能を強調している。
PyHHMMは、numpy、scipy、scikit-learn、およびシーボーンPythonパッケージに依存しており、Apache-2.0ライセンスの下で配布されている。
論文 参考訳(メタデータ) (2022-01-12T07:32:36Z) - pymdp: A Python library for active inference in discrete state spaces [52.85819390191516]
pymdpはPythonでアクティブな推論をシミュレートするオープンソースパッケージである。
我々は,POMDPによるアクティブな推論をシミュレートする,最初のオープンソースパッケージを提供する。
論文 参考訳(メタデータ) (2022-01-11T12:18:44Z) - Python Workflows on HPC Systems [2.1485350418225244]
計算集約型機械学習とデータ分析手法の最近の成功と広範な応用により、HPCシステムにおけるPythonプログラミング言語の使用が促進されている。
Pythonはユーザに対して多くの利点を提供しているが、マルチユーザ環境や並列プログラミングに重点を置いて設計されていない。
本稿では,HPCクラスタ上でのPythonの使用によって引き起こされる重要な問題を分析し,適切な回避策をスケッチする。
論文 参考訳(メタデータ) (2020-12-01T09:51:12Z) - Superiority of Simplicity: A Lightweight Model for Network Device
Workload Prediction [58.98112070128482]
本稿では,歴史観測に基づく時系列予測のための軽量な解を提案する。
ニューラルネットワークと平均予測器という2つのモデルからなる異種アンサンブル法で構成されている。
利用可能なFedCSIS 2020チャレンジデータセットの総合的なR2$スコア0.10を達成している。
論文 参考訳(メタデータ) (2020-07-07T15:44:16Z) - OPFython: A Python-Inspired Optimum-Path Forest Classifier [68.8204255655161]
本稿では,OPFythonと表記されるPythonベースのOptimum-Path Forestフレームワークを提案する。
OPFythonはPythonベースのライブラリなので、C言語よりもフレンドリーな環境とプロトタイピングの作業スペースを提供する。
論文 参考訳(メタデータ) (2020-01-28T15:46:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。