論文の概要: DeepContext: A Context-aware, Cross-platform, and Cross-framework Tool for Performance Profiling and Analysis of Deep Learning Workloads
- arxiv url: http://arxiv.org/abs/2411.02797v1
- Date: Tue, 05 Nov 2024 04:15:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-06 14:59:14.082231
- Title: DeepContext: A Context-aware, Cross-platform, and Cross-framework Tool for Performance Profiling and Analysis of Deep Learning Workloads
- Title（参考訳）: DeepContext: パフォーマンスプロファイリングとディープラーニングワークロード分析のためのコンテキスト対応、クロスプラットフォーム、クロスフレームワークツール
- Authors: Qidong Zhao, Hao Wu, Yuming Hao, Zilingfeng Ye, Jiajia Li, Xu Liu, Keren Zhou,
- Abstract要約: 本稿では,高レベルのPythonコード,ディープラーニングフレームワーク,C/C++で記述された基盤ライブラリ,GPU上で実行されるデバイスコードなど,プログラムコンテキストをリンクする新しいプロファイラであるDeepContextを紹介する。
DeepContextには、PyTorchやJAXといった主要なディープラーニングフレームワークのための粗いパフォーマンスメトリクスときめ細かいパフォーマンスメトリクスの両方が組み込まれています。
さらにDeepContextは、ユーザがホットスポットを素早く識別できる新しいGUIと、パフォーマンスメトリクスとプログラムコンテキストに基づいた潜在的な最適化をユーザに提案する革新的な自動パフォーマンスアナライザを統合している。
- 参考スコア（独自算出の注目度）: 5.987963635879264
- License:
- Abstract: Effective performance profiling and analysis are essential for optimizing training and inference of deep learning models, especially given the growing complexity of heterogeneous computing environments. However, existing tools often lack the capability to provide comprehensive program context information and performance optimization insights for sophisticated interactions between CPUs and GPUs. This paper introduces DeepContext, a novel profiler that links program contexts across high-level Python code, deep learning frameworks, underlying libraries written in C/C++, as well as device code executed on GPUs. DeepContext incorporates measurements of both coarse- and fine-grained performance metrics for major deep learning frameworks, such as PyTorch and JAX, and is compatible with GPUs from both Nvidia and AMD, as well as various CPU architectures, including x86 and ARM. In addition, DeepContext integrates a novel GUI that allows users to quickly identify hotpots and an innovative automated performance analyzer that suggests users with potential optimizations based on performance metrics and program context. Through detailed use cases, we demonstrate how DeepContext can help users identify and analyze performance issues to enable quick and effective optimization of deep learning workloads. We believe Deep Context is a valuable tool for users seeking to optimize complex deep learning workflows across multiple compute environments.
- Abstract（参考訳）: ディープラーニングモデルのトレーニングと推論を最適化するためには、効果的なパフォーマンスプロファイリングと分析が不可欠である。
しかし、既存のツールは、CPUとGPU間の洗練されたインタラクションのための包括的なプログラムコンテキスト情報とパフォーマンス最適化の洞察を提供する能力に欠けることが多い。
本稿では,高レベルのPythonコード,ディープラーニングフレームワーク,C/C++で記述された基盤ライブラリ,GPU上で実行されるデバイスコードなど,プログラムコンテキストをリンクする新しいプロファイラであるDeepContextを紹介する。
DeepContextには、PyTorchやJAXといった主要なディープラーニングフレームワークの粗いパフォーマンスメトリクスときめ細かいパフォーマンスメトリクスの両方が含まれており、NvidiaやAMDのGPU、x86やARMといったさまざまなCPUアーキテクチャと互換性がある。
さらにDeepContextは、ユーザがホットスポットを素早く識別できる新しいGUIと、パフォーマンスメトリクスとプログラムコンテキストに基づいた潜在的な最適化をユーザに提案する革新的な自動パフォーマンスアナライザを統合している。
詳細なユースケースを通じて、ディープラーニングワークロードの迅速かつ効果的な最適化を実現するために、DeepContextがパフォーマンス上の問題を特定し分析する上で、どのように役立つかを実証する。
Deep Contextは、複数の計算環境にまたがる複雑なディープラーニングワークフローを最適化しようとするユーザにとって、貴重なツールだと思います。
関連論文リスト
- Leveraging Visual Tokens for Extended Text Contexts in Multi-Modal Learning [68.43706033424378]
本研究では,大規模言語モデル(MLLM)において,テキスト中のテキスト長を効率的に向上する革新的な手法を提案する。
視覚トークンを用いて長文のテキストを処理するビジュアルインコンテキストテキスト処理(VisInContext)を提案する。
この技術は、トレーニングおよび推論段階の両方において、GPUメモリ使用率と浮動小数点演算(FLOP)を大幅に削減する。
論文 参考訳（メタデータ） (2024-06-04T17:59:25Z) - Harnessing Deep Learning and HPC Kernels via High-Level Loop and Tensor Abstractions on CPU Architectures [67.47328776279204]
この研究は、効率的でポータブルなDeep LearningとHigh Performance Computingカーネルを開発するためのフレームワークを導入している。
1)プロセッシングプリミティブ(TPP)を用いた計算コアの表現と,2)高レベルな宣言的手法でTPPのまわりの論理ループの表現の2つのステップでカーネルの開発を分解する。
我々は、スタンドアロンカーネルと、さまざまなCPUプラットフォームにおける最先端実装よりも優れたエンドツーエンドワークロードを使用して、このアプローチの有効性を実証する。
論文 参考訳（メタデータ） (2023-04-25T05:04:44Z) - Towards making the most of NLP-based device mapping optimization for
OpenCL kernels [5.6596607119831575]
我々は、加速されたOpenCLカーネルのための最適なデバイス選択(CPUまたはGPU)の問題に取り組むCummins et al.、すなわちDeeptuneの開発を拡張した。
ソースコードの文脈情報を拡張した4つの異なるモデルを提案する。
実験の結果,提案手法はCumminsらの手法を上回り,予測精度を最大4%向上させることがわかった。
論文 参考訳（メタデータ） (2022-08-30T10:20:55Z) - Deep Learning Models on CPUs: A Methodology for Efficient Training [1.7150798380270715]
本稿では,CPUを用いた深層学習モデルの学習にいくつかの貢献をする。
これは、Intel CPU上でディープラーニングモデルのトレーニングを最適化する手法と、ProfileDNNと呼ばれるツールキットを提供する。
論文 参考訳（メタデータ） (2022-06-20T22:42:14Z) - Context-based Deep Learning Architecture with Optimal Integration Layer
for Image Parsing [0.0]
提案した3層コンテキストベースディープアーキテクチャは、コンテキストを視覚情報と明示的に統合することができる。
ベンチマークデータセットで評価した場合の実験結果は有望である。
論文 参考訳（メタデータ） (2022-04-13T07:35:39Z) - SOLIS -- The MLOps journey from data acquisition to actionable insights [62.997667081978825]
本稿では,基本的なクロスプラットフォームテンソルフレームワークとスクリプト言語エンジンを使用しながら,すべての要件をサポートする統合デプロイメントパイプラインとフリー・ツー・オペレートアプローチを提案する。
しかし、このアプローチは、実際のプロダクショングレードシステムに機械学習機能を実際にデプロイするために必要な手順やパイプラインを提供していない。
論文 参考訳（メタデータ） (2021-12-22T14:45:37Z) - Providing Meaningful Data Summarizations Using Examplar-based Clustering
in Industry 4.0 [67.80123919697971]
我々は,従来のCPUアルゴリズムと比較して,一精度で最大72倍,半精度で最大452倍の高速化を実現していることを示す。
提案アルゴリズムは射出成形プロセスから得られた実世界のデータに適用し, 得られたサマリーが, コスト削減と不良部品製造の削減のために, この特定のプロセスのステアリングにどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2021-05-25T15:55:14Z) - Comparative Code Structure Analysis using Deep Learning for Performance
Prediction [18.226950022938954]
本稿では,アプリケーションの静的情報(抽象構文木やASTなど)を用いてコード構造の変化に基づいて性能変化を予測することの実現可能性を評価することを目的とする。
組込み学習手法の評価により,木系長短メモリ(LSTM)モデルでは,ソースコードの階層構造を利用して遅延表現を発見し,最大84%(個人的問題)と73%(複数の問題を含む組み合わせデータセット)の精度で性能変化を予測できることが示された。
論文 参考訳（メタデータ） (2021-02-12T16:59:12Z) - PolyDL: Polyhedral Optimizations for Creation of High Performance DL
primitives [55.79741270235602]
本稿では,Deep Learningプリミティブの高性能実装を自動的に生成するコンパイラアルゴリズムを提案する。
我々は多面体モデルを用いた新しいデータ再利用分析アルゴリズムを開発した。
また、このようなハイブリッドコンパイラとライブラリ使用の最小限のアプローチが、最先端のパフォーマンスをもたらすことを示す。
論文 参考訳（メタデータ） (2020-06-02T06:44:09Z) - Image Matching across Wide Baselines: From Paper to Practice [80.9424750998559]
局所的な特徴とロバストな推定アルゴリズムの包括的なベンチマークを導入する。
パイプラインのモジュール構造は、さまざまなメソッドの容易な統合、構成、組み合わせを可能にします。
適切な設定で、古典的な解決策は依然として芸術の知覚された状態を上回る可能性があることを示す。
論文 参考訳（メタデータ） (2020-03-03T15:20:57Z) - Towards High Performance Java-based Deep Learning Frameworks [0.22940141855172028]
現代のクラウドサービスは、高速で効率的なデータ処理の需要を定めている。
この需要は、ディープラーニング、データマイニング、コンピュータビジョンなど、多くのアプリケーション領域に共通している。
本稿では、JavaベースのディープラーニングフレームワークであるDeep Nettsを透過的に高速化する最先端のプログラミングフレームワークであるTornadoVMを採用しました。
論文 参考訳（メタデータ） (2020-01-13T13:03:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。