Fugu-MT 論文翻訳(概要): Scorch: A Library for Sparse Deep Learning

論文の概要: Scorch: A Library for Sparse Deep Learning

arxiv url: http://arxiv.org/abs/2405.16883v2
Date: Thu, 20 Jun 2024 06:24:23 GMT
ステータス: 処理完了
システム内更新日: 2024-06-22 03:49:28.191631
Title: Scorch: A Library for Sparse Deep Learning
Title（参考訳）: Scorch: 疎いディープラーニングのためのライブラリ
Authors: Bobby Yan, Alexander J. Root, Trevor Gale, David Broman, Fredrik Kjolstad,
Abstract要約: 我々は,効率的なスパーステンソル計算をPyTorchエコシステムにシームレスに統合するライブラリであるScorchを紹介する。 Scorcherはスパーステンソルのためのフレキシブルで直感的なインターフェースを提供し、多様なスパースデータ構造をサポートする。複数のドメインにわたる多様なディープラーニングモデルにおいて、Scorchの使いやすさとパフォーマンス向上を実証する。
参考スコア（独自算出の注目度）: 41.62614683452247
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The rapid growth in the size of deep learning models strains the capabilities of traditional dense computation paradigms. Leveraging sparse computation has become increasingly popular for training and deploying large-scale models, but existing deep learning frameworks lack extensive support for sparse operations. To bridge this gap, we introduce Scorch, a library that seamlessly integrates efficient sparse tensor computation into the PyTorch ecosystem, with an initial focus on inference workloads on CPUs. Scorch provides a flexible and intuitive interface for sparse tensors, supporting diverse sparse data structures. Scorch introduces a compiler stack that automates key optimizations, including automatic loop ordering, tiling, and format inference. Combined with a runtime that adapts its execution to both dense and sparse data, Scorch delivers substantial speedups over hand-written PyTorch Sparse (torch.sparse) operations without sacrificing usability. More importantly, Scorch enables efficient computation of complex sparse operations that lack hand-optimized PyTorch implementations. This flexibility is crucial for exploring novel sparse architectures. We demonstrate Scorch's ease of use and performance gains on diverse deep learning models across multiple domains. With only minimal code changes, Scorch achieves 1.05-5.78x speedups over PyTorch Sparse on end-to-end tasks. Scorch's seamless integration and performance gains make it a valuable addition to the PyTorch ecosystem. We believe Scorch will enable wider exploration of sparsity as a tool for scaling deep learning and inform the development of other sparse libraries.
Abstract（参考訳）: ディープラーニングモデルのサイズの急激な成長は、従来の密集計算パラダイムの能力を損なう。スパース計算の活用は、大規模モデルのトレーニングとデプロイでますます人気になっているが、既存のディープラーニングフレームワークではスパース演算に対する広範なサポートがない。このギャップを埋めるために、我々はPyTorchエコシステムに効率的なスパーステンソル計算をシームレスに統合するライブラリであるScorchを紹介した。 Scorchはスパーステンソルのためのフレキシブルで直感的なインターフェースを提供し、多様なスパースデータ構造をサポートする。 Scorch氏は、自動ループ順序付け、タイリング、フォーマット推論など、重要な最適化を自動化するコンパイラスタックを紹介した。 Scorchは、その実行を高密度データとスパースデータの両方に適応させるランタイムと組み合わせることで、ユーザビリティを犠牲にすることなく、手書きのPyTorch Sparse(torch.sparse)操作を大幅に高速化する。さらに重要なのは、手動最適化されたPyTorch実装を欠いた複雑なスパース操作の効率的な計算を可能にすることだ。この柔軟性は、新しいスパースアーキテクチャの探索に不可欠である。複数のドメインにわたる多様なディープラーニングモデルにおいて、Scorchの使いやすさとパフォーマンス向上を実証する。最小限のコードの変更だけで、ScorchはPyTorch Sparse上の1.05-5.78xのスピードアップをエンドツーエンドタスクで達成する。 Scorchのシームレスな統合とパフォーマンスの向上は、PyTorchエコシステムに価値ある追加となる。 Scorchは、深層学習を拡大し、他のスパースライブラリの開発を知らせるツールとして、より広い範囲でのスパーシティの探索を可能にすると信じています。

関連論文リスト

iSpLib: A Library for Accelerating Graph Neural Networks using Auto-tuned Sparse Operations [1.3030767447016454]
iSpLibは、自動調整されたスパース操作を備えたPyTorchベースのC++ライブラリである。 iSpLibは、CPU上のPyTorch 2.1.0とPyTorch Geometric 2.4.0と同等のPyTorch 2.1.0と比較して、最大27倍のトレーニングスピードアップが得られることを示した。
論文参考訳（メタデータ） (2024-03-21T21:56:44Z)
TensorKrowch: Smooth integration of tensor networks in machine learning [46.0920431279359]
PyTorch上に構築されたオープンソースのPythonライブラリであるKrowchを紹介します。ユーザは任意のテンソルネットワークを構築してトレーニングし、より複雑なディープラーニングモデルにレイヤとして統合することができる。
論文参考訳（メタデータ） (2023-06-14T15:55:19Z)
TorchBench: Benchmarking PyTorch with High API Surface Coverage [9.68698340637426]
我々は、PyTorchソフトウェアスタックの性能を研究するための新しいベンチマークスイートであるTorchBenchを提案する。 TorchBenchは、PyTorchソフトウェアスタックのパフォーマンスを包括的に特徴付けることができる。本稿では,TorchBenchの実用例を2つ紹介する。
論文参考訳（メタデータ） (2023-04-27T14:37:05Z)
CloudAttention: Efficient Multi-Scale Attention Scheme For 3D Point Cloud Learning [81.85951026033787]
この作業にトランスフォーマーをセットし、それらを形状分類と部分およびシーンセグメンテーションのための階層的なフレームワークに組み込む。また、各イテレーションにおけるサンプリングとグループ化を活用して、効率的でダイナミックなグローバルなクロスアテンションを計算します。提案した階層モデルは,最先端の形状分類を平均精度で達成し,従来のセグメンテーション法と同等の結果を得る。
論文参考訳（メタデータ） (2022-07-31T21:39:15Z)
tntorch: Tensor Network Learning with PyTorch [26.544996974928583]
tntorchは、複数の分解をサポートするテンソル学習フレームワークである。微分可能なテンソル代数、ランクトランケーション、クロス近似、バッチ処理、包括的なテンソル算術などを実装している。
論文参考訳（メタデータ） (2022-06-22T14:19:15Z)
OpTorch: Optimized deep learning architectures for resource limited environments [1.5736899098702972]
時間や記憶など多面的に最適化された深層学習パイプラインを提案します。 OpTorchは、ニューラルネットワークトレーニングの既存の実装の弱点を克服するために設計された機械学習ライブラリである。
論文参考訳（メタデータ） (2021-05-03T03:58:57Z)
DeepReduce: A Sparse-tensor Communication Framework for Distributed Deep Learning [79.89085533866071]
本稿では,スパーステンソルの圧縮通信のための汎用的フレームワークであるDeepReduceを紹介する。 DeepReduceはテンソルを2つの集合、値とインデックスに分解し、これらの集合の独立圧縮と結合圧縮を可能にする。大規模実モデルを用いた実験により,DeepReduceはデータ転送を少なくし,既存の手法よりも計算オーバーヘッドを小さくすることを示した。
論文参考訳（メタデータ） (2021-02-05T11:31:24Z)
Captum: A unified and generic model interpretability library for PyTorch [49.72749684393332]
我々は,PyTorch用の新しい,統一されたオープンソースモデル解釈可能性ライブラリを紹介する。このライブラリには、多くの勾配と摂動に基づく属性アルゴリズムの汎用的な実装が含まれている。分類モデルと非分類モデルの両方に使用できる。
論文参考訳（メタデータ） (2020-09-16T18:57:57Z)
HeAT -- a Distributed and GPU-accelerated Tensor Framework for Data Analytics [0.0]
HeATは、大規模並列処理のための配列ベースの数値プログラミングフレームワークで、簡単に使えるNumPyライクなAPIがある。 HeATはPyTorchをノードローカルな熱心な実行エンジンとして使用し、MPIを介して任意の規模の大規模高性能コンピューティングシステムにワークロードを分散する。同様のフレームワークと比較すると、HeATは最大2桁のスピードアップを達成する。
論文参考訳（メタデータ） (2020-07-27T13:33:17Z)
Torch-Struct: Deep Structured Prediction Library [138.5262350501951]
本稿では,構造化予測ライブラリTorch-Structを紹介する。 Torch-Structには,シンプルで柔軟な分散ベースのAPIを通じてアクセスされる,確率的構造の広範なコレクションが含まれている。
論文参考訳（メタデータ） (2020-02-03T16:43:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。