論文の概要: STen: Productive and Efficient Sparsity in PyTorch

• arxiv url: http://arxiv.org/abs/2304.07613v1
• Date: Sat, 15 Apr 2023 18:37:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-18 18:17:08.358866
• Title: STen: Productive and Efficient Sparsity in PyTorch
• Title（参考訳）: STEN: PyTorchの生産性と効率性
• Authors: Andrei Ivanov, Nikoli Dryden, Tal Ben-Nun, Saleh Ashkboos, Torsten Hoefler
• Abstract要約: 専門のスパシティエンジンはスパース推論にのみ焦点をあて、一般的なフレームワークは古典的なフォーマットのスパースに重点を置いている。 本稿では,空間レイアウト,演算子,スペーサを効率よくカスタマイズ可能なフレームワークに組み込んだ,PyTorch用のスペーサプログラミングモデルとインタフェースであるSTenを提案する。 STenは、MLコミュニティに高いパフォーマンスと使いやすさをもたらし、スパーシビリティを容易にアクセスできるようにする。
• 参考スコア（独自算出の注目度）: 15.296016894048874
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As deep learning models grow, sparsity is becoming an increasingly critical component of deep neural networks, enabling improved performance and reduced storage. However, existing frameworks offer poor support for sparsity. Specialized sparsity engines focus exclusively on sparse inference, while general frameworks primarily focus on sparse tensors in classical formats and neglect the broader sparsification pipeline necessary for using sparse models, especially during training. Further, existing frameworks are not easily extensible: adding a new sparse tensor format or operator is challenging and time-consuming. To address this, we propose STen, a sparsity programming model and interface for PyTorch, which incorporates sparsity layouts, operators, and sparsifiers, in an efficient, customizable, and extensible framework that supports virtually all sparsification methods. We demonstrate this by developing a high-performance grouped n:m sparsity layout for CPU inference at moderate sparsity. STen brings high performance and ease of use to the ML community, making sparsity easily accessible.
• Abstract（参考訳）: ディープラーニングモデルが成長するにつれて、疎性はディープニューラルネットワークの重要なコンポーネントとなり、パフォーマンスの向上とストレージの削減を可能にしている。 しかし、既存のフレームワークはsparsityに対するサポートが不十分である。 特殊スパーシティエンジンはスパース推論に特化しているが、一般的なフレームワークは主に古典的なフォーマットにおけるスパーステンソルに重点を置いており、スパースモデルを使用するのに必要なより広いスパース化パイプラインを特にトレーニング中に無視している。 さらに、既存のフレームワークは拡張が容易ではない。新しいスパーステンソルフォーマットや演算子の追加は困難で時間がかかります。 そこで我々は,pytorchのスパルシティプログラミングモデルとインタフェースであるstenを提案する。スパルシティレイアウト,オペレータ,およびスパルシファイザを,事実上すべてのスパルシフィケーションメソッドをサポートする効率的でカスタマイズ可能な拡張可能なフレームワークに組み込む。 我々は,CPU推論のための高パフォーマンスなグループ化n:m間隔レイアウトを適度な間隔で開発することでこれを実証する。 STenは、MLコミュニティに高いパフォーマンスと使いやすさをもたらし、スパーシビリティを容易にアクセスできるようにする。

関連論文リスト

• CRISP: Hybrid Structured Sparsity for Class-aware Model Pruning [4.775684973625185]
  機械学習パイプラインは、幅広いクラスにわたる正確性を達成するために、普遍的なモデルを訓練することが多い。 この格差は、ユーザー固有のクラスにフォーカスするようにモデルを調整することで、計算効率を高める機会を提供する。 細粒度N:M構造と粗粒度ブロックの粒度を組み合わせた新しい刈り込みフレームワークCRISPを提案する。 我々のプルーニング戦略は、勾配に基づくクラス対応サリエンシスコアによって導かれ、ユーザ固有のクラスに不可欠なウェイトを維持できる。
  論文  参考訳（メタデータ） (2023-11-24T04:16:32Z)
• Accurate Neural Network Pruning Requires Rethinking Sparse Optimization [87.90654868505518]
  標準コンピュータビジョンと自然言語処理の疎度ベンチマークを用いたモデルトレーニングにおいて,高い疎度が与える影響について述べる。 本稿では,視覚モデルのスパース事前学習と言語モデルのスパース微調整の両面において,この問題を軽減するための新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-03T21:49:14Z)
• Dynamic Sparsity Is Channel-Level Sparsity Learner [91.31071026340746]
  ダイナミックスパーストレーニング(Dynamic Sparse Training, DST)は、ススパーストレーニングの指導的アプローチである。 チャネル対応動的スパース(Chase)は、非構造的動的スパースをチャネルレベルのスパースにシームレスに変換する。 提案手法は,非構造的空間性からチャネルワイド空間性へ変換する。
  論文  参考訳（メタデータ） (2023-05-30T23:33:45Z)
• $\nabla$SD: Differentiable Programming for Sparse Tensors [0.19336815376402716]
  スパーステンソルの効率的な微分を可能にする新しいフレームワークを提案する。 提案手法の有効性を,性能と拡張性の観点から実証した。 我々のアプローチは、機械学習、自然言語処理、科学計算において多くの応用に重大な影響を及ぼす。
  論文  参考訳（メタデータ） (2023-03-13T11:45:48Z)
• FSCNN: A Fast Sparse Convolution Neural Network Inference System [31.474696818171953]
  畳み込みニューラルネットワーク(CNN)は目覚ましい成功を収めているが、通常は高い計算コストと多くの冗長な重みパラメータが伴う。 FLOPを小さくするためには、粗粒の粗さを導入して隠蔽構造全体を除去する構造刈りが一般的である。 圧縮されたCNNの微細な粒度を利用した効率的な畳み込みニューラルネットワーク推論システムを提案する。
  論文  参考訳（メタデータ） (2022-12-17T06:44:58Z)
• Top-KAST: Top-K Always Sparse Training [50.05611544535801]
  トレーニングを通して一定間隔を保存するTop-KASTを提案する。 確立したImageNetベンチマークのトレーニングモデルでは,従来の作業と同等かそれ以上に動作可能であることを示す。 ImageNetの結果に加えて、言語モデリングの分野においても、我々のアプローチを実証しています。
  論文  参考訳（メタデータ） (2021-06-07T11:13:05Z)
• Sparsity in Deep Learning: Pruning and growth for efficient inference and training in neural networks [78.47459801017959]
  Sparsityは、モバイル機器に適合する通常のネットワークのメモリフットプリントを減らすことができる。 ニューラルネットワークの要素を除去および追加するためのアプローチ、モデルの疎性を達成するための異なるトレーニング戦略、実際に疎性を利用するメカニズムについて説明する。
  論文  参考訳（メタデータ） (2021-01-31T22:48:50Z)
• Prior Guided Feature Enrichment Network for Few-Shot Segmentation [64.91560451900125]
  最先端のセマンティックセグメンテーション手法は、良い結果を得るために十分なラベル付きデータを必要とする。 少数のラベル付きサポートサンプルを持つ新しいクラスに迅速に適応するモデルを学習することで,この問題に対処するためのショットセグメンテーションが提案されている。 これらのフレームワークは、高レベルのセマンティック情報の不適切な使用により、目に見えないクラスにおける一般化能力の低下という課題に直面している。
  論文  参考訳（メタデータ） (2020-08-04T10:41:32Z)
• Neural Network Compression Framework for fast model inference [59.65531492759006]
  我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。 様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。 フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
  論文  参考訳（メタデータ） (2020-02-20T11:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。