論文の概要: Streamlining Tensor and Network Pruning in PyTorch
- arxiv url: http://arxiv.org/abs/2004.13770v1
- Date: Tue, 28 Apr 2020 18:39:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-08 22:23:32.886308
- Title: Streamlining Tensor and Network Pruning in PyTorch
- Title（参考訳）: PyTorchにおけるストリーニングテンソルとネットワークプルーニング
- Authors: Michela Paganini and Jessica Forde
- Abstract要約: コミュニティは、モデル圧縮の中心戦略として、プルーニング、量子化、蒸留といった技術に注目してきた。
我々はPyTorch torch.nn.utils.pruneモジュールを紹介した。
- 参考スコア（独自算出の注目度）: 0.913755431537592
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In order to contrast the explosion in size of state-of-the-art machine
learning models that can be attributed to the empirical advantages of
over-parametrization, and due to the necessity of deploying fast, sustainable,
and private on-device models on resource-constrained devices, the community has
focused on techniques such as pruning, quantization, and distillation as
central strategies for model compression. Towards the goal of facilitating the
adoption of a common interface for neural network pruning in PyTorch, this
contribution describes the recent addition of the PyTorch torch.nn.utils.prune
module, which provides shared, open source pruning functionalities to lower the
technical implementation barrier to reducing model size and capacity before,
during, and/or after training. We present the module's user interface,
elucidate implementation details, illustrate example usage, and suggest ways to
extend the contributed functionalities to new pruning methods.
- Abstract（参考訳）: オーバーパラメトリゼーションの実証的な利点と、リソース制約のあるデバイスに高速で持続可能な、プライベートなオンデバイスモデルをデプロイする必要があることによる、最先端の機械学習モデルの爆発と対照的に、コミュニティはモデル圧縮の中心的な戦略として、刈り取り、量子化、蒸留といった技術に焦点を当ててきた。
このコントリビューションは、PyTorchでのニューラルネットワークプルーニングのための共通インターフェースの採用を促進することを目的として、最近追加されたPyTorch torch.nn.utils.pruneモジュールについて説明する。これは、共有されたオープンソースのプルーニング機能を提供し、トレーニング前後のモデルサイズとキャパシティを低減するための技術的実装障壁を低くするものだ。
本稿では,モジュールのユーザインタフェース,実装詳細の解明,サンプル使用例の紹介,提案する機能を新しいプルーニングメソッドに拡張する方法を提案する。
関連論文リスト
- Interpretations Steered Network Pruning via Amortized Inferred Saliency
Maps [85.49020931411825]
限られたリソースを持つエッジデバイスにこれらのモデルをデプロイするには、畳み込みニューラルネットワーク(CNN)圧縮が不可欠である。
本稿では,新しい視点からチャネルプルーニング問題に対処するために,モデルの解釈を活用して,プルーニング過程を解析する手法を提案する。
本研究では,実時間スムーズなスムーズなスムーズなスムーズなマスク予測を行うセレクタモデルを導入することで,この問題に対処する。
論文 参考訳（メタデータ） (2022-09-07T01:12:11Z) - Automatic Block-wise Pruning with Auxiliary Gating Structures for Deep
Convolutional Neural Networks [9.293334856614628]
本稿では,補助ゲーティング構造を有する新しいネットワーク切断法を提案する。
実験により,本手法は分類タスクの最先端圧縮性能を実現することができることを示した。
論文 参考訳（メタデータ） (2022-05-07T09:03:32Z) - Paoding: Supervised Robustness-preserving Data-free Neural Network
Pruning [3.6953655494795776]
エンフェータフリーコンテキストにおけるニューラルネットワークのプルーニングについて検討する。
従来の攻撃的なワンショット戦略を、プルーニングを進歩的なプロセスとして扱う保守的な戦略に置き換えます。
提案手法は,TextscPaodingというPythonパッケージとして実装され,多様なニューラルネットワークモデルに関する一連の実験により評価された。
論文 参考訳（メタデータ） (2022-04-02T07:09:17Z) - Differentiable Network Pruning for Microcontrollers [14.864940447206871]
本稿では,畳み込みニューラルネットワークのための可変構造型ネットワークプルーニング法を提案する。
モデル固有のリソース使用量とパラメータ重要度フィードバックを統合し、高度に圧縮されかつ正確な分類モデルを得る。
論文 参考訳（メタデータ） (2021-10-15T20:26:15Z) - Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。
この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。
ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2021-10-01T10:03:57Z) - Dirichlet Pruning for Neural Network Compression [10.77469946354744]
本稿では,大きなニューラルネットワークモデルを圧縮モデルに変換する新しい手法であるDirichlet pruningを紹介する。
VGGやResNetのような大規模アーキテクチャに関する広範な実験を行う。
提案手法は,最先端の圧縮性能を実現し,副産物として解釈可能な特徴を提供する。
論文 参考訳（メタデータ） (2020-11-10T21:04:37Z) - Learning Context-Based Non-local Entropy Modeling for Image Compression [140.64888994506313]
本稿では,文脈内でのグローバルな類似性を利用して,文脈モデリングのための非局所的操作を提案する。
エントロピーモデルはさらに、結合速度歪み最適化における速度損失として採用されている。
低歪みモデルのトレーニングに変換の幅が不可欠であることを考えると、最終的に変換のU-Netブロックを生成して、管理可能なメモリ消費と時間複雑性で幅を拡大する。
論文 参考訳（メタデータ） (2020-05-10T13:28:18Z) - Neural Network Compression Framework for fast model inference [59.65531492759006]
我々は、ニューラルネットワーク圧縮フレームワーク(NNCF)と呼ばれる、微調整によるニューラルネットワーク圧縮のための新しいフレームワークを提案する。
様々なネットワーク圧縮手法の最近の進歩を活用し、空間性、量子化、双項化などのいくつかの実装を行っている。
フレームワークは、トレーニングサンプル内に提供され、あるいは既存のトレーニングコードにシームレスに統合可能なスタンドアロンパッケージとして使用することができる。
論文 参考訳（メタデータ） (2020-02-20T11:24:01Z) - Structured Sparsification with Joint Optimization of Group Convolution
and Channel Shuffle [117.95823660228537]
本稿では,効率的なネットワーク圧縮のための新しい構造空間分割法を提案する。
提案手法は, 畳み込み重みに対する構造的疎度を自動的に誘導する。
また,学習可能なチャネルシャッフル機構によるグループ間通信の問題にも対処する。
論文 参考訳（メタデータ） (2020-02-19T12:03:10Z) - Learning End-to-End Lossy Image Compression: A Benchmark [90.35363142246806]
まず,学習した画像の圧縮方法に関する総合的な文献調査を行う。
本稿では,最先端の学習画像圧縮手法のマイルストーンについて述べるとともに,既存の幅広い作品について概観し,その歴史的開発ルートについて考察する。
エントロピー推定と信号再構成のための粗大な超高次モデルを導入することにより、速度歪み性能の向上を実現する。
論文 参考訳（メタデータ） (2020-02-10T13:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。