論文の概要: RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging

• arxiv url: http://arxiv.org/abs/2110.01397v1
• Date: Thu, 30 Sep 2021 09:31:11 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-05 15:47:00.419525
• Title: RED++ : Data-Free Pruning of Deep Neural Networks via Input Splitting and Output Merging
• Title（参考訳）: RED++ : 入力分割と出力マージによるディープニューラルネットワークのデータフリープルーニング
• Authors: Edouard Yvinec, Arnaud Dapogny, Matthieu Cord and Kevin Bailly
• Abstract要約: Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。 本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。 ハッシュによる精度の保存に関する理論的および実証的な保証について検討する。
• 参考スコア（独自算出の注目度）: 36.027765880474526
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pruning Deep Neural Networks (DNNs) is a prominent field of study in the goal of inference runtime acceleration. In this paper, we introduce a novel data-free pruning protocol RED++. Only requiring a trained neural network, and not specific to DNN architecture, we exploit an adaptive data-free scalar hashing which exhibits redundancies among neuron weight values. We study the theoretical and empirical guarantees on the preservation of the accuracy from the hashing as well as the expected pruning ratio resulting from the exploitation of said redundancies. We propose a novel data-free pruning technique of DNN layers which removes the input-wise redundant operations. This algorithm is straightforward, parallelizable and offers novel perspective on DNN pruning by shifting the burden of large computation to efficient memory access and allocation. We provide theoretical guarantees on RED++ performance and empirically demonstrate its superiority over other data-free pruning methods and its competitiveness with data-driven ones on ResNets, MobileNets and EfficientNets.
• Abstract（参考訳）: Pruning Deep Neural Networks (DNN) は、推論ランタイムアクセラレーションの目標において、顕著な研究分野である。 本稿では,新しいデータフリープルーニングプロトコルRED++を紹介する。 訓練されたニューラルネットワークのみを必要とし、dnnアーキテクチャに特化せず、ニューロンの重み値の冗長性を示す適応型データフリースカラーハッシュを用いる。 本研究は,ハッシングによる精度の維持と,当該冗長性の利用による予測刈り取り率に関する理論的および実証的保証について検討した。 そこで本研究では,DNN層のデータフリープルーニング手法を提案する。 このアルゴリズムは単純で並列化可能であり、大きな計算の負荷を効率よくメモリアクセスとアロケーションにシフトさせることにより、DNNプルーニングの新たな視点を提供する。 我々はRED++のパフォーマンスを理論的に保証し、ResNets、MobileNets、EfficientNets上のデータ駆動型と競合する他のデータフリープルーニングメソッドよりも優れていることを実証する。

関連論文リスト

• Harnessing Neuron Stability to Improve DNN Verification [42.65507402735545]
  我々は最近提案されたDPLLベースの制約DNN検証手法の拡張であるVeriStableを提案する。 完全接続型フィードネットワーク(FNN)、畳み込み型ニューラルネットワーク(CNN)、残留型ネットワーク(ResNet)など、さまざまな課題のあるベンチマークにおいてVeriStableの有効性を評価する。 予備的な結果は、VeriStableは、VNN-COMPの第1および第2のパフォーマーである$alpha$-$beta$-CROWNやMN-BaBなど、最先端の検証ツールよりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-01-19T23:48:04Z)
• Deep Neural Networks Tend To Extrapolate Predictably [51.303814412294514]
  ニューラルネットワークの予測は、アウト・オブ・ディストリビューション(OOD)入力に直面した場合、予測不可能で過信される傾向がある。 我々は、入力データがOODになるにつれて、ニューラルネットワークの予測が一定値に向かう傾向があることを観察する。 我々は、OOD入力の存在下でリスクに敏感な意思決定を可能にするために、私たちの洞察を実際に活用する方法を示します。
  論文  参考訳（メタデータ） (2023-10-02T03:25:32Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Comparative Analysis of Interval Reachability for Robust Implicit and Feedforward Neural Networks [64.23331120621118]
  我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。 INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。 提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
  論文  参考訳（メタデータ） (2022-04-01T03:31:27Z)
• A Mixed Integer Programming Approach for Verifying Properties of Binarized Neural Networks [44.44006029119672]
  BNN検証のための混合整数計画法を提案する。 我々は,MNISTデータセットと航空機衝突回避制御器を用いて訓練したBNNの特性を検証することによって,我々のアプローチを実証する。
  論文  参考訳（メタデータ） (2022-03-11T01:11:29Z)
• RED : Looking for Redundancies for Data-Free Structured Compression of Deep Neural Networks [36.027765880474526]
  我々は、構造化プルーニングに取り組むために、データフリーで構造化された統一的なアプローチREDを提案する。 まず、同一ニューロンの数を増やすために、スカラー重量分布密度を適応的にハッシュする手法を提案する。 第2に、それらの距離によって定義される相対的類似性に基づいて、冗長ニューロンをマージすることで、ネットワークを訓練する。 第3に,畳み込み層をさらに深層化するための不均一な分離手法を提案する。
  論文  参考訳（メタデータ） (2021-05-31T08:44:14Z)
• S2-BNN: Bridging the Gap Between Self-Supervised Real and 1-bit Neural Networks via Guided Distribution Calibration [74.5509794733707]
  本研究では, 実数値から, 最終予測分布上のバイナリネットワークへの誘導型学習パラダイムを提案する。 提案手法は,bnn上で5.515%の絶対利得で,単純なコントラスト学習ベースラインを向上できる。 提案手法は、単純なコントラスト学習ベースラインよりも大幅に改善され、多くの主流教師付きBNN手法に匹敵する。
  論文  参考訳（メタデータ） (2021-02-17T18:59:28Z)
• Online Limited Memory Neural-Linear Bandits with Likelihood Matching [53.18698496031658]
  本研究では,探索学習と表現学習の両方が重要な役割を果たす課題を解決するために,ニューラルネットワークの帯域について検討する。 破滅的な忘れ込みに対して耐性があり、完全にオンラインである可能性の高いマッチングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-07T14:19:07Z)
• Encoding the latent posterior of Bayesian Neural Networks for uncertainty quantification [10.727102755903616]
  我々は,複雑なコンピュータビジョンアーキテクチャに適した効率的な深部BNNを目指している。 可変オートエンコーダ(VAE)を利用して、各ネットワーク層におけるパラメータの相互作用と潜在分布を学習する。 我々のアプローチであるLatent-Posterior BNN(LP-BNN)は、最近のBatchEnsemble法と互換性があり、高い効率(トレーニングとテストの両方における計算とメモリ)のアンサンブルをもたらす。
  論文  参考訳（メタデータ） (2020-12-04T19:50:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。