論文の概要: Dirichlet Pruning for Neural Network Compression

• arxiv url: http://arxiv.org/abs/2011.05985v3
• Date: Mon, 8 Mar 2021 23:37:45 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-27 06:56:57.291898
• Title: Dirichlet Pruning for Neural Network Compression
• Title（参考訳）: ニューラルネットワーク圧縮のためのディリクレプルーニング
• Authors: Kamil Adamczewski, Mijung Park
• Abstract要約: 本稿では,大きなニューラルネットワークモデルを圧縮モデルに変換する新しい手法であるDirichlet pruningを紹介する。 VGGやResNetのような大規模アーキテクチャに関する広範な実験を行う。 提案手法は,最先端の圧縮性能を実現し,副産物として解釈可能な特徴を提供する。
• 参考スコア（独自算出の注目度）: 10.77469946354744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce Dirichlet pruning, a novel post-processing technique to transform a large neural network model into a compressed one. Dirichlet pruning is a form of structured pruning that assigns the Dirichlet distribution over each layer's channels in convolutional layers (or neurons in fully-connected layers) and estimates the parameters of the distribution over these units using variational inference. The learned distribution allows us to remove unimportant units, resulting in a compact architecture containing only crucial features for a task at hand. The number of newly introduced Dirichlet parameters is only linear in the number of channels, which allows for rapid training, requiring as little as one epoch to converge. We perform extensive experiments, in particular on larger architectures such as VGG and ResNet (45% and 58% compression rate, respectively) where our method achieves the state-of-the-art compression performance and provides interpretable features as a by-product.
• Abstract（参考訳）: 本稿では,大規模ニューラルネットワークモデルを圧縮モデルに変換する新しい後処理手法であるdirichlet pruningを紹介する。 ディリクレプルーニング(dirichlet pruning)は、畳み込み層(または完全連結層内のニューロン)内の各層チャネル上のディリクレ分布を割り当て、変動推論を用いてこれらのユニット上の分布のパラメータを推定する構造プルーニングの一形態である。 学習した分布は、重要でないユニットを除去することができ、その結果、手元にあるタスクにとって重要な機能のみを含むコンパクトなアーキテクチャとなる。 新たに導入されたディリクレパラメータの数は、チャネル数でのみ線形であり、迅速なトレーニングが可能で、1つのエポックを収束させる必要がほとんどない。 VGG や ResNet (それぞれ45% と 58% の圧縮率) のような大規模アーキテクチャでは, 最先端の圧縮性能を実現し, 副産物として解釈可能な機能を提供している。

関連論文リスト

• Group channel pruning and spatial attention distilling for object detection [2.8675002818821542]
  動的スパーストレーニング,グループチャネルプルーニング,空間アテンション蒸留という3段階モデル圧縮手法を提案する。 本手法は,モデルのパラメータを64.7%削減し,計算量を34.9%削減する。
  論文  参考訳（メタデータ） (2023-06-02T13:26:23Z)
• Approximating Continuous Convolutions for Deep Network Compression [11.566258236184964]
  本稿では,畳み込みニューラルネットワークの層を圧縮する新しい手法であるApproxConvを提案する。 提案手法では,既存の深層ネットワークモデルを半分に圧縮できるが,精度は1.86%に留まる。
  論文  参考訳（メタデータ） (2022-10-17T11:41:26Z)
• OPQ: Compressing Deep Neural Networks with One-shot Pruning-Quantization [32.60139548889592]
  本稿では,新しいワンショットプルーニング量子化(OPQ)を提案する。 OPQは、事前訓練された重みパラメータのみによる圧縮割り当てを解析的に解決する。 本稿では,共通コードブックを共有するために各レイヤの全チャネルを強制する,統一的なチャネルワイド量子化手法を提案する。
  論文  参考訳（メタデータ） (2022-05-23T09:05:25Z)
• Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
  本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。 我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
  論文  参考訳（メタデータ） (2021-08-28T20:39:54Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)
• Dynamic Probabilistic Pruning: A general framework for hardware-constrained pruning at different granularities [80.06422693778141]
  異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。 このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。 DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
  論文  参考訳（メタデータ） (2021-05-26T17:01:52Z)
• Unfolding Neural Networks for Compressive Multichannel Blind Deconvolution [71.29848468762789]
  圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。 この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。 提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-22T02:34:33Z)
• Channel Compression: Rethinking Information Redundancy among Channels in CNN Architecture [3.3018563701013988]
  効率的な畳み込みニューラルネットワーク(CNN)の研究は、畳み込み計算を分解または最適化することによって特徴冗長性を取り除くことを目的としている。 本研究では,CNNアーキテクチャのチャネル間に特徴冗長性が存在すると仮定し,計算効率を高めるためのフリーウェイを提供する。 空間畳み込み, チャネルグループ化, プール操作の進展を受け入れるために, コンパクト畳み込みという新しい畳み込み構造を提案する。
  論文  参考訳（メタデータ） (2020-07-02T10:58:54Z)
• Embedding Propagation: Smoother Manifold for Few-Shot Classification [131.81692677836202]
  本稿では, 組込み伝搬を非教師なし非パラメトリック正規化器として, 数ショット分類における多様体平滑化に用いることを提案する。 埋め込み伝播がより滑らかな埋め込み多様体を生み出すことを実証的に示す。 複数の半教師付き学習シナリオにおいて,埋め込み伝搬によりモデルの精度が最大16%向上することを示す。
  論文  参考訳（メタデータ） (2020-03-09T13:51:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。