論文の概要: Lite it fly: An All-Deformable-Butterfly Network
- arxiv url: http://arxiv.org/abs/2311.08125v1
- Date: Tue, 14 Nov 2023 12:41:22 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-15 14:14:59.823817
- Title: Lite it fly: An All-Deformable-Butterfly Network
- Title（参考訳）: lite it fly:全変形可能なbutterflyネットワーク
- Authors: Rui Lin, Jason Chun Lok Li, Jiajun Zhou, Binxiao Huang, Jie Ran and
Ngai Wong
- Abstract要約: ほとんどのディープニューラルネットワーク(DNN)は、基本的に畳み込み層と/または完全に接続された層で構成されている。
最近提案された変形可能な蝶(DeBut)は、フィルター行列を一般化された蝶様因子に分解する。
この研究は、DeButと奥行きと点方向の畳み込みの体系的な階層との親密な関係を明らかにしている。
- 参考スコア（独自算出の注目度）: 7.8460795568982435
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Most deep neural networks (DNNs) consist fundamentally of convolutional
and/or fully connected layers, wherein the linear transform can be cast as the
product between a filter matrix and a data matrix obtained by arranging feature
tensors into columns. The lately proposed deformable butterfly (DeBut)
decomposes the filter matrix into generalized, butterflylike factors, thus
achieving network compression orthogonal to the traditional ways of pruning or
low-rank decomposition. This work reveals an intimate link between DeBut and a
systematic hierarchy of depthwise and pointwise convolutions, which explains
the empirically good performance of DeBut layers. By developing an automated
DeBut chain generator, we show for the first time the viability of homogenizing
a DNN into all DeBut layers, thus achieving an extreme sparsity and
compression. Various examples and hardware benchmarks verify the advantages of
All-DeBut networks. In particular, we show it is possible to compress a
PointNet to < 5% parameters with < 5% accuracy drop, a record not achievable by
other compression schemes.
- Abstract（参考訳）: ほとんどのディープニューラルネットワーク(dnn)は、基本的に畳み込み層および/または完全連結層から構成されており、線形変換はフィルタ行列と特徴テンソルを列に配置したデータ行列との積としてキャストすることができる。
最近提案された変形可能な蝶(DeBut)は、フィルタ行列を一般化された蝶のような要素に分解し、従来のプルーニングやローランク分解の手法に直交するネットワーク圧縮を実現する。
この研究は、DeButと、DeButレイヤの実験的に優れたパフォーマンスを説明する奥行きと点方向の畳み込みの体系的な階層との密接な関係を明らかにする。
自動初期鎖生成器の開発により,dnnを全ての初期層に均質化することで,極端にスパーシティと圧縮を実現できることを示す。
様々な例とハードウェアベンチマークがAll-DeButネットワークの利点を検証する。
特に、ポイントネットを 5% の精度低下で 5% のパラメータに圧縮することは可能であり、これは他の圧縮スキームでは達成できない記録である。
関連論文リスト
- Layer-Specific Optimization: Sensitivity Based Convolution Layers Basis Search [0.0]
畳み込み層の重みに対して行列分解を適用する新しい方法を提案する。
この方法の本質は、すべての畳み込みを訓練することではなく、畳み込みのサブセット(基底畳み込み)のみを訓練することであり、残りを基底の線形結合として表現することである。
ResNetファミリとCIFAR-10データセットによるモデル実験では、ベース畳み込みはモデルのサイズを減らすだけでなく、ネットワークの前方および後方通過を加速する。
論文 参考訳（メタデータ） (2024-08-12T09:24:48Z) - ButterflyFlow: Building Invertible Layers with Butterfly Matrices [80.83142511616262]
そこで本研究では,蝶の層に基づく可逆線形層を新たに提案する。
可逆なバタフライ層をベースとして,バタフライフローと呼ばれる新しい正規化フローモデルを構築した。
論文 参考訳（メタデータ） (2022-09-28T01:58:18Z) - Dynamic Probabilistic Pruning: A general framework for
hardware-constrained pruning at different granularities [80.06422693778141]
異なる粒度(重み、カーネル、フィルタ/フィーチャーマップ)での刈り取りを容易にするフレキシブルな新しい刈り取り機構を提案する。
このアルゴリズムをDPP(Dynamic Probabilistic Pruning)と呼ぶ。
DPPは、画像分類のための異なるベンチマークデータセットで訓練された一般的なディープラーニングモデルを刈り取る際に、競合圧縮率と分類精度を達成する。
論文 参考訳（メタデータ） (2021-05-26T17:01:52Z) - ReduNet: A White-box Deep Network from the Principle of Maximizing Rate
Reduction [32.489371527159236]
この研究は、データ圧縮と識別表現の原理から、現代の深層(畳み込み)ネットワークを解釈することを目的とした、妥当な理論フレームワークの提供を試みる。
高次元マルチクラスデータに対して、最適な線形判別表現は、データセット全体と全てのサブセットの平均との符号化速度差を最大化することを示す。
速度減少目標を最適化するための基本的反復的勾配上昇スキームは,現代のディープネットワークの共通特性を共有する多層ディープネットワークであるReduNetに自然に導かれることを示す。
論文 参考訳（メタデータ） (2021-05-21T16:29:57Z) - A Deeper Look into Convolutions via Pruning [9.89901717499058]
現代のアーキテクチャは、複数のレイヤの畳み込みの後、しばしば最後に、非常に少数の完全に接続されたレイヤを含んでいる。
この戦略はすでにパラメータの数を削減しているが、ほとんどの畳み込みは認識性能を損なうことなく排除できる。
本研究では,従来の重みに基づく重み付け手法に加えて,固有値に基づく行列特性を用いて,広く使用されているCNNファミリーの内部機構に光を当てる。
論文 参考訳（メタデータ） (2021-02-04T18:55:03Z) - Permute, Quantize, and Fine-tune: Efficient Compression of Neural
Networks [70.0243910593064]
ベクトル量子化の成功の鍵は、どのパラメータ群を一緒に圧縮するかを決定することである。
本稿では,隣り合う2つの層の重みを同じ関数を表現しながら不変にすることができることを観察する。
次に、レート歪み理論への接続を確立し、圧縮し易いネットワークとなる置換を探索する。
論文 参考訳（メタデータ） (2020-10-29T15:47:26Z) - Unfolding Neural Networks for Compressive Multichannel Blind
Deconvolution [71.29848468762789]
圧縮性多チャネルブラインドデコンボリューション問題に対する学習構造付き展開型ニューラルネットワークを提案する。
この問題では、各チャネルの測定は共通のソース信号とスパースフィルタの畳み込みとして与えられる。
提案手法は,従来の圧縮型マルチチャネルブラインドデコンボリューション法よりも,スパースフィルタの精度と高速化の点で優れていることを示す。
論文 参考訳（メタデータ） (2020-10-22T02:34:33Z) - Sparse Linear Networks with a Fixed Butterfly Structure: Theory and
Practice [4.3400407844814985]
本稿では,バタフライネットワークに基づくアーキテクチャにより,ニューラルネットワーク内の密度線形層を置き換えることを提案する。
NLPデータと視覚データの両方の教師付き予測を含む実験のコレクションでは、これは単に既存のよく知られたアーキテクチャにマッチする結果をもたらすだけでなく、時には優れた結果をもたらすことを示す。
論文 参考訳（メタデータ） (2020-07-17T09:45:03Z) - DHP: Differentiable Meta Pruning via HyperNetworks [158.69345612783198]
本稿では,ネットワークの自動プルーニングのためのハイパーネットによる識別可能なプルーニング手法を提案する。
遅延ベクトルは、バックボーンネットワーク内の畳み込み層の出力チャネルを制御し、レイヤのプルーニングのハンドルとして機能する。
画像分類、単一画像超解像、復調のための様々なネットワークで実験が行われた。
論文 参考訳（メタデータ） (2020-03-30T17:59:18Z) - Group Sparsity: The Hinge Between Filter Pruning and Decomposition for
Network Compression [145.04742985050808]
我々は,フィルタプルーニングと低ランク分解という2つの一般的なネットワーク圧縮手法を統一的に解析する。
スパシティ正規化の実施方法を変えることにより、フィルタプルーニングと低ランク分解を導出することができる。
われわれの手法は、いくつかのベンチマークにおける最先端の手法と比較し、その可能性を証明している。
論文 参考訳（メタデータ） (2020-03-19T17:57:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。