Fugu-MT 論文翻訳(概要): Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning

論文の概要: Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning

arxiv url: http://arxiv.org/abs/2108.02893v2
Date: Wed, 20 Dec 2023 19:32:36 GMT
ステータス: 処理完了
システム内更新日: 2023-12-22 19:41:39.467181
Title: Basis Scaling and Double Pruning for Efficient Inference in Network-Based Transfer Learning
Title（参考訳）: ネットワークベース転送学習における効率的な推論のための基底スケーリングとダブルプルーニング
Authors: Ken C. L. Wong, Satyananda Kashyap, Mehdi Moradi
Abstract要約: 畳み込み層をフィルタとして正規基底ベクトルを持つ畳み込み層と、特徴を再スケーリングする"BasisScalingConv"層に分解する。 CIFAR-10では74.6%、MNISTでは98.9%のプルーニング比が得られる。
参考スコア（独自算出の注目度）: 1.3467579878240454
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Network-based transfer learning allows the reuse of deep learning features with limited data, but the resulting models can be unnecessarily large. Although network pruning can improve inference efficiency, existing algorithms usually require fine-tuning that may not be suitable for small datasets. In this paper, using the singular value decomposition, we decompose a convolutional layer into two layers: a convolutional layer with the orthonormal basis vectors as the filters, and a "BasisScalingConv" layer which is responsible for rescaling the features and transforming them back to the original space. As the filters in each decomposed layer are linearly independent, when using the proposed basis scaling factors with the Taylor approximation of importance, pruning can be more effective and fine-tuning individual weights is unnecessary. Furthermore, as the numbers of input and output channels of the original convolutional layer remain unchanged after basis pruning, it is applicable to virtually all architectures and can be combined with existing pruning algorithms for double pruning to further increase the pruning capability. When transferring knowledge from ImageNet pre-trained models to different target domains, with less than 1% reduction in classification accuracies, we can achieve pruning ratios up to 74.6% for CIFAR-10 and 98.9% for MNIST in model parameters.
Abstract（参考訳）: ネットワークベースの転送学習は、限られたデータでディープラーニング機能の再利用を可能にするが、結果として得られるモデルは不要に大きくなる可能性がある。ネットワークプルーニングは推論効率を向上させるが、既存のアルゴリズムは通常、小さなデータセットには適さない微調整を必要とする。本稿では,特異値分解を用いた畳み込み層を,正規直交基底ベクトルをフィルタとする畳み込み層と,特徴の再スケーリングと元の空間への変換を行う"basisscalingconv"層とに分解する。各分解層におけるフィルタは線形独立であるため,Taylor近似を用いて提案した基底スケーリング係数を用いることで,より効果的かつ微調整の個々の重み付けが不要となる。さらに、元の畳み込み層の入出力チャネルの数は、ベースプルーニング後に変化しないため、事実上全てのアーキテクチャに適用可能であり、ダブルプルーニングのための既存のプルーニングアルゴリズムと組み合わせることで、プルーニング能力をさらに向上させることができる。 imagenetで事前訓練されたモデルから異なるターゲットドメインに知識を転送する場合、分類精度が1%未満で、cifar-10では74.6%、モデルパラメータでは98.9%のプルーニング率を達成できる。

関連論文リスト

LAPP: Layer Adaptive Progressive Pruning for Compressing CNNs from Scratch [14.911305800463285]
本稿では,Layer Adaptive Progressive Pruning (LAPP) という新しいフレームワークを提案する。 LAPPは、各レイヤの学習可能なしきい値と、ネットワークのFLOP制約を導入する、効率的かつ効率的なプルーニング戦略を設計する。提案手法は,各種データセットやバックボーンアーキテクチャにおける従来の圧縮手法よりも優れた性能向上を示す。
論文参考訳（メタデータ） (2023-09-25T14:08:45Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
論文参考訳（メタデータ） (2022-04-25T05:30:26Z)
End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文参考訳（メタデータ） (2022-04-15T10:21:05Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
論文参考訳（メタデータ） (2021-07-30T20:13:49Z)
Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文参考訳（メタデータ） (2020-11-29T12:51:16Z)
Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
論文参考訳（メタデータ） (2020-10-15T09:14:02Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。