Fugu-MT 論文翻訳(概要): Basis Scaling and Double Pruning for Efficient Transfer Learning

論文の概要: Basis Scaling and Double Pruning for Efficient Transfer Learning

arxiv url: http://arxiv.org/abs/2108.02893v1
Date: Fri, 6 Aug 2021 00:04:02 GMT
ステータス: 処理完了
システム内更新日: 2021-08-09 14:35:35.329565
Title: Basis Scaling and Double Pruning for Efficient Transfer Learning
Title（参考訳）: 効率的な転校学習のための基礎スケーリングとダブルプルーニング
Authors: Ken C. L. Wong, Satyananda Kashyap, Mehdi Moradi
Abstract要約: 本稿では,畳み込み重みを正規直交基底の部分空間に変換するアルゴリズムを提案する。分類精度が1%未満では、パラメータの98.9%、FLOPの98.6%のプルーニング比が達成できる。
参考スコア（独自算出の注目度）: 2.6304695993930594
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Transfer learning allows the reuse of deep learning features on new datasets with limited data. However, the resulting models could be unnecessarily large and thus inefficient. Although network pruning can be applied to improve inference efficiency, existing algorithms usually require fine-tuning and may not be suitable for small datasets. In this paper, we propose an algorithm that transforms the convolutional weights into the subspaces of orthonormal bases where a model is pruned. Using singular value decomposition, we decompose a convolutional layer into two layers: a convolutional layer with the orthonormal basis vectors as the filters, and a layer that we name "BasisScalingConv", which is responsible for rescaling the features and transforming them back to the original space. As the filters in each transformed layer are linearly independent with known relative importance, pruning can be more effective and stable, and fine tuning individual weights is unnecessary. Furthermore, as the numbers of input and output channels of the original convolutional layer remain unchanged, basis pruning is applicable to virtually all network architectures. Basis pruning can also be combined with existing pruning algorithms for double pruning to further increase the pruning capability. With less than 1% reduction in the classification accuracy, we can achieve pruning ratios up to 98.9% in parameters and 98.6% in FLOPs.
Abstract（参考訳）: 転送学習は、限られたデータで新しいデータセットでディープラーニング機能を再利用可能にする。しかし、結果として得られるモデルは不必要に大きいため、非効率である。ネットワークプルーニングは推論効率を改善するために応用できるが、既存のアルゴリズムは通常微調整が必要であり、小さなデータセットには適さない。本稿では,畳み込み重みをモデルが刈り取られる正規直交基底の部分空間に変換するアルゴリズムを提案する。特異値分解を用いて畳み込み層を2つの層に分解する: 正規直交基底ベクトルをフィルタとする畳み込み層と、特徴の再スケーリングと元の空間への変換を行うbasisscalingconvと呼ばれる層。各変換層のフィルタは既知の相対的重要性と線形独立であるため、プルーニングはより効果的で安定であり、個々の重みの微調整は不要である。さらに、元の畳み込み層の入出力チャネルの数も変化しないため、ベースプルーニングは事実上全てのネットワークアーキテクチャに適用できる。ベイシプルーニングは、既存のプルーニングアルゴリズムと組み合わせてダブルプルーニングすることで、プルーニング能力をさらに向上させることができる。分類精度が1%未満では、パラメータの98.9%、FLOPの98.6%のプルーニング比が得られる。

関連論文リスト

RL-Pruner: Structured Pruning Using Reinforcement Learning for CNN Compression and Acceleration [0.0]
RL-Prunerを提案する。このRL-Prunerは、強化学習を用いて最適プルーニング分布を学習する。 RL-Prunerは、モデル固有のプルーニング実装を必要とせずに、入力モデル内のフィルタ間の依存関係を自動的に抽出し、プルーニングを実行する。
論文参考訳（メタデータ） (2024-11-10T13:35:10Z)
SGLP: A Similarity Guided Fast Layer Partition Pruning for Compressing Large Deep Models [19.479746878680707]
レイヤプルーニングは、ネットワークサイズを削減し、計算効率を向上させるための強力なアプローチである。大規模深層モデル圧縮のための類似性誘導高速層分割プルーニングを提案する。本手法は精度と計算効率の両面で最先端の手法より優れている。
論文参考訳（メタデータ） (2024-10-14T04:01:08Z)
Layer-wise Linear Mode Connectivity [52.6945036534469]
ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。フェデレートラーニングにおいて最も顕著に用いられている。私たちは、単一グループやグループを平均化するモデルの性能を分析します。
論文参考訳（メタデータ） (2023-07-13T09:39:10Z)
Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文参考訳（メタデータ） (2023-03-16T21:06:13Z)
Boosting Pruned Networks with Linear Over-parameterization [8.796518772724955]
構造化プルーニングは、高速な推論のためのチャネル(フィルタ)を減らし、実行時にフットプリントを低くすることで、ニューラルネットワークを圧縮する。プルーニング後の精度を回復するため、細調整は通常、プルーニングネットワークに適用される。そこで我々は,まず,細調整パラメータの数を増やすために,刈り込みネットワーク内のコンパクト層を線形に過剰にパラメータ化する手法を提案する。
論文参考訳（メタデータ） (2022-04-25T05:30:26Z)
End-to-End Sensitivity-Based Filter Pruning [49.61707925611295]
本稿では,各層間のフィルタの重要度を学習するための感度に基づくフィルタプルーニングアルゴリズム(SbF-Pruner)を提案する。提案手法はフィルタ重みからスコアを学習し,各層のフィルタ間の相関を考慮できる。
論文参考訳（メタデータ） (2022-04-15T10:21:05Z)
Compact representations of convolutional neural networks via weight pruning and quantization [63.417651529192014]
本稿では、音源符号化に基づく畳み込みニューラルネットワーク(CNN)の新しいストレージフォーマットを提案し、重み付けと量子化の両方を活用する。我々は、全接続層で0.6%、ネットワーク全体で5.44%のスペース占有率を削減し、最低でもベースラインと同じくらいの競争力を発揮する。
論文参考訳（メタデータ） (2021-08-28T20:39:54Z)
Pruning Neural Networks with Interpolative Decompositions [5.377278489623063]
本稿では,ニューラルネットワークのプルーニングに対する原理的アプローチを導入し,その問題を低ランク行列近似として定式化する。まず、プリミティブのセットを構築して、1つの完全に接続された畳み込み層をプルークする方法を実証する。我々は,CIFAR-10上でVGG-16を用いて93.62$pm$0.36%の精度を実現し,FLOPSを51%削減した。
論文参考訳（メタデータ） (2021-07-30T20:13:49Z)
Layer Pruning via Fusible Residual Convolutional Block for Deep Neural Networks [15.64167076052513]
レイヤプルーニングは、同じFLOPとパラメータの数でプルーニングされる場合、推論時間と実行時のメモリ使用量が少なくなる。残差畳み込みブロック(ResConv)を用いた簡単な層切断法を提案する。本手法は, 異なるデータセット上での最先端技術に対する圧縮と加速の優れた性能を実現する。
論文参考訳（メタデータ） (2020-11-29T12:51:16Z)
Layer-adaptive sparsity for the Magnitude-based Pruning [88.37510230946478]
本稿では,LAMP(Layer-Adaptive magnitude-based pruning)スコアを用いたグローバルプルーニングの新たな重要点を提案する。 LAMPは、階層的な空間選択のための一般的なスキームを一貫して上回っている。
論文参考訳（メタデータ） (2020-10-15T09:14:02Z)
Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
論文参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。