論文の概要: Compression-aware Continual Learning using Singular Value Decomposition

• arxiv url: http://arxiv.org/abs/2009.01956v2
• Date: Mon, 14 Sep 2020 22:29:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-22 07:17:46.602033
• Title: Compression-aware Continual Learning using Singular Value Decomposition
• Title（参考訳）: 特異値分解を用いた圧縮認識連続学習
• Authors: Varigonda Pavan Teja, and Priyadarshini Panda
• Abstract要約: 本稿では,ニューラルネットワークを動的に成長させる圧縮型連続タスク学習手法を提案する。 近年のモデル圧縮技術にインスパイアされた我々は、圧縮認識トレーニングを採用し、低ランク重量近似を行う。 本手法は,コストのかかる微調整を必要とせず,最小性能の圧縮表現を実現する。
• 参考スコア（独自算出の注目度）: 2.4283778735260686
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a compression based continual task learning method that can dynamically grow a neural network. Inspired from the recent model compression techniques, we employ compression-aware training and perform low-rank weight approximations using singular value decomposition (SVD) to achieve network compaction. By encouraging the network to learn low-rank weight filters, our method achieves compressed representations with minimal performance degradation without the need for costly fine-tuning. Specifically, we decompose the weight filters using SVD and train the network on incremental tasks in its factorized form. Such a factorization allows us to directly impose sparsity-inducing regularizers over the singular values and allows us to use fewer number of parameters for each task. We further introduce a novel shared representational space based learning between tasks. This promotes the incoming tasks to only learn residual task-specific information on top of the previously learnt weight filters and greatly helps in learning under fixed capacity constraints. Our method significantly outperforms prior continual learning approaches on three benchmark datasets, demonstrating accuracy improvements of 10.3%, 12.3%, 15.6% on 20-split CIFAR-100, miniImageNet and a 5-sequence dataset, respectively, over state-of-the-art. Further, our method yields compressed models that have ~3.64x, 2.88x, 5.91x fewer number of parameters respectively, on the above mentioned datasets in comparison to baseline individual task models. Our source code is available at https://github.com/pavanteja295/CACL.
• Abstract（参考訳）: 本稿では,ニューラルネットワークを動的に拡張できる圧縮型連続タスク学習手法を提案する。 近年のモデル圧縮技術から着想を得て,ネットワークのコンパクト化を実現するために特異値分解(SVD)を用いた低ランクウェイト近似を行った。 低ランクな重み付けフィルタの学習を促すことで,コストのかかる微調整を必要とせず,最小性能の圧縮表現を実現する。 具体的には、SVDを用いて重みフィルタを分解し、その分解形式による漸進的なタスクでネットワークを訓練する。 このような因子化により、特異値に対してスパーシリティ誘導正規化子を直接課すことができ、各タスクに対してより少ない数のパラメータを使用できる。 さらに,タスク間の新しい共有表現空間ベースの学習について紹介する。 これにより、入力タスクは、以前に学習した重み付けフィルタ上でのみ残留タスク固有の情報を学習し、固定容量制約下での学習に大いに役立つ。 提案手法は,20分割CIFAR-100,miniImageNet,および5系列データセットの精度改善を,最先端のデータセットよりも10.3%,12.3%,15.6%向上した。 さらに,本手法では, ベースライン個別タスクモデルと比較して, パラメータ数がそれぞれ約3.64x, 2.88x, 5.91x少ない圧縮モデルを生成する。 ソースコードはhttps://github.com/pavanteja295/caclで入手できます。

関連論文リスト

• Compression of Recurrent Neural Networks using Matrix Factorization [0.9208007322096533]
  本稿では,各行列に対して異なるランクを選択するランク調整法を提案する。 信号処理タスクに関する数値実験により、リカレントニューラルネットワークを1.4%の相対的性能低下で14倍まで圧縮できることが示されている。
  論文  参考訳（メタデータ） (2023-10-19T12:35:30Z)
• Dataset Quantization [72.61936019738076]
  大規模データセットを小さなサブセットに圧縮する新しいフレームワークであるデータセット量子化(DQ)を提案する。 DQは、ImageNet-1kのような大規模データセットを最先端圧縮比で蒸留する最初の方法である。
  論文  参考訳（メタデータ） (2023-08-21T07:24:29Z)
• Peeling the Onion: Hierarchical Reduction of Data Redundancy for Efficient Vision Transformer Training [110.79400526706081]
  ビジョントランス (ViT) は近年多くのアプリケーションで成功を収めているが、その計算量とメモリ使用量によって一般化が制限されている。 従来の圧縮アルゴリズムは通常、事前訓練された高密度モデルから始まり、効率的な推論のみに焦点を当てる。 本稿では,3つのスパースの観点から,Tri-Level E-ViTと呼ばれるエンドツーエンドの効率的なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-19T21:15:47Z)
• Few-Shot Non-Parametric Learning with Deep Latent Variable Model [50.746273235463754]
  遅延変数を用いた圧縮による非パラメトリック学習(NPC-LV)を提案する。 NPC-LVは、ラベルなしデータが多いがラベル付きデータはほとんどないデータセットの学習フレームワークである。 我々は,NPC-LVが低データ構造における画像分類における3つのデータセットの教師あり手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-23T09:35:03Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Rectification-based Knowledge Retention for Continual Learning [49.1447478254131]
  ディープラーニングモデルは、インクリメンタルな学習環境で訓練されたときに壊滅的な忘れに苦しむ。 タスクインクリメンタル学習問題に対処するための新しいアプローチを提案する。これは、インクリメンタルに到着する新しいタスクに関するモデルをトレーニングすることを含む。 私たちのアプローチは、ゼロショットと非ゼロショットタスクインクリメンタルラーニング設定の両方で使用できます。
  論文  参考訳（メタデータ） (2021-03-30T18:11:30Z)
• Layer-Wise Data-Free CNN Compression [49.73757297936685]
  本稿では,事前学習ネットワークのみを用いてレイヤワイズトレーニングデータを生成する方法を示す。 本稿では,量子化とプルーニングを用いた層間圧縮の結果について述べる。
  論文  参考訳（メタデータ） (2020-11-18T03:00:05Z)
• A Variational Information Bottleneck Based Method to Compress Sequential Networks for Human Action Recognition [9.414818018857316]
  本稿では,人間行動認識(HAR)に用いるリカレントニューラルネットワーク(RNN)を効果的に圧縮する手法を提案する。 変分情報ボトルネック(VIB)理論に基づくプルーニング手法を用いて,RNNの逐次セルを流れる情報の流れを小さなサブセットに制限する。 我々は、圧縮を大幅に改善する特定のグループ・ラッソ正規化手法とプルーニング手法を組み合わせる。 提案手法は,UCF11上での動作認識の精度に比較して,最も近い競合に比べて70倍以上の圧縮を実現する。
  論文  参考訳（メタデータ） (2020-10-03T12:41:51Z)
• End-to-end Learning of Compressible Features [35.40108701875527]
  事前訓練された畳み込みニューラルネットワーク(CNN)は、市販の機能ジェネレータである。 CNNは、市販の強力な機能ジェネレータであり、様々なタスクで非常によく機能することが示されている。 残念ながら、生成された機能は高次元であり、保存するのにコストがかかる。 そこで本稿では, 圧縮性とタスク目標を協調的に最適化する学習手法を提案する。
  論文  参考訳（メタデータ） (2020-07-23T05:17:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。