論文の概要: LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification

• arxiv url: http://arxiv.org/abs/2204.02965v1
• Date: Wed, 6 Apr 2022 17:59:10 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-07 13:01:23.086286
• Title: LilNetX: Lightweight Networks with EXtreme Model Compression and Structured Sparsification
• Title（参考訳）: LilNetX:Extreme Model CompressionとStructured Sparsificationを備えた軽量ネットワーク
• Authors: Sharath Girish and Kamal Gupta and Saurabh Singh and Abhinav Shrivastava
• Abstract要約: LilNetXは、ニューラルネットワークのためのエンドツーエンドのトレーニング可能なテクニックである。 特定の精度-レート-計算トレードオフを持つ学習モデルを可能にする。
• 参考スコア（独自算出の注目度）: 36.651329027209634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce LilNetX, an end-to-end trainable technique for neural networks that enables learning models with specified accuracy-rate-computation trade-off. Prior works approach these problems one at a time and often require post-processing or multistage training which become less practical and do not scale very well for large datasets or architectures. Our method constructs a joint training objective that penalizes the self-information of network parameters in a reparameterized latent space to encourage small model size while also introducing priors to increase structured sparsity in the parameter space to reduce computation. We achieve up to 50% smaller model size and 98% model sparsity on ResNet-20 while retaining the same accuracy on the CIFAR-10 dataset as well as 35% smaller model size and 42% structured sparsity on ResNet-50 trained on ImageNet, when compared to existing state-of-the-art model compression methods. Code is available at https://github.com/Sharath-girish/LilNetX.
• Abstract（参考訳）: 本稿では,ニューラルネットワークのエンドツーエンド学習技術であるlilnetxについて紹介する。 事前の作業は一度に1つずつ問題にアプローチし、多くの場合、処理後や多段階のトレーニングを必要とするが、実用性は低く、大規模なデータセットやアーキテクチャではうまくスケールしない。 提案手法は,パラメータ空間における構造的間隔を増大させ,計算量を削減するとともに,モデルサイズを小さくするため,パラメータ空間内のネットワークパラメータの自己インフォームをペナルティ化する共同学習目標を構築する。 CIFAR-10データセットでも同様の精度を維持しながら、ResNet-20でトレーニングしたResNet-50で最大50%のモデルサイズと98%のモデル空間性を達成し、ImageNetでトレーニングしたResNet-50で42%の構造化された空間を、既存の最先端モデル圧縮手法と比較した。 コードはhttps://github.com/Sharath-girish/LilNetXで入手できる。

関連論文リスト

• Dynamic Pre-training: Towards Efficient and Scalable All-in-One Image Restoration [100.54419875604721]
  オールインワン画像復元は、各分解に対してタスク固有の非ジェネリックモデルを持たずに、統一されたモデルで異なるタイプの劣化に対処する。 我々は、オールインワン画像復元タスクのためのエンコーダデコーダ方式で設計されたネットワークの動的ファミリであるDyNetを提案する。 我々のDyNetは、よりバルク化と軽量化をシームレスに切り替えることができるので、効率的なモデルデプロイメントのための柔軟性を提供します。
  論文  参考訳（メタデータ） (2024-04-02T17:58:49Z)
• Learning to Generate Parameters of ConvNets for Unseen Image Data [36.68392191824203]
  ConvNetは大量の画像データに依存しており、ネットワークパラメータを学習するための反復最適化アルゴリズムを採用している。 本稿では,新しい学習パラダイムを提案し,予測タスクにConvNetのパラメータ学習を定式化する。 提案手法は,2種類の画像データセットに対して有効であることを示す。
  論文  参考訳（メタデータ） (2023-10-18T10:26:18Z)
• Compact Multi-level Sparse Neural Networks with Input Independent Dynamic Rerouting [33.35713740886292]
  疎いディープニューラルネットワークは、モデルの複雑さとメモリ消費を大幅に減らすことができる。 現実の課題に直面する中で,複数のスパースレベルをサポートするスパースモデルをトレーニングすることを提案する。 このようにして、推論中に適切なスパーシティレベルを動的に選択でき、ストレージコストを最小のスパースサブモデルで抑えることができる。
  論文  参考訳（メタデータ） (2021-12-21T01:35:51Z)
• Efficient deep learning models for land cover image classification [0.29748898344267777]
  土地利用土地被覆(LULC)画像分類のためのBigEarthNetデータセットを用いて実験を行った。 コンボリューションニューラルネットワーク、マルチ層パーセプトロン、ビジュアルトランスフォーマー、効率的なネットワーク、ワイド残留ネットワーク(WRN)など、さまざまな最先端モデルをベンチマークする。 提案する軽量モデルは、訓練可能なパラメータが桁違いに小さく、平均的なFスコア分類精度が19のLULCクラスすべてに対して4.5%向上し、ベースラインとして使用するResNet50の2倍高速に訓練される。
  論文  参考訳（メタデータ） (2021-11-18T00:03:14Z)
• Network Augmentation for Tiny Deep Learning [73.57192520534585]
  ニューラルネットワークの性能向上のための新しいトレーニング手法であるNetAug(Net Aug)を紹介する。 画像分類と物体検出におけるNetAugの有効性を示す。
  論文  参考訳（メタデータ） (2021-10-17T18:48:41Z)
• LCS: Learning Compressible Subspaces for Adaptive Network Compression at Inference Time [57.52251547365967]
  本稿では,ニューラルネットワークの「圧縮可能な部分空間」を訓練する手法を提案する。 構造的・非構造的空間に対する推定時間における微粒な精度・効率のトレードオフを任意に達成するための結果を示す。 我々のアルゴリズムは、可変ビット幅での量子化にまで拡張し、個別に訓練されたネットワークと同等の精度を実現する。
  論文  参考訳（メタデータ） (2021-10-08T17:03:34Z)
• Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
  本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。 実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
  論文  参考訳（メタデータ） (2021-06-18T01:03:13Z)
• DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning [94.89221799550593]
  SSL(Self-supervised representation Learning)はコミュニティから広く注目を集めている。 最近の研究では、モデルサイズが小さくなれば、その性能は低下すると主張している。 単純かつ効果的な蒸留コントラスト学習(DisCo)を提案し、問題を大きなマージンで緩和します。
  論文  参考訳（メタデータ） (2021-04-19T08:22:52Z)
• Learnable Expansion-and-Compression Network for Few-shot Class-Incremental Learning [87.94561000910707]
  破滅的忘れとモデルオーバーフィッティングの問題を解決するための学習可能な拡張・圧縮ネットワーク(LEC-Net)を提案する。 LEC-Netは機能の表現能力を拡大し、モデル正規化の観点から古いネットワークの特徴漂流を緩和します。 CUB/CIFAR-100データセットの実験では、LEC-Netがベースラインを57%改善し、最先端の56%を上回ります。
  論文  参考訳（メタデータ） (2021-04-06T04:34:21Z)
• Fully Dynamic Inference with Deep Neural Networks [19.833242253397206]
  Layer-Net(L-Net)とChannel-Net(C-Net)と呼ばれる2つのコンパクトネットワークは、どのレイヤやフィルタ/チャネルが冗長であるかをインスタンス毎に予測する。 CIFAR-10データセットでは、LC-Netは11.9$times$ less floating-point Operations (FLOPs) となり、他の動的推論手法と比較して最大3.3%精度が向上する。 ImageNetデータセットでは、LC-Netは最大1.4$times$ FLOPsを減らし、Top-1の精度は他の方法よりも4.6%高い。
  論文  参考訳（メタデータ） (2020-07-29T23:17:48Z)
• Principal Component Networks: Parameter Reduction Early in Training [10.14522349959932]
  パラメータ化されたネットワークと同じ性能を示す小さなネットワークを見つける方法を示す。 我々はPCAを用いて、層入力の高分散の基盤を見つけ、これらの方向を用いて層重みを表現する。 また、ResNet-20 PCNは、より高速なトレーニングを行いながら、Deep ResNet-110ネットワークより優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-23T21:40:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。