論文の概要: ChipNet: Budget-Aware Pruning with Heaviside Continuous Approximations
- arxiv url: http://arxiv.org/abs/2102.07156v1
- Date: Sun, 14 Feb 2021 13:54:50 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 03:46:00.128095
- Title: ChipNet: Budget-Aware Pruning with Heaviside Continuous Approximations
- Title（参考訳）: ChipNet: Budget-Aware Pruning with Heaviside Continuous Approximations
- Authors: Rishabh Tiwari, Udbhav Bamba, Arnav Chavan, Deepak K. Gupta
- Abstract要約: ChipNetは、連続的なHeaviside関数と新しいクリスペンス損失を利用する決定論的プルーニング戦略である。
我々はChipNetが最先端の構造化プルーニング手法よりも16.1%のマージンで優れていることを示す。
- 参考スコア（独自算出の注目度）: 1.911678487931003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Structured pruning methods are among the effective strategies for extracting
small resource-efficient convolutional neural networks from their dense
counterparts with minimal loss in accuracy. However, most existing methods
still suffer from one or more limitations, that include 1) the need for
training the dense model from scratch with pruning-related parameters embedded
in the architecture, 2) requiring model-specific hyperparameter settings, 3)
inability to include budget-related constraint in the training process, and 4)
instability under scenarios of extreme pruning. In this paper, we present
ChipNet, a deterministic pruning strategy that employs continuous Heaviside
function and a novel crispness loss to identify a highly sparse network out of
an existing dense network. Our choice of continuous Heaviside function is
inspired by the field of design optimization, where the material distribution
task is posed as a continuous optimization problem, but only discrete values (0
or 1) are practically feasible and expected as final outcomes. Our approach's
flexible design facilitates its use with different choices of budget
constraints while maintaining stability for very low target budgets.
Experimental results show that ChipNet outperforms state-of-the-art structured
pruning methods by remarkable margins of up to 16.1% in terms of accuracy.
Further, we show that the masks obtained with ChipNet are transferable across
datasets. For certain cases, it was observed that masks transferred from a
model trained on feature-rich teacher dataset provide better performance on the
student dataset than those obtained by directly pruning on the student data
itself.
- Abstract（参考訳）: 構造化切断法は、小さく資源効率のよい畳み込みニューラルネットワークを密度の高いものから抽出するための有効な戦略の1つである。
しかし、既存の方法の多くは1つ以上の制限に苦しめられている。1) アーキテクチャにプリニング関連パラメータを組み込んだスクラッチから高密度モデルをトレーニングすること、2) モデル固有のハイパーパラメータの設定を必要とすること、3) トレーニングプロセスに予算関連制約を含まないこと、4) 極端なプリニングのシナリオ下で不安定であることである。
本論文では,連続的なヘビーサイド関数と,既存の高密度ネットワークから高度にスパースなネットワークを識別するための新たなパリッシネス損失を用いる決定論的分断戦略であるChipNetについて述べる。
連続 Heaviside 関数の選択は、材料分布タスクが連続最適化問題として提案される設計最適化の分野に着想を得たものであるが、離散値 (0 または 1) のみが事実上実現可能であり、最終的な結果として期待できる。
我々のアプローチの柔軟な設計は、非常に低い目標予算の安定性を維持しつつ、異なる予算制約の選択で使用を促進する。
実験の結果、chipnetは精度で最大16.1%のマージンで最先端の構造化プルーニング法を上回ることがわかった。
さらに,ChipNetで得られたマスクはデータセット間で転送可能であることを示す。
あるケースでは、機能豊富な教師データセットで訓練されたモデルから移行したマスクが、学生データに直接プルーニングすることで得られるものよりも、生徒データセットに優れたパフォーマンスをもたらすことが観察された。
関連論文リスト
- Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。
提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
論文 参考訳（メタデータ） (2024-11-14T02:00:22Z) - Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。
自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。
筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
論文 参考訳（メタデータ） (2024-07-11T10:35:53Z) - Just How Flexible are Neural Networks in Practice? [89.80474583606242]
ニューラルネットワークは、パラメータを持つ少なくとも多くのサンプルを含むトレーニングセットに適合できると広く信じられている。
しかし実際には、勾配や正規化子など、柔軟性を制限したトレーニング手順によるソリューションしか見つからない。
論文 参考訳（メタデータ） (2024-06-17T12:24:45Z) - FALCON: FLOP-Aware Combinatorial Optimization for Neural Network Pruning [17.60353530072587]
ネットワークプルーニングは、性能を維持しながら、モデルサイズと計算コストを削減するソリューションを提供する。
現在のプルーニング法のほとんどは、非ゼロパラメータの数を減らし、空間性を改善することに重点を置いている。
本稿では,FALCONを提案する。FALCONは,モデル精度(忠実度),FLOP,スペーサ性制約を考慮に入れた,ネットワークプルーニングを最適化した新しいフレームワークである。
論文 参考訳（メタデータ） (2024-03-11T18:40:47Z) - Towards Continual Learning Desiderata via HSIC-Bottleneck
Orthogonalization and Equiangular Embedding [55.107555305760954]
本稿では,レイヤワイドパラメータのオーバーライトや決定境界の歪みに起因する,概念的にシンプルで効果的な手法を提案する。
提案手法は,ゼロの指数バッファと1.02倍の差が絶対的に優れていても,競争精度が向上する。
論文 参考訳（メタデータ） (2024-01-17T09:01:29Z) - Pruning Convolutional Filters via Reinforcement Learning with Entropy
Minimization [0.0]
本稿では,畳み込み活性化の空間エントロピーを最小化する情報理論報酬関数を提案する。
提案手法は,エージェントの報酬関数で直接最適化することなく,精度を維持できる可能性を示している。
論文 参考訳（メタデータ） (2023-12-08T09:34:57Z) - Neural Quantile Optimization for Edge-Cloud Networking [13.509945075582447]
我々は,バースト可能な請求書に基づいて制約を満足し,コストを最小化するエッジ・クラウド・コンピューティング・ネットワークにおいて,最適なトラフィック割当方式を模索する。
本稿では,教師なし学習による最適化問題を解決するため,Gumbel-softmaxサンプリングネットワークを提案する。
トレーニングされたネットワークは、効率的なトラフィック割当スキームサンプリングとして機能し、実現可能性およびコスト関数値のランダム戦略を著しく上回る。
論文 参考訳（メタデータ） (2023-07-11T11:05:10Z) - Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。
本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。
本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
論文 参考訳（メタデータ） (2023-03-16T21:06:13Z) - Distributed Pruning Towards Tiny Neural Networks in Federated Learning [12.63559789381064]
FedTinyは、フェデレートラーニングのための分散プルーニングフレームワークである。
メモリとコンピューティングに制約のあるデバイスのための、特殊な小さなモデルを生成する。
2.61%の精度向上を実現し、計算コストを95.91%削減した。
論文 参考訳（メタデータ） (2022-12-05T01:58:45Z) - Modeling the Second Player in Distributionally Robust Optimization [90.25995710696425]
我々は、最悪のケース分布を特徴付けるために神経生成モデルを使うことを議論する。
このアプローチは多くの実装と最適化の課題をもたらします。
提案されたアプローチは、同等のベースラインよりも堅牢なモデルを生み出す。
論文 参考訳（メタデータ） (2021-03-18T14:26:26Z) - Discretization-Aware Architecture Search [81.35557425784026]
本稿では,離散化対応アーキテクチャサーチ(DAtextsuperscript2S)を提案する。
中心となる考え方は、超ネットワークを所望のトポロジの構成に向けることであり、離散化による精度損失がほとんど軽減される。
標準画像分類ベンチマークの実験は、我々のアプローチの優位性を実証している。
論文 参考訳（メタデータ） (2020-07-07T01:18:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。