論文の概要: MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model
Effectiveness and Efficiency
- arxiv url: http://arxiv.org/abs/2310.15074v3
- Date: Sat, 9 Dec 2023 16:03:08 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-12 22:22:34.638763
- Title: MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model
Effectiveness and Efficiency
- Title(参考訳): MGAS:マルチグラニュラリティアーキテクチャによるモデルの有効性と効率のトレードオフ
- Authors: Xiaoyun Liu, Divya Saxena, Jiannong Cao, Yuqing Zhao, Penghui Ruan
- Abstract要約: 我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。
各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。
CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
- 参考スコア(独自算出の注目度): 10.641875933652647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Neural architecture search (NAS) has gained significant traction in
automating the design of neural networks. To reduce the time cost,
differentiable architecture search (DAS) transforms the traditional paradigm of
discrete candidate sampling and evaluation into that of differentiable
super-net optimization and discretization. However, existing DAS methods fail
to trade off between model performance and model size. They either only conduct
coarse-grained operation-level search, which results in redundant model
parameters, or restrictively explore fine-grained filter-level and weight-level
units with pre-defined remaining ratios, suffering from excessive pruning
problem. Additionally, these methods compromise search quality to save memory
during the search process. To tackle these issues, we introduce
multi-granularity architecture search (MGAS), a unified framework which aims to
discover both effective and efficient neural networks by comprehensively yet
memory-efficiently exploring the multi-granularity search space. Specifically,
we improve the existing DAS methods in two aspects. First, we balance the model
unit numbers at different granularity levels with adaptive pruning. We learn
discretization functions specific to each granularity level to adaptively
determine the unit remaining ratio according to the evolving architecture.
Second, we reduce the memory consumption without degrading the search quality
using multi-stage search. We break down the super-net optimization and
discretization into multiple sub-net stages, and perform progressive
re-evaluation to allow for re-pruning and regrowing of previous units during
subsequent stages, compensating for potential bias. Extensive experiments on
CIFAR-10, CIFAR-100 and ImageNet demonstrate that MGAS outperforms other
state-of-the-art methods in achieving a better trade-off between model
performance and model size.
- Abstract(参考訳): ニューラルアーキテクチャサーチ(NAS)は、ニューラルネットワークの設計を自動化する上で大きな牽引力を得ている。
時間コストを削減するため、DASは離散的な候補サンプリングと評価の伝統的なパラダイムを、微分可能なスーパーネット最適化と離散化のパラダイムに変換する。
しかし、既存のDASメソッドは、モデルパフォーマンスとモデルサイズの間のトレードオフに失敗する。
彼らは粗粒度操作レベル探索のみを行い、結果として冗長なモデルパラメータが生じるか、あるいは事前定義された残比を持つ細粒度フィルタレベルおよび重量レベル単位を限定的に探索し、過剰なプルーニング問題に悩まされる。
さらに、これらの方法は検索プロセス中にメモリを節約するために検索品質を損なう。
これらの課題に対処するために,我々は,多粒度検索空間を包括的かつメモリ効率よく探索することにより,効率的かつ効率的なニューラルネットワークを見つけることを目的とした,統合されたフレームワークである多粒度アーキテクチャサーチ(MGAS)を導入する。
具体的には,既存のDAS手法を2つの面で改善する。
まず、モデルの単位数を異なる粒度レベルでアダプティブプルーニングとバランスをとる。
各粒度レベルに特有の離散化関数を学習し、進化するアーキテクチャに応じて単位残差比を適応的に決定する。
第2に,多段階探索による検索品質の劣化を伴わずにメモリ消費を削減する。
我々は、スーパーネット最適化と離散化を複数のサブネットステージに分割し、進行的再評価を行い、その後の段階において、潜在的なバイアスを補償し、以前のユニットを再培養および再成長を可能にする。
CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
関連論文リスト
- Lightweight Diffusion Models with Distillation-Based Block Neural
Architecture Search [55.41583104734349]
拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。
事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。
従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
論文 参考訳(メタデータ) (2023-11-08T12:56:59Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - Effective Model Sparsification by Scheduled Grow-and-Prune Methods [73.03533268740605]
本稿では,高密度モデルの事前学習を伴わない新規なGrow-and-prune(GaP)手法を提案する。
実験により、そのようなモデルは様々なタスクにおいて80%の間隔で高度に最適化された高密度モデルの品質に適合または打ち勝つことができることが示された。
論文 参考訳(メタデータ) (2021-06-18T01:03:13Z) - One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search
Space Shrinking [97.60915598958968]
本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。
最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。
第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
論文 参考訳(メタデータ) (2021-04-01T16:29:49Z) - Effective and Fast: A Novel Sequential Single Path Search for
Mixed-Precision Quantization [45.22093693422085]
混合精度量子化モデルは、異なる層の感度に応じて異なる量子化ビット精度にマッチし、優れた性能を達成できます。
いくつかの制約に従ってディープニューラルネットワークにおける各層の量子化ビット精度を迅速に決定することは難しい問題である。
混合精度量子化のための新規なシーケンシャルシングルパス探索(SSPS)法を提案する。
論文 参考訳(メタデータ) (2021-03-04T09:15:08Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-10-13T04:34:24Z) - VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。
提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
論文 参考訳(メタデータ) (2020-07-12T21:47:35Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳(メタデータ) (2020-06-18T08:23:02Z) - AlphaGAN: Fully Differentiable Architecture Search for Generative
Adversarial Networks [15.740179244963116]
GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。
本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。
我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-16T13:27:30Z) - Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep
Learning [3.479254848034425]
私たちはディープラーニングモデルを探すためのオープンソースのAutoMLフレームワークであるDeep-n-Cheapを紹介します。
私たちのフレームワークは、ベンチマークとカスタムデータセットの両方へのデプロイをターゲットとしています。
Deep-n-Cheapには、トレーニング時間やパラメータ数とパフォーマンスをトレードオフする、ユーザ管理可能な複雑性ペナルティが含まれている。
論文 参考訳(メタデータ) (2020-03-27T13:00:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。