論文の概要: MGAS: Multi-Granularity Architecture Search for Effective and Efficient
Neural Networks
- arxiv url: http://arxiv.org/abs/2310.15074v1
- Date: Mon, 23 Oct 2023 16:32:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 18:44:27.133878
- Title: MGAS: Multi-Granularity Architecture Search for Effective and Efficient
Neural Networks
- Title(参考訳): MGAS: 効率的かつ効率的なニューラルネットワークのためのマルチグラニュラリティアーキテクチャ探索
- Authors: Xiaoyun Liu, Divya Saxena, Jiannong Cao, Yuqing Zhao, Penghui Ruan
- Abstract要約: 微分可能アーキテクチャサーチ(DAS)は、ニューラルアーキテクチャサーチ(NAS)分野における顕著なアプローチとなっている。
我々は,多粒度検索空間を包括的かつメモリ効率よく探索することを目的とした統合フレームワークである多粒度アーキテクチャサーチ(MGAS)を導入する。
CIFAR-10、CIFAR-100、ImageNetの実験では、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端手法よりも優れていることを示した。
- 参考スコア(独自算出の注目度): 10.641875933652647
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable architecture search (DAS) has become the prominent approach in
the field of neural architecture search (NAS) due to its time-efficient
automation of neural network design. It shifts the traditional paradigm of
discrete architecture sampling and evaluation to differentiable super-net
optimization and discretization. However, existing DAS methods either only
conduct coarse-grained operation-level search, or restrictively explore
fine-grained filter-level and weight-level units using manually-defined
remaining ratios, which fail to simultaneously achieve small model size and
satisfactory model performance. Additionally, they address the high memory
consumption of the search process at the expense of search quality. To tackle
these issues, we introduce multi-granularity architecture search (MGAS), a
unified framework which aims to comprehensively and memory-efficiently explore
the multi-granularity search space to discover both effective and efficient
neural networks. Specifically, we learn discretization functions specific to
each granularity level to adaptively determine the remaining ratios according
to the evolving architecture. This ensures an optimal balance among units of
different granularity levels for different target model sizes. Considering the
memory demands, we break down the super-net optimization and discretization
into multiple sub-net stages. By allowing re-pruning and regrowing of units in
previous sub-nets during subsequent stages, we compensate for potential bias in
earlier stages. Extensive experiments on CIFAR-10, CIFAR-100 and ImageNet
demonstrate that MGAS outperforms other state-of-the-art methods in achieving a
better trade-off between model performance and model size.
- Abstract(参考訳): 微分可能アーキテクチャサーチ(DAS)は、ニューラルネットワーク設計の時間効率の自動化により、ニューラルネットワークサーチ(NAS)分野において顕著なアプローチとなっている。
これは、離散アーキテクチャサンプリングと評価の伝統的なパラダイムを、微分可能なスーパーネット最適化と離散化にシフトさせる。
しかし、既存のdas法は粗粒度操作レベルの探索のみを行うか、手動で定義した残比を用いて細粒度フィルタレベルおよび重みレベルユニットを限定的に探索する。
さらに,検索の質を犠牲にして,検索プロセスの高メモリ消費に対処する。
これらの課題に対処するために,多粒度アーキテクチャ探索(MGAS)を導入した。これは,多粒度検索空間を包括的かつメモリ効率よく探索し,効率的かつ効率的なニューラルネットワークを発見することを目的とした統合フレームワークである。
具体的には,各粒度レベルに特有の離散化関数を学習し,進化するアーキテクチャに応じて残りの比率を適応的に決定する。
これにより、異なる対象モデルサイズに対して、異なる粒度レベルの単位間の最適なバランスが確保される。
メモリ要求を考慮して、スーパーネット最適化と離散化を複数のサブネットステージに分割する。
その後の段階において、以前のサブネットにおけるユニットの再プラニングと再成長を可能にすることにより、早期の潜在的なバイアスを補償する。
CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
関連論文リスト
- Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [49.81353382211113]
マルチヘッド自己認識を高分解能表現CNNに効率的に組み込むという課題に対処する。
本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。
本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
論文 参考訳(メタデータ) (2024-03-15T15:47:54Z) - Lightweight Diffusion Models with Distillation-Based Block Neural
Architecture Search [55.41583104734349]
拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。
事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。
従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
論文 参考訳(メタデータ) (2023-11-08T12:56:59Z) - FOSTER: Feature Boosting and Compression for Class-Incremental Learning [52.603520403933985]
ディープニューラルネットワークは、新しいカテゴリーを学ぶ際に破滅的な忘れ方に悩まされる。
本稿では,新たなカテゴリを適応的に学習するためのモデルとして,新しい2段階学習パラダイムFOSTERを提案する。
論文 参考訳(メタデータ) (2022-04-10T11:38:33Z) - One-Shot Neural Ensemble Architecture Search by Diversity-Guided Search
Space Shrinking [97.60915598958968]
本稿では,この2つの課題に対処するワンショットニューラルアンサンブルアーキテクチャサーチ(NEAS)ソリューションを提案する。
最初の課題として,探索空間の縮小を導くために,多様性に基づく新しい指標を導入する。
第2の課題として,異なるモデル間の階層共有を効率向上のために学習する新たな探索次元を実現する。
論文 参考訳(メタデータ) (2021-04-01T16:29:49Z) - Effective and Fast: A Novel Sequential Single Path Search for
Mixed-Precision Quantization [45.22093693422085]
混合精度量子化モデルは、異なる層の感度に応じて異なる量子化ビット精度にマッチし、優れた性能を達成できます。
いくつかの制約に従ってディープニューラルネットワークにおける各層の量子化ビット精度を迅速に決定することは難しい問題である。
混合精度量子化のための新規なシーケンシャルシングルパス探索(SSPS)法を提案する。
論文 参考訳(メタデータ) (2021-03-04T09:15:08Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2020-10-13T04:34:24Z) - VINNAS: Variational Inference-based Neural Network Architecture Search [2.685668802278155]
スパース畳み込みニューラルネットワークを探索するための可変変分推論に基づくNAS法を提案する。
提案手法は,非ゼロパラメータの約2倍の精度で最先端の精度を示しながら,多様なネットワークセルを探索する。
論文 参考訳(メタデータ) (2020-07-12T21:47:35Z) - DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。
最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。
微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
論文 参考訳(メタデータ) (2020-06-18T08:23:02Z) - AlphaGAN: Fully Differentiable Architecture Search for Generative
Adversarial Networks [15.740179244963116]
GAN (Generative Adversarial Networks) はミニマックスゲーム問題として定式化され、ジェネレータは差別者に対する対戦学習によって実際のデータ分布にアプローチしようとする。
本研究は,ネットワークアーキテクチャの観点からのモデル学習を促進することを目的として,GANに自動アーキテクチャ探索の最近の進歩を取り入れた。
我々は,αGANと呼ばれる,生成的敵ネットワークのための,完全に差別化可能な検索フレームワークを提案する。
論文 参考訳(メタデータ) (2020-06-16T13:27:30Z) - Deep-n-Cheap: An Automated Search Framework for Low Complexity Deep
Learning [3.479254848034425]
私たちはディープラーニングモデルを探すためのオープンソースのAutoMLフレームワークであるDeep-n-Cheapを紹介します。
私たちのフレームワークは、ベンチマークとカスタムデータセットの両方へのデプロイをターゲットとしています。
Deep-n-Cheapには、トレーニング時間やパラメータ数とパフォーマンスをトレードオフする、ユーザ管理可能な複雑性ペナルティが含まれている。
論文 参考訳(メタデータ) (2020-03-27T13:00:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。