論文の概要: Mutually-aware Sub-Graphs Differentiable Architecture Search
- arxiv url: http://arxiv.org/abs/2107.04324v2
- Date: Mon, 12 Jul 2021 09:46:24 GMT
- ステータス: 処理完了
- システム内更新日: 2021-07-13 11:57:05.618644
- Title: Mutually-aware Sub-Graphs Differentiable Architecture Search
- Title（参考訳）: Mutually-Aware Sub-Graphs Differentiable Architecture Search
- Authors: Haoxian Tan, Sheng Guo, Yujie Zhong, Weilin Huang
- Abstract要約: 相互認識サブグラフ微分可能なアーキテクチャ探索(MSG-DAS)
MSG-DASはGumbel-TopKサンプルであり、複数の相互排他的な単一パスサブグラフを生成する。
提案手法の有効性をImageNetとCIFAR10で示す。
- 参考スコア（独自算出の注目度）: 29.217547815683748
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Differentiable architecture search is prevalent in the field of NAS because
of its simplicity and efficiency, where two paradigms, multi-path algorithms
and single-path methods, are dominated. Multi-path framework (e.g. DARTS) is
intuitive but suffers from memory usage and training collapse. Single-path
methods (e.g.GDAS and ProxylessNAS) mitigate the memory issue and shrink the
gap between searching and evaluation but sacrifice the performance. In this
paper, we propose a conceptually simple yet efficient method to bridge these
two paradigms, referred as Mutually-aware Sub-Graphs Differentiable
Architecture Search (MSG-DAS). The core of our framework is a differentiable
Gumbel-TopK sampler that produces multiple mutually exclusive single-path
sub-graphs. To alleviate the severer skip-connect issue brought by multiple
sub-graphs setting, we propose a Dropblock-Identity module to stabilize the
optimization. To make best use of the available models (super-net and
sub-graphs), we introduce a memory-efficient super-net guidance distillation to
improve training. The proposed framework strikes a balance between flexible
memory usage and searching quality. We demonstrate the effectiveness of our
methods on ImageNet and CIFAR10, where the searched models show a comparable
performance as the most recent approaches.
- Abstract（参考訳）: 差別化可能なアーキテクチャ検索は、そのシンプルさと効率性のため、nasの分野では、マルチパスアルゴリズムとシングルパスメソッドの2つのパラダイムが支配されている。
マルチパスフレームワーク(例)
DARTS)は直感的だが、メモリ使用量とトレーニングの崩壊に悩まされている。
シングルパス法(GDASやProxylessNASなど)はメモリ問題を緩和し、検索と評価のギャップを縮めるが性能を犠牲にする。
本稿では,これら2つのパラダイムを相互に認識するサブグラフ微分可能アーキテクチャ探索 (msg-das) と呼ぶ,概念的に単純かつ効率的な橋渡し手法を提案する。
フレームワークのコアはGumbel-TopKサンプルであり、複数の相互排他的なシングルパスサブグラフを生成する。
複数のサブグラフ設定によるスキップ接続の問題を軽減するため,最適化を安定化するためのDropblock-Identityモジュールを提案する。
利用可能なモデル(スーパーネットとサブグラフ)を最大限に活用するために、トレーニングを改善するためのメモリ効率の高いスーパーネット誘導蒸留を導入する。
提案するフレームワークは、フレキシブルメモリ使用量と検索品質のバランスをとる。
本研究では,imagenet と cifar10 における提案手法の有効性を実証する。
関連論文リスト
- Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [49.81353382211113]
マルチヘッド自己認識を高分解能表現CNNに効率的に組み込むという課題に対処する。
本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。
本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
論文 参考訳（メタデータ） (2024-03-15T15:47:54Z) - MGAS: Multi-Granularity Architecture Search for Trade-Off Between Model
Effectiveness and Efficiency [10.641875933652647]
我々は,多粒度アーキテクチャサーチ(MGAS)を導入し,効率的かつ効率的なニューラルネットワークを探索する。
各粒度レベル固有の離散化関数を学習し、進化したアーキテクチャに従って単位残率を適応的に決定する。
CIFAR-10、CIFAR-100、ImageNetの大規模な実験により、MGASはモデル性能とモデルサイズとのトレードオフを改善するために、他の最先端の手法よりも優れていることが示された。
論文 参考訳（メタデータ） (2023-10-23T16:32:18Z) - Pruning-as-Search: Efficient Neural Architecture Search via Channel
Pruning and Structural Reparameterization [50.50023451369742]
プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。
提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
論文 参考訳（メタデータ） (2022-06-02T17:58:54Z) - Manifold Regularized Dynamic Network Pruning [102.24146031250034]
本稿では,全インスタンスの多様体情報をプルーンドネットワークの空間に埋め込むことにより,冗長フィルタを動的に除去する新しいパラダイムを提案する。
提案手法の有効性をいくつかのベンチマークで検証し,精度と計算コストの両面で優れた性能を示す。
論文 参考訳（メタデータ） (2021-03-10T03:59:03Z) - Decoupled and Memory-Reinforced Networks: Towards Effective Feature
Learning for One-Step Person Search [65.51181219410763]
歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。
現在のワンステップアプローチには2つの大きな課題があります。
本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
論文 参考訳（メタデータ） (2021-02-22T06:19:45Z) - ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and
Gradient Accumulation [106.04777600352743]
微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。
シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。
メモリフレンドリーだが、計算コストも低い。
RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-11-23T06:34:07Z) - Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural
Architecture Search [60.965024145243596]
ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。
この問題を軽減するため, 単純で効果的な蒸留法を提案する。
本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。
優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
論文 参考訳（メタデータ） (2020-10-29T17:55:05Z) - MixPath: A Unified Approach for One-shot Neural Architecture Search [13.223963114415552]
本稿では,異なる特徴統計を正規化するためのシャドウバッチ正規化(SBN)と呼ばれる新しいメカニズムを提案する。
我々は、統合されたマルチパスワンショットアプローチをMixPathと呼び、ImageNet上で最先端の結果を得る一連のモデルを生成する。
論文 参考訳（メタデータ） (2020-01-16T15:24:26Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。