論文の概要: MixPath: A Unified Approach for One-shot Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2001.05887v3
• Date: Tue, 10 Mar 2020 10:47:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-10 23:27:10.007359
• Title: MixPath: A Unified Approach for One-shot Neural Architecture Search
• Title（参考訳）: mixpath:ワンショットニューラルネットワーク検索のための統一アプローチ
• Authors: Xiangxiang Chu, Xudong Li, Shun Lu, Bo Zhang, and Jixiang Li
• Abstract要約: 本稿では,異なる特徴統計を正規化するためのシャドウバッチ正規化(SBN)と呼ばれる新しいメカニズムを提案する。 我々は、統合されたマルチパスワンショットアプローチをMixPathと呼び、ImageNet上で最先端の結果を得る一連のモデルを生成する。
• 参考スコア（独自算出の注目度）: 12.718557571029647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blending multiple convolutional kernels is proved advantageous in neural architectural design. However, current neural architecture search approaches are mainly limited to stacked single-path search space. How can the one-shot doctrine search for multi-path models remains unresolved. Specifically, we are motivated to train a multi-path supernet to accurately evaluate the candidate architectures. In this paper, we discover that in the studied search space, feature vectors summed from multiple paths are nearly multiples of those from a single path, which perturbs supernet training and its ranking ability. In this regard, we propose a novel mechanism called Shadow Batch Normalization(SBN) to regularize the disparate feature statistics. Extensive experiments prove that SBN is capable of stabilizing the training and improving the ranking performance (e.g. Kendall Tau 0.597 tested on NAS-Bench-101). We call our unified multi-path one-shot approach as MixPath, which generates a series of models that achieve state-of-the-art results on ImageNet.
• Abstract（参考訳）: 複数の畳み込みカーネルのブレンディングは、ニューラルアーキテクチャ設計において有利であることが証明されている。 しかし、現在のニューラルアーキテクチャ探索手法は主にスタック化されたシングルパス探索空間に限られている。 マルチパスモデルのワンショットドクトリン検索は、まだ未解決のままである。 具体的には、候補アーキテクチャを正確に評価するために、マルチパススーパーネットをトレーニングする動機があります。 本稿では, 探索空間において, 複数の経路から要約された特徴ベクトルが, スーパーネットトレーニングとそのランク付け能力を乱す単一経路からの特徴ベクトルのほぼ倍であることを示す。 本稿では,異なる特徴統計を正規化するシャドウバッチ正規化(sbn)と呼ばれる新しいメカニズムを提案する。 大規模な実験により、SBNはトレーニングを安定化し、ランキングパフォーマンスを改善することができる(例えば、NAS-Bench-101でテストされたKendall Tau 0.597)。 当社の統一マルチパスワンショットアプローチをmixpathと呼び、imagenetで最先端の結果を得る一連のモデルを生成します。

関連論文リスト

• Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [49.81353382211113]
  マルチヘッド自己認識を高分解能表現CNNに効率的に組み込むという課題に対処する。 本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。 本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T15:47:54Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Mutually-aware Sub-Graphs Differentiable Architecture Search [29.217547815683748]
  相互認識サブグラフ微分可能なアーキテクチャ探索(MSG-DAS) MSG-DASはGumbel-TopKサンプルであり、複数の相互排他的な単一パスサブグラフを生成する。 提案手法の有効性をImageNetとCIFAR10で示す。
  論文  参考訳（メタデータ） (2021-07-09T09:31:31Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)
• Neural Architecture Search as Sparse Supernet [78.09905626281046]
  本稿では,単一パスと複数パスの探索から混合パスの自動探索へ,ニューラルネットワーク探索(NAS)の問題を拡大することを目的とする。 我々はNAS問題をスパース・スーパーネットとして,空間制約を混合した新しい連続アーキテクチャ表現を用いてモデル化する。 スパーススーパーネットは、コンパクトなノードセット上でスパース混合パスを自動的に達成する。
  論文  参考訳（メタデータ） (2020-07-31T14:51:52Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。