論文の概要: MixPath: A Unified Approach for One-shot Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2001.05887v4
• Date: Wed, 19 Jul 2023 12:58:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-20 18:41:40.804928
• Title: MixPath: A Unified Approach for One-shot Neural Architecture Search
• Title（参考訳）: mixpath:ワンショットニューラルネットワーク検索のための統一アプローチ
• Authors: Xiangxiang Chu, Shun Lu, Xudong Li, Bo Zhang
• Abstract要約: 本稿では,異なる特徴統計を正規化するためのシャドウバッチ正規化(SBN)と呼ばれる新しいメカニズムを提案する。 我々は、統合されたマルチパスワンショットアプローチをMixPathと呼び、ImageNet上で最先端の結果を得る一連のモデルを生成する。
• 参考スコア（独自算出の注目度）: 13.223963114415552
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Blending multiple convolutional kernels is proved advantageous in neural architecture design. However, current two-stage neural architecture search methods are mainly limited to single-path search spaces. How to efficiently search models of multi-path structures remains a difficult problem. In this paper, we are motivated to train a one-shot multi-path supernet to accurately evaluate the candidate architectures. Specifically, we discover that in the studied search spaces, feature vectors summed from multiple paths are nearly multiples of those from a single path. Such disparity perturbs the supernet training and its ranking ability. Therefore, we propose a novel mechanism called Shadow Batch Normalization (SBN) to regularize the disparate feature statistics. Extensive experiments prove that SBNs are capable of stabilizing the optimization and improving ranking performance. We call our unified multi-path one-shot approach as MixPath, which generates a series of models that achieve state-of-the-art results on ImageNet.
• Abstract（参考訳）: 複数の畳み込みカーネルのブレンディングは、ニューラルアーキテクチャ設計において有利であることが証明されている。 しかし、現在の2段階のニューラルアーキテクチャ探索法は主にシングルパス探索空間に限られている。 マルチパス構造の効率的なモデル探索は依然として難しい課題である。 本稿では,候補アーキテクチャを正確に評価するために,ワンショットマルチパススーパーネットをトレーニングする動機付けを行う。 具体的には、研究対象の探索空間において、複数の経路から合計された特徴ベクトルは1つの経路から得られる特徴ベクトルのほぼ多重であることを示す。 このような格差は、スーパーネットのトレーニングとそのランキング能力に支障をきたす。 そこで我々は,異なる特徴統計を正規化するためのシャドウバッチ正規化(SBN)と呼ばれる新しいメカニズムを提案する。 大規模な実験により、SBNは最適化を安定化し、ランキング性能を向上させることができることが証明された。 当社の統一マルチパスワンショットアプローチをmixpathと呼び、imagenetで最先端の結果を得る一連のモデルを生成します。

関連論文リスト

• Real-Time Image Segmentation via Hybrid Convolutional-Transformer Architecture Search [49.81353382211113]
  マルチヘッド自己認識を高分解能表現CNNに効率的に組み込むという課題に対処する。 本稿では,高解像度機能の利点をフル活用したマルチターゲットマルチブランチ・スーパーネット手法を提案する。 本稿では,Hybrid Convolutional-Transformer Architecture Search (HyCTAS)法を用いて,軽量畳み込み層とメモリ効率のよい自己保持層を最適に組み合わせたモデルを提案する。
  論文  参考訳（メタデータ） (2024-03-15T15:47:54Z)
• OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural Architecture Search [79.36688444492405]
  once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。 我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
  論文  参考訳（メタデータ） (2023-03-23T21:30:29Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Mutually-aware Sub-Graphs Differentiable Architecture Search [29.217547815683748]
  相互認識サブグラフ微分可能なアーキテクチャ探索(MSG-DAS) MSG-DASはGumbel-TopKサンプルであり、複数の相互排他的な単一パスサブグラフを生成する。 提案手法の有効性をImageNetとCIFAR10で示す。
  論文  参考訳（メタデータ） (2021-07-09T09:31:31Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)
• Neural Architecture Search as Sparse Supernet [78.09905626281046]
  本稿では,単一パスと複数パスの探索から混合パスの自動探索へ,ニューラルネットワーク探索(NAS)の問題を拡大することを目的とする。 我々はNAS問題をスパース・スーパーネットとして,空間制約を混合した新しい連続アーキテクチャ表現を用いてモデル化する。 スパーススーパーネットは、コンパクトなノードセット上でスパース混合パスを自動的に達成する。
  論文  参考訳（メタデータ） (2020-07-31T14:51:52Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。