論文の概要: BS-NAS: Broadening-and-Shrinking One-Shot NAS with Searchable Numbers of Channels

• arxiv url: http://arxiv.org/abs/2003.09821v1
• Date: Sun, 22 Mar 2020 06:32:47 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-21 05:16:11.071537
• Title: BS-NAS: Broadening-and-Shrinking One-Shot NAS with Searchable Numbers of Channels
• Title（参考訳）: BS-NAS:検索可能なチャンネル数付きワンショットNAS
• Authors: Zan Shen, Jiang Qian, Bojin Zhuang, Shaojun Wang, Jing Xiao
• Abstract要約: ワンショット法はニューラルアーキテクチャサーチ(NAS)において最も一般的な方法の1つに進化した。 ワンショット法は、ウェイトシェアリングとスーパーネットの単一トレーニングにより、ニューラルネットワークサーチ(NAS)において最も一般的な方法の1つに進化した。 既存の手法では,各層に所定の数のチャネルが最適以下である場合と,重み結合と連続的な探索空間の拡大によるモデル平均化効果とランキング相関の低下という2つの問題に悩まされている。 Broadening-and-Shrinking One-Shot NAS (BS-NAS) フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 25.43631259260473
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-Shot methods have evolved into one of the most popular methods in Neural Architecture Search (NAS) due to weight sharing and single training of a supernet. However, existing methods generally suffer from two issues: predetermined number of channels in each layer which is suboptimal; and model averaging effects and poor ranking correlation caused by weight coupling and continuously expanding search space. To explicitly address these issues, in this paper, a Broadening-and-Shrinking One-Shot NAS (BS-NAS) framework is proposed, in which `broadening' refers to broadening the search space with a spring block enabling search for numbers of channels during training of the supernet; while `shrinking' refers to a novel shrinking strategy gradually turning off those underperforming operations. The above innovations broaden the search space for wider representation and then shrink it by gradually removing underperforming operations, followed by an evolutionary algorithm to efficiently search for the optimal architecture. Extensive experiments on ImageNet illustrate the effectiveness of the proposed BS-NAS as well as the state-of-the-art performance.
• Abstract（参考訳）: ワンショット法は、ウェイトシェアリングとスーパーネットの単一トレーニングにより、ニューラルネットワークサーチ(NAS)において最も一般的な方法の1つに進化した。 しかし,従来の手法では,各層に一定数のチャネルが最適以下である場合と,重み結合と連続的な探索空間の拡大によるモデル平均化効果とランキング相関の低下が問題となっている。 そこで本稿では,この課題を明示的に解決するために,bs-nas(bs-nas)フレームワークを提案する。"broadening"は,スーパーネットの訓練中にチャネル数を探索できるspringブロックで探索空間を広げることを目的としている。 上記の革新は、より広い表現の探索空間を広げ、徐々に低パフォーマンスな操作を取り除き、最適なアーキテクチャを効率的に探索する進化的アルゴリズムによって縮小する。 imagenetにおける広範な実験は、提案されたbs-nasの有効性と最先端の性能を示している。

関連論文リスト

• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• UENAS: A Unified Evolution-based NAS Framework [11.711427415684955]
  UENASは、より広い検索空間を持つ進化型NASフレームワークである。 拡張された検索空間によって引き起こされる膨大な検索コストを軽減するための3つの戦略を提案する。 UENASはCIFAR-10で2.81%、CIFAR-100で20.24%、Tiny-ImageNetで33%のエラー率を達成した。
  論文  参考訳（メタデータ） (2022-03-08T09:14:37Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• Weight-Sharing Neural Architecture Search: A Battle to Shrink the Optimization Gap [90.93522795555724]
  ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方で注目を集めている。 重み共有手法は、多くのアーキテクチャが同一のスーパーネットワークで重みを共有している。 本稿では,NAS,特に重み付け手法に関する文献レビューを行う。
  論文  参考訳（メタデータ） (2020-08-04T11:57:03Z)
• Bonsai-Net: One-Shot Neural Architecture Search via Differentiable Pruners [1.4180331276028662]
  ワンショットニューラルアーキテクチャサーチ(NAS)は、最先端のモデルを発見する際の計算コストを最小限にすることを目的としている。 緩和された検索空間を探索するために,効率的なワンショットNAS手法であるBonsai-Netを提案する。
  論文  参考訳（メタデータ） (2020-06-12T14:44:00Z)
• Angle-based Search Space Shrinking for Neural Architecture Search [78.49722661000442]
  ニューラルネットワーク探索(NAS)のためのアングルベースサーチスペーススライキング(ABS) 提案手法は,未提案の候補を落として,検索空間を段階的に単純化する。 ABSは、有望なスランク検索空間を提供することで、既存のNASアプローチを劇的に強化することができる。
  論文  参考訳（メタデータ） (2020-04-28T11:26:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。