論文の概要: TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification

• arxiv url: http://arxiv.org/abs/2408.01311v1
• Date: Fri, 2 Aug 2024 15:01:29 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-05 13:07:59.466250
• Title: TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification
• Title（参考訳）: TopoNAS: トポロジカル単純化による勾配型NASの探索効率の向上
• Authors: Danpei Zhao, Zhuoran Liu, Bo Yuan,
• Abstract要約: TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
• 参考スコア（独自算出の注目度）: 11.08910129925713
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Improving search efficiency serves as one of the crucial objectives of Neural Architecture Search (NAS). However, many current approaches ignore the universality of the search strategy and fail to reduce the computational redundancy during the search process, especially in one-shot NAS architectures. Besides, current NAS methods show invalid reparameterization in non-linear search space, leading to poor efficiency in common search spaces like DARTS. In this paper, we propose TopoNAS, a model-agnostic approach for gradient-based one-shot NAS that significantly reduces searching time and memory usage by topological simplification of searchable paths. Firstly, we model the non-linearity in search spaces to reveal the parameterization difficulties. To improve the search efficiency, we present a topological simplification method and iteratively apply module-sharing strategies to simplify the topological structure of searchable paths. In addition, a kernel normalization technique is also proposed to preserve the search accuracy. Experimental results on the NASBench201 benchmark with various search spaces demonstrate the effectiveness of our method. It proves the proposed TopoNAS enhances the performance of various architectures in terms of search efficiency while maintaining a high level of accuracy. The project page is available at https://xdedss.github.io/topo_simplification.
• Abstract（参考訳）: 探索効率の向上は、ニューラルネットワーク探索(NAS)の重要な目的の1つである。 しかし、現在の多くのアプローチは、探索戦略の普遍性を無視し、特にワンショットNASアーキテクチャにおいて、探索過程における計算冗長性を減少させることができない。 さらに、現在のNAS法は、非線形探索空間において無効な再パラメータ化を示し、DARTSのような一般的な探索空間では効率が低下する。 本稿では,勾配に基づくワンショットNASのモデルに依存しない手法であるTopoNASを提案する。 まず,パラメータ化の難しさを明らかにするために,探索空間の非線形性をモデル化する。 探索効率を向上させるために,探索可能な経路のトポロジ的構造を簡素化するために,トポロジ的単純化手法を提案し,モジュール共有戦略を反復的に適用する。 また,検索精度を維持するため,カーネル正規化手法も提案している。 各種探索空間を用いたNASBench201ベンチマーク実験の結果,本手法の有効性が示された。 提案したTopoNASは,高い精度を維持しつつ,探索効率の観点から各種アーキテクチャの性能を向上させる。 プロジェクトのページはhttps://xdedss.github.io/topo_simplificationで公開されている。

関連論文リスト

• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• NASI: Label- and Data-agnostic Neural Architecture Search at Initialization [35.18069719489172]
  我々はNAS at Initialization (NASI)と呼ばれる新しいNASアルゴリズムを提案する。 NASIはニューラル・タンジェント・カーネルの機能を利用して、候補アーキテクチャの収束性能を特徴づける。 NASIはまた、CIFAR-10/100やImageNetなど、さまざまなデータセットで競合する検索効率を実現している。
  論文  参考訳（メタデータ） (2021-09-02T09:49:28Z)
• Generative Adversarial Neural Architecture Search [21.05611902967155]
  理論的に証明可能な収束保証を備えたGA-NAS(Generative Adversarial NAS)を提案する。 GA-NASは、他のNAS手法によって既に最適化されているベースラインを改善するために利用できることを示す。
  論文  参考訳（メタデータ） (2021-05-19T18:54:44Z)
• Searching Efficient Model-guided Deep Network for Image Denoising [61.65776576769698]
  モデルガイド設計とNAS(MoD-NAS)をつなぐ新しいアプローチを提案する。 MoD-NASは、再利用可能な幅探索戦略と密結合された探索ブロックを用いて、各層の操作を自動的に選択する。 いくつかの一般的なデータセットに対する実験結果から、我々のMoD-NASは現在の最先端手法よりもPSNR性能が向上していることが示された。
  論文  参考訳（メタデータ） (2021-04-06T14:03:01Z)
• Trilevel Neural Architecture Search for Efficient Single Image Super-Resolution [127.92235484598811]
  本稿では,高効率単一画像超解像(SR)のための3レベルニューラルネットワーク探索法を提案する。 離散探索空間をモデル化するために、離散探索空間に新たな連続緩和を適用し、ネットワークパス、セル操作、カーネル幅の階層的混合を構築する。 階層型スーパーネット方式による最適化を行うため,効率的な探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-01-17T12:19:49Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。