論文の概要: Zero-Shot NAS via the Suppression of Local Entropy Decrease

• arxiv url: http://arxiv.org/abs/2411.06236v2
• Date: Tue, 12 Nov 2024 08:51:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-13 13:22:15.689837
• Title: Zero-Shot NAS via the Suppression of Local Entropy Decrease
• Title（参考訳）: 局所的エントロピー減少抑制によるゼロショットNAS
• Authors: Ning Wu, Han Huang, Yueting Xu, Zhifeng Hao,
• Abstract要約: アーキテクチャ性能評価は、ニューラルアーキテクチャサーチ(NAS)の最も時間を要する部分である ゼロショットNASは、訓練の代わりにゼロコストプロキシを利用することで評価を加速する。 本研究におけるネットワークの性能評価には,アーキテクチャトポロジが用いられている。
• 参考スコア（独自算出の注目度）: 21.100745856699277
• License:
• Abstract: Architecture performance evaluation is the most time-consuming part of neural architecture search (NAS). Zero-Shot NAS accelerates the evaluation by utilizing zero-cost proxies instead of training. Though effective, existing zero-cost proxies require invoking backpropagations or running networks on input data, making it difficult to further accelerate the computation of proxies. To alleviate this issue, architecture topologies are used to evaluate the performance of networks in this study. We prove that particular architectural topologies decrease the local entropy of feature maps, which degrades specific features to a bias, thereby reducing network performance. Based on this proof, architectural topologies are utilized to quantify the suppression of local entropy decrease (SED) as a data-free and running-free proxy. Experimental results show that SED outperforms most state-of-the-art proxies in terms of architecture selection on five benchmarks, with computation time reduced by three orders of magnitude. We further compare the SED-based NAS with state-of-the-art proxies. SED-based NAS selects the architecture with higher accuracy and fewer parameters in only one second. The theoretical analyses of local entropy and experimental results demonstrate that the suppression of local entropy decrease facilitates selecting optimal architectures in Zero-Shot NAS.
• Abstract（参考訳）: アーキテクチャ性能評価は、ニューラルアーキテクチャサーチ(NAS)の最も時間を要する部分である。 ゼロショットNASは、訓練の代わりにゼロコストプロキシを利用することで評価を加速する。 効果はあるが、既存のゼロコストプロキシは、バックプロパゲーションや入力データ上のネットワークの実行を必要とするため、プロキシの計算をさらに高速化することは困難である。 この問題を緩和するために,本研究では,アーキテクチャトポロジを用いてネットワークの性能を評価する。 特定のアーキテクチャトポロジが特徴写像の局所的なエントロピーを減少させ、特定の特徴をバイアスに分解し、ネットワーク性能を低下させることを示す。 この証明に基づいて、アーキテクチャトポロジを用いて、データフリーで実行不要なプロキシとして局所エントロピー減少(SED)の抑制を定量化する。 実験の結果,SEDは5つのベンチマークのアーキテクチャ選択において,ほとんどの最先端のプロキシより優れており,計算時間は3桁に短縮されていることがわかった。 さらに、SEDベースのNASと最先端のプロキシを比較した。 SEDベースのNASは、1秒でより正確で少ないパラメータでアーキテクチャを選択する。 局所エントロピーの理論的解析と実験結果から、局所エントロピー減少の抑制はゼロショットNASにおける最適アーキテクチャの選択を促進することが示されている。

関連論文リスト

• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search [30.64117903216323]
  トレーニングフリーネットワークアーキテクチャサーチ (NAS) は、ゼロコストプロキシによる高性能ネットワークの探索を目的としている。 AZ-NASは,ネットワークの予測ランキングと地上事実との相関性を高めるために,様々なゼロコストプロキシのアンサンブルを利用する新しいアプローチである。 その結果, AZ-NAS の有効性と有効性を確定的に示し, 標準ベンチマークにおける最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-28T08:44:36Z)
• SiGeo: Sub-One-Shot NAS via Information Theory and Geometry of Loss Landscape [14.550053893504764]
  ゼロショットとワンショットNASの間のブリッジとして機能する"サブワンショット"パラダイムを導入する。 サブワンショットNASでは、スーパーネットはトレーニングデータの小さなサブセットのみを使用してトレーニングされる。 提案するプロキシは,スーパーネットウォームアップとプロキシの有効性を結びつける,新しい理論フレームワーク上に構築されたプロキシである。
  論文  参考訳（メタデータ） (2023-11-22T05:25:24Z)
• Extensible Proxy for Efficient NAS [38.124755703499886]
  我々は、ニューラルアーキテクチャサーチ(NAS)と呼ばれるディープニューラルネットワーク(DNN)を設計するための新しいアプローチを提案する。 NASプロキシはNASの要求される計算問題に対処するために提案され、各候補アーキテクチャネットワークは1回のバックプロパゲーションしか必要としない。 Eproxy+DPSとEproxy+DPSの両方の有効性を確認した。
  論文  参考訳（メタデータ） (2022-10-17T22:18:22Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• AdvantageNAS: Efficient Neural Architecture Search with Credit Assignment [23.988393741948485]
  ワンショット・スパース伝播NAS(AdvantageNAS)の新たな探索戦略を提案する。 アドバンテージNASは、アーキテクチャ更新の勾配推定にクレジット割り当てを導入することで検索効率を向上させるグラデーションベースのアプローチです。 NAS-Bench-201およびPTBデータセットの実験は、AdvantageNASが限られた時間予算でより高いパフォーマンスのアーキテクチャを発見することを示しています。
  論文  参考訳（メタデータ） (2020-12-11T05:45:03Z)
• Binarized Neural Architecture Search for Efficient Object Recognition [120.23378346337311]
  バイナリ化されたニューラルネットワークサーチ(BNAS)は、エッジコンピューティング用の組み込みデバイスにおいて、膨大な計算コストを削減するために、極めて圧縮されたモデルを生成する。 9,6.53%対9,7.22%の精度はCIFAR-10データセットで達成されるが、かなり圧縮されたモデルで、最先端のPC-DARTSよりも40%速い検索が可能である。
  論文  参考訳（メタデータ） (2020-09-08T15:51:23Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• EcoNAS: Finding Proxies for Economical Neural Architecture Search [130.59673917196994]
  本稿では、既存のほとんどのプロキシが、ネットワーク候補間のランク一貫性を維持する際に異なる振る舞いを示すことを観察する。 これらの観測から着想を得て、信頼性のあるプロキシを提案し、階層的なプロキシ戦略をさらに定式化する。 この戦略は、より正確な候補ネットワークにより多くの計算を費やす一方で、高速なプロキシで初期段階の未予測ネットワークを破棄する。
  論文  参考訳（メタデータ） (2020-01-05T13:29:02Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。