論文の概要: Extensible Proxy for Efficient NAS

• arxiv url: http://arxiv.org/abs/2210.09459v1
• Date: Mon, 17 Oct 2022 22:18:22 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-19 13:00:41.564500
• Title: Extensible Proxy for Efficient NAS
• Title（参考訳）: 効率的なNASのための拡張可能プロキシ
• Authors: Yuhong Li, Jiajie Li, Cong Han, Pan Li, Jinjun Xiong, Deming Chen
• Abstract要約: 我々は、ニューラルアーキテクチャサーチ(NAS)と呼ばれるディープニューラルネットワーク(DNN)を設計するための新しいアプローチを提案する。 NASプロキシはNASの要求される計算問題に対処するために提案され、各候補アーキテクチャネットワークは1回のバックプロパゲーションしか必要としない。 Eproxy+DPSとEproxy+DPSの両方の有効性を確認した。
• 参考スコア（独自算出の注目度）: 38.124755703499886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural Architecture Search (NAS) has become a de facto approach in the recent trend of AutoML to design deep neural networks (DNNs). Efficient or near-zero-cost NAS proxies are further proposed to address the demanding computational issues of NAS, where each candidate architecture network only requires one iteration of backpropagation. The values obtained from the proxies are considered the predictions of architecture performance on downstream tasks. However, two significant drawbacks hinder the extended usage of Efficient NAS proxies. (1) Efficient proxies are not adaptive to various search spaces. (2) Efficient proxies are not extensible to multi-modality downstream tasks. Based on the observations, we design a Extensible proxy (Eproxy) that utilizes self-supervised, few-shot training (i.e., 10 iterations of backpropagation) which yields near-zero costs. The key component that makes Eproxy efficient is an untrainable convolution layer termed barrier layer that add the non-linearities to the optimization spaces so that the Eproxy can discriminate the performance of architectures in the early stage. Furthermore, to make Eproxy adaptive to different downstream tasks/search spaces, we propose a Discrete Proxy Search (DPS) to find the optimized training settings for Eproxy with only handful of benchmarked architectures on the target tasks. Our extensive experiments confirm the effectiveness of both Eproxy and Eproxy+DPS. Code is available at https://github.com/leeyeehoo/GenNAS-Zero.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、ディープニューラルネットワーク(DNN)を設計するAutoMLの最近のトレンドにおいて、事実上のアプローチになっている。 さらに、NASの要求される計算問題に対処するために、効率よく、あるいは、ほぼゼロコストのNASプロキシが提案されている。 プロキシから得られた値は、下流タスクにおけるアーキテクチャパフォーマンスの予測と見なされる。 しかし、2つの重大な欠点は、効率的なnasプロキシの使用の延長を妨げる。 1)効率的なプロキシは様々な検索空間に適応しない。 2) 効率的なプロキシはマルチモーダリティ下流タスクには拡張できない。 本研究は, 自己監督型, 少数ショットトレーニング(バックプロパゲーションの10イテレーション)を利用した拡張可能なプロキシ(Eproxy)を設計し, ほぼゼロのコストを発生させる。 Eproxyを効率的にする鍵となるコンポーネントは、制約不能な畳み込み層と呼ばれるバリア層であり、最適化空間に非線形性を加えて、Eproxyが初期のアーキテクチャのパフォーマンスを識別できるようにする。 さらに、異なるダウンストリームタスク/検索空間に適応させるために、ターゲットタスク上の少数のベンチマークアーキテクチャでEproxyの最適化されたトレーニング設定を見つけるために、離散プロキシ探索(DPS)を提案する。 Eproxy+DPSとEproxy+DPSの両方の有効性を確認した。 コードはhttps://github.com/leeyeehoo/GenNAS-Zeroで入手できる。

関連論文リスト

• Zero-Shot NAS via the Suppression of Local Entropy Decrease [21.100745856699277]
  アーキテクチャ性能評価は、ニューラルアーキテクチャサーチ(NAS)の最も時間を要する部分である ゼロショットNASは、訓練の代わりにゼロコストプロキシを利用することで評価を加速する。 本研究におけるネットワークの性能評価には,アーキテクチャトポロジが用いられている。
  論文  参考訳（メタデータ） (2024-11-09T17:36:53Z)
• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search [30.64117903216323]
  トレーニングフリーネットワークアーキテクチャサーチ (NAS) は、ゼロコストプロキシによる高性能ネットワークの探索を目的としている。 AZ-NASは,ネットワークの予測ランキングと地上事実との相関性を高めるために,様々なゼロコストプロキシのアンサンブルを利用する新しいアプローチである。 その結果, AZ-NAS の有効性と有効性を確定的に示し, 標準ベンチマークにおける最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-28T08:44:36Z)
• Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities [58.67514819895494]
  ゼロショットNASアプローチの背景にある主要な考え方は、ネットワークパラメータを訓練することなく、与えられたネットワークの精度を予測できるプロキシを設計することである。 本稿では,SOTA (State-of-the-art) ゼロショットNASアプローチを総合的にレビューし,比較することを目的とする。
  論文  参考訳（メタデータ） (2023-07-05T03:07:00Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• Non-isotropy Regularization for Proxy-based Deep Metric Learning [78.18860829585182]
  本稿では,プロキシに基づくDeep Metric Learningのための非等方正則化(mathbbNIR$)を提案する。 これにより、プロキシの周囲のサンプルの非等方分布を明示的に誘導して最適化することが可能になる。 実験では、競争力と最先端のパフォーマンスを達成しながら、$mathbbNIR$の一貫性のある一般化の利点を強調している。
  論文  参考訳（メタデータ） (2022-03-16T11:13:20Z)
• ProxyBO: Accelerating Neural Architecture Search via Bayesian Optimization with Zero-cost Proxies [30.059154132130207]
  本稿では、ゼロコストプロキシを用いてニューラルネットワーク探索を高速化する効率的なベイズ最適化フレームワークであるProxyBOを提案する。 ProxyBOは3つの公開ベンチマークから5つのタスクの競争ベースラインを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2021-10-20T08:18:16Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• EcoNAS: Finding Proxies for Economical Neural Architecture Search [130.59673917196994]
  本稿では、既存のほとんどのプロキシが、ネットワーク候補間のランク一貫性を維持する際に異なる振る舞いを示すことを観察する。 これらの観測から着想を得て、信頼性のあるプロキシを提案し、階層的なプロキシ戦略をさらに定式化する。 この戦略は、より正確な候補ネットワークにより多くの計算を費やす一方で、高速なプロキシで初期段階の未予測ネットワークを破棄する。
  論文  参考訳（メタデータ） (2020-01-05T13:29:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。