論文の概要: ParZC: Parametric Zero-Cost Proxies for Efficient NAS

• arxiv url: http://arxiv.org/abs/2402.02105v1
• Date: Sat, 3 Feb 2024 10:00:11 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-06 22:02:23.522480
• Title: ParZC: Parametric Zero-Cost Proxies for Efficient NAS
• Title（参考訳）: ParZC: 効率的なNASのためのパラメトリックゼロコストプロキシ
• Authors: Peijie Dong, Lujun Li, Xinglin Pan, Zimian Wei, Xiang Liu, Qiang Wang, Xiaowen Chu
• Abstract要約: 現在のゼロコストプロキシは、ニューラルネットワークの全ノードが同等のパフォーマンス推定に影響を及ぼさないという事実を考慮せずに、ノード単位のゼロコスト統計を集約する。 パラメトリックゼロコストプロキシ(ParZC)フレームワークを導入し,パラメータ化によるゼロコストプロキシの適応性を向上させる。 NAS-Bench-101, 201, NDSに関する総合的な実験は、既存のゼロショットNAS法と比較して提案したParZCの優位性を示した。
• 参考スコア（独自算出の注目度）: 17.35463786216675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in Zero-shot Neural Architecture Search (NAS) highlight the efficacy of zero-cost proxies in various NAS benchmarks. Several studies propose the automated design of zero-cost proxies to achieve SOTA performance but require tedious searching progress. Furthermore, we identify a critical issue with current zero-cost proxies: they aggregate node-wise zero-cost statistics without considering the fact that not all nodes in a neural network equally impact performance estimation. Our observations reveal that node-wise zero-cost statistics significantly vary in their contributions to performance, with each node exhibiting a degree of uncertainty. Based on this insight, we introduce a novel method called Parametric Zero-Cost Proxies (ParZC) framework to enhance the adaptability of zero-cost proxies through parameterization. To address the node indiscrimination, we propose a Mixer Architecture with Bayesian Network (MABN) to explore the node-wise zero-cost statistics and estimate node-specific uncertainty. Moreover, we propose DiffKendall as a loss function to directly optimize Kendall's Tau coefficient in a differentiable manner so that our ParZC can better handle the discrepancies in ranking architectures. Comprehensive experiments on NAS-Bench-101, 201, and NDS demonstrate the superiority of our proposed ParZC compared to existing zero-shot NAS methods. Additionally, we demonstrate the versatility and adaptability of ParZC by transferring it to the Vision Transformer search space.
• Abstract（参考訳）: Zero-shot Neural Architecture Search (NAS)の最近の進歩は、さまざまなNASベンチマークにおけるゼロコストプロキシの有効性を強調している。 いくつかの研究は、SOTA性能を達成するためにゼロコストプロキシの自動設計を提案するが、面倒な探索の進捗が必要である。 ニューラルネットワーク内のすべてのノードが性能評価に等しく影響を及ぼすわけではないという事実を考慮せずに、ノード毎のゼロコスト統計を集計する。 観測の結果,ノード単位のゼロコスト統計は,各ノードが不確実性を示すため,その性能に対する寄与が著しく異なることがわかった。 この知見に基づき,パラメトリックゼロコストプロキシ(ParZC)フレームワークを導入し,パラメータ化によるゼロコストプロキシの適応性を向上する。 ノード識別に対処するため,ノード単位のゼロコスト統計を探索し,ノード固有不確かさを推定するMixer Architecture with Bayesian Network (MABN)を提案する。 さらに、DiffKendallを損失関数として提案し、KendallのTau係数を直接微分可能な方法で最適化し、ParZCがランキングアーキテクチャの相違性をよりよく扱えるようにする。 NAS-Bench-101, 201, NDSに関する総合的な実験は、既存のゼロショットNAS法と比較して提案したParZCの優位性を示した。 さらに、視覚変換器の探索空間に転送することで、ParZCの汎用性と適応性を示す。

関連論文リスト

• TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
  TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。 TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。 TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• AZ-NAS: Assembling Zero-Cost Proxies for Network Architecture Search [30.64117903216323]
  トレーニングフリーネットワークアーキテクチャサーチ (NAS) は、ゼロコストプロキシによる高性能ネットワークの探索を目的としている。 AZ-NASは,ネットワークの予測ランキングと地上事実との相関性を高めるために,様々なゼロコストプロキシのアンサンブルを利用する新しいアプローチである。 その結果, AZ-NAS の有効性と有効性を確定的に示し, 標準ベンチマークにおける最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2024-03-28T08:44:36Z)
• Zero-Shot Neural Architecture Search: Challenges, Solutions, and Opportunities [58.67514819895494]
  ゼロショットNASアプローチの背景にある主要な考え方は、ネットワークパラメータを訓練することなく、与えられたネットワークの精度を予測できるプロキシを設計することである。 本稿では,SOTA (State-of-the-art) ゼロショットNASアプローチを総合的にレビューし,比較することを目的とする。
  論文  参考訳（メタデータ） (2023-07-05T03:07:00Z)
• Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations [59.683234126055694]
  最近のニューラルアーキテクチャサーチ(NAS)フレームワークは、与えられた条件に対して最適なアーキテクチャを見つけるのに成功している。 クリーン画像と摂動画像の両方の特徴,パラメータ,勾配の整合性を考慮した,軽量で堅牢なゼロコストプロキシを提案する。 提案手法は,多種多様な摂動にまたがる堅牢性を示す一般化可能な特徴を学習可能な,効率的かつ迅速なニューラルアーキテクチャの探索を容易にする。
  論文  参考訳（メタデータ） (2023-06-08T08:34:26Z)
• ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients [17.139381064317778]
  我々は、#Paramsよりも一貫して動作する新しいゼロショットプロキシZiCoを提案する。 ZiCoベースのNASは、それぞれ450M、600M、1000Mの予測予算で78.1%、79.4%、80.4%のテスト精度で最適なアーキテクチャを見つけることができる。
  論文  参考訳（メタデータ） (2023-01-26T18:38:56Z)
• $\beta$-DARTS++: Bi-level Regularization for Proxy-robust Differentiable Architecture Search [96.99525100285084]
  DARTSに基づくNAS探索プロセス($beta$-DARTS)を正規化するための正規化手法であるBeta-Decayを提案する。 どのように動作するのか、なぜ動作するのかに関する詳細な理論的分析が提供される。
  論文  参考訳（メタデータ） (2023-01-16T12:30:32Z)
• Evolving Zero Cost Proxies For Neural Architecture Scoring [3.441021278275805]
  ニューラルネットワークスコアリングのためのゼロコストプロキシの発見を自動化するための遺伝的プログラミングフレームワークを提案する。 本手法は,解析可能かつ一般化可能なゼロコストプロキシを効率よく発見し,高いスコアと精度の相関関係を示す。
  論文  参考訳（メタデータ） (2022-09-15T16:10:16Z)
• Generalization Properties of NAS under Activation and Skip Connection Search [66.8386847112332]
  ニューラルネットワーク探索(NAS)の一般化特性を統一的枠組みの下で検討する。 我々は, 有限幅政権下でのニューラル・タンジェント・カーネル(NTK)の最小固有値の下(および上)境界を導出する。 トレーニングなしでもNASがトップパフォーマンスアーキテクチャを選択する方法を示す。
  論文  参考訳（メタデータ） (2022-09-15T12:11:41Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• Zero-Cost Proxies for Lightweight NAS [19.906217380811373]
  本研究では,従来の還元学習プロキシを評価し,検索中における複数のモデル間のランキング保持率を定量化する。 モデルスコアを計算するために,トレーニングデータの1つのミニバッチのみを使用するゼロコストプロキシのシリーズを提案する。 ゼロコストプロキシは3桁の計算量が少ないが、従来のプロキシとマッチし、さらに優れています。
  論文  参考訳（メタデータ） (2021-01-20T13:59:52Z)
• Toward fast and accurate human pose estimation via soft-gated skip connections [97.06882200076096]
  本稿では,高精度かつ高効率な人間のポーズ推定について述べる。 我々は、最先端技術よりも精度と効率を両立させる文脈において、この設計選択を再分析する。 本モデルでは,MPII と LSP のデータセットから最先端の結果が得られる。
  論文  参考訳（メタデータ） (2020-02-25T18:51:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。