論文の概要: HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork

• arxiv url: http://arxiv.org/abs/2509.18151v1
• Date: Tue, 16 Sep 2025 11:49:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-24 20:41:27.4238
• Title: HyperNAS: Enhancing Architecture Representation for NAS Predictor via Hypernetwork
• Title（参考訳）: HyperNAS: HypernetworkによるNAS予測のためのアーキテクチャ表現の強化
• Authors: Jindi Lv, Yuhao Zhou, Yuxin Tian, Qing Ye, Wentao Feng, Jiancheng Lv,
• Abstract要約: HyperNASは、アーキテクチャ表現学習を強化するための新しい神経予測パラダイムである。 我々は、HyperNASがCIFAR-10で97.60%、ImageNetで82.4%、少なくとも5.0$times$より少ないサンプルを使用して、新しい最先端の結果を打つことを示した。
• 参考スコア（独自算出の注目度）: 37.904207059004385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Time-intensive performance evaluations significantly impede progress in Neural Architecture Search (NAS). To address this, neural predictors leverage surrogate models trained on proxy datasets, allowing for direct performance predictions for new architectures. However, these predictors often exhibit poor generalization due to their limited ability to capture intricate relationships among various architectures. In this paper, we propose HyperNAS, a novel neural predictor paradigm for enhancing architecture representation learning. HyperNAS consists of two primary components: a global encoding scheme and a shared hypernetwork. The global encoding scheme is devised to capture the comprehensive macro-structure information, while the shared hypernetwork serves as an auxiliary task to enhance the investigation of inter-architecture patterns. To ensure training stability, we further develop a dynamic adaptive multi-task loss to facilitate personalized exploration on the Pareto front. Extensive experiments across five representative search spaces, including ViTs, demonstrate the advantages of HyperNAS, particularly in few-shot scenarios. For instance, HyperNAS strikes new state-of-the-art results, with 97.60\% top-1 accuracy on CIFAR-10 and 82.4\% top-1 accuracy on ImageNet, using at least 5.0$\times$ fewer samples.
• Abstract（参考訳）: 時間集約的な性能評価は、ニューラルアーキテクチャサーチ(NAS)の進歩を著しく阻害する。 これを解決するために、ニューラル予測器はプロキシデータセットでトレーニングされた代理モデルを活用することで、新しいアーキテクチャの直接的なパフォーマンス予測を可能にする。 しかし、これらの予測器は、様々なアーキテクチャ間の複雑な関係を捉える能力に制限があるため、しばしば一般化が不十分である。 本稿では,アーキテクチャ表現学習の高度化のためのニューラル予測パラダイムであるHyperNASを提案する。 HyperNASは、グローバルエンコーディングスキームと共有ハイパーネットワークの2つの主要コンポーネントで構成されている。 グローバルエンコーディング方式は包括的マクロ構造情報をキャプチャするために考案され、共有ハイパーネットワークはアーキテクチャ間パターンの調査を強化する補助的タスクとして機能する。 トレーニングの安定性を確保するため,パレートフロントでのパーソナライズされた探索を容易にするために,動的適応型マルチタスク損失をさらに発展させる。 ViTを含む5つの代表的な検索空間にわたる大規模な実験は、HyperNASの利点を実証している。 例えば、HyperNASは、CIFAR-10で97.60\%、ImageNetで82.4\%、少なくとも5.0$\times$より少ないサンプルを使用して、新しい最先端の結果を出力する。

関連論文リスト

• TG-NAS: Generalizable Zero-Cost Proxies with Operator Description Embedding and Graph Learning for Efficient Neural Architecture Search [1.7356500114422735]
  TG-NASは汎用的なモデルベースのゼロコストプロキシで、Transformerベースの演算子埋め込みジェネレータとGraph Convolutional Network(GCN)を組み合わせてアーキテクチャのパフォーマンスを予測する。 探索効率を最大300倍改善し、NAS-Bench-201で93.75%のCIFAR-10精度、DARTS空間で74.9%のImageNet Top-1精度を実現した。
  論文  参考訳（メタデータ） (2024-03-30T07:25:30Z)
• DiffusionNAG: Predictor-guided Neural Architecture Generation with Diffusion Models [56.584561770857306]
  本研究では拡散モデルに基づく新しい条件付きニューラルネットワーク生成(NAG)フレームワークDiffusionNAGを提案する。 具体的には、ニューラルネットワークを有向グラフとみなし、それらを生成するためのグラフ拡散モデルを提案する。 本研究では,2つの予測型NAS(Transferable NAS)とベイズ最適化(BO)に基づくNAS(Bayesian Optimization)の2つのシナリオにおいて,DiffusionNAGの有効性を検証する。 BOベースのアルゴリズムに統合されると、DiffusionNAGは既存のBOベースのNASアプローチ、特にImageNet 1Kデータセット上の大規模なMobileNetV3検索スペースよりも優れている。
  論文  参考訳（メタデータ） (2023-05-26T13:58:18Z)
• GeNAS: Neural Architecture Search with Better Generalization [14.92869716323226]
  最近のニューラルアーキテクチャサーチ(NAS)アプローチは、対象データに対して優れたネットワークを見つけるために、検証損失または精度に依存している。 そこで本研究では,より一般化した探索型アーキテクチャのためのニューラルアーキテクチャ探索手法について検討する。
  論文  参考訳（メタデータ） (2023-05-15T12:44:54Z)
• PRE-NAS: Predictor-assisted Evolutionary Neural Architecture Search [34.06028035262884]
  我々は、新しい進化型NAS戦略、Predictor-assisted E-NAS(PRE-NAS)を提案する。 Pre-NASは新しい進化的探索戦略を活用し、世代ごとに高忠実度重みの継承を統合する。 NAS-Bench-201とDARTSの探索実験により、Pre-NASは最先端のNAS法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-04-27T06:40:39Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。