論文の概要: Transferrable Surrogates in Expressive Neural Architecture Search Spaces

• arxiv url: http://arxiv.org/abs/2504.12971v1
• Date: Thu, 17 Apr 2025 14:22:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-18 14:38:26.298502
• Title: Transferrable Surrogates in Expressive Neural Architecture Search Spaces
• Title（参考訳）: 表現型ニューラルネットワーク探索空間におけるトランスファーブルサロゲート
• Authors: Shiwen Qin, Gabriela Kadlecová, Martin Pilát, Shay B. Cohen, Roman Neruda, Elliot J. Crowley, Jovita Lukasik, Linus Ericsson,
• Abstract要約: 文脈自由文法に基づく表現型NAS探索空間における探索改善のための代理モデルトレーニングについて検討する。 i) ゼロコストプロキシメトリクスとニューラルグラフ特徴(GRAF)を用いてトレーニングされたサロゲートモデルか,あるいはオフザシェルフLMを微調整することにより,データセット内および全体にわたってアーキテクチャのパフォーマンスを予測できることを示す。
• 参考スコア（独自算出の注目度）: 20.539222762754054
• License:
• Abstract: Neural architecture search (NAS) faces a challenge in balancing the exploration of expressive, broad search spaces that enable architectural innovation with the need for efficient evaluation of architectures to effectively search such spaces. We investigate surrogate model training for improving search in highly expressive NAS search spaces based on context-free grammars. We show that i) surrogate models trained either using zero-cost-proxy metrics and neural graph features (GRAF) or by fine-tuning an off-the-shelf LM have high predictive power for the performance of architectures both within and across datasets, ii) these surrogates can be used to filter out bad architectures when searching on novel datasets, thereby significantly speeding up search and achieving better final performances, and iii) the surrogates can be further used directly as the search objective for huge speed-ups.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(NAS)は、アーキテクチャの効率的な評価を必要とせず、アーキテクチャの革新を可能にする表現力のある広い検索空間の探索のバランスをとることの難しさに直面している。 文脈自由文法に基づく高表現性NAS探索空間における探索改善のための代理モデルトレーニングについて検討する。 私たちはそれを示します 一 ゼロコストプロキシメトリクスとニューラルグラフ特徴(GRAF)を用いて訓練されたサロゲートモデル又はオフザシェルフLMを微調整することにより、データセット内及び横断的なアーキテクチャのパフォーマンスの予測力が高い。 二 これらのサロゲートは、新規なデータセットを検索する際に悪いアーキテクチャをフィルタリングし、検索を著しく高速化し、より良い最終性能を達成するために使用することができる。 三 サーロゲートは、巨大なスピードアップの探索目的として直接使用することができる。

関連論文リスト

• Masked Autoencoders Are Robust Neural Architecture Search Learners [14.965550562292476]
  本研究では,Masked Autoencoders (MAE) に基づく新しいNASフレームワークを提案する。 教師あり学習対象を画像再構成タスクに置き換えることで,ネットワークアーキテクチャの堅牢な発見を可能にする。
  論文  参考訳（メタデータ） (2023-11-20T13:45:21Z)
• Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
  文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-03T14:23:00Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• Search Space Adaptation for Differentiable Neural Architecture Search in Image Classification [15.641353388251465]
  微分可能なニューラルネットワークサーチ(NAS)は、検索コストを単一のネットワークをトレーニングするレベルに削減することで大きな影響を与える。 本稿では,探索範囲を導入することで,探索空間の適応スキームを提案する。 画像分類タスクにおいて, ProxylessNAS を用いて提案手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-06-05T05:27:12Z)
• Learning Where To Look -- Generative NAS is Surprisingly Efficient [11.83842808044211]
  本稿では,より有望な潜在部分空間からサンプルを生成することを反復的に学習する,代理予測器と組み合わせた生成モデルを提案する。 このアプローチは、クエリ量を低く保ちながら、非常に効率的で効率的なアーキテクチャ検索をもたらす。
  論文  参考訳（メタデータ） (2022-03-16T16:27:11Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• Evolving Search Space for Neural Architecture Search [70.71153433676024]
  最適化された検索空間サブセットを維持することにより,前回の取り組みから得られた結果を増幅するニューラルサーチ空間進化(NSE)方式を提案する。 我々は333万のFLOPでImageNet上で77.3%のトップ1リトレーニング精度を実現し、最先端の性能を得た。 遅延制約が適用された場合、我々の結果は、77.9%のTop-1再トレーニング精度を持つ、以前の最高のパフォーマンスのモバイルモデルよりも優れた性能が得られる。
  論文  参考訳（メタデータ） (2020-11-22T01:11:19Z)
• Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels [17.945881805452288]
  現在のニューラルアーキテクチャサーチ(NAS)戦略は、単一の優れたアーキテクチャを見つけることに集中している。 そこで我々は,Weisfeiler-Lehmanグラフカーネルとガウス過程サロゲートを組み合わせたNASに対するベイズ最適化手法を提案する。 提案手法は,有用なネットワーク特徴とそれに伴うネットワーク性能への影響を発見することによって,解釈可能性を実現する。
  論文  参考訳（メタデータ） (2020-06-13T04:10:34Z)
• Neural Architecture Generator Optimization [9.082931889304723]
  我々はまず,NASを最適ネットワーク生成器の探索問題として検討する。 本稿では,非常に多様なネットワークタイプを表現可能な,階層的でグラフベースの検索空間を提案する。
  論文  参考訳（メタデータ） (2020-04-03T06:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。