論文の概要: FENAS: A Few-Shot Meta-Ensembling Framework for Efficient Neural Architecture Search with Synergized Zero-Cost Proxies
- arxiv url: http://arxiv.org/abs/2610.15307v1
- Date: Sun, 11 Oct 2026 03:32:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 01:45:21.601517
- Title: FENAS: A Few-Shot Meta-Ensembling Framework for Efficient Neural Architecture Search with Synergized Zero-Cost Proxies
- Title（参考訳）: FENAS: 同期型ゼロコストプロキシによる効率的なニューラルネットワーク探索のためのFew-Shotメタ組立フレームワーク
- Abstract要約: トポロジーに依存しない少数ショット予測フレームワークであるFENASを提案する。
相補的な事前情報を堅牢なランキング信号に変換する。
FENASは、限られた評価予算の下で、自動化されたニューラルネットワークアーキテクチャの設計をサポートする。
- 参考スコア（独自算出の注目度）: 3.144911735527025
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Efficient neural architecture search (NAS) requires accurate performance estimation under limited evaluation budgets. Existing zero-cost proxies (ZCPs) provide fast training-free signals, but each proxy usually captures only a partial property of an architecture, leading to unstable rankings across datasets and search spaces. In contrast, GNN-based predictors can improve accuracy, but often depend on labeled architectures, graph encoders, and costly representation learning, which makes them less suitable for extreme few-shot settings. We propose FENAS, a topology-agnostic few-shot prediction framework that turns complementary initialization priors into robust ranking signals. Its core component, CAST, is a feature pipeline that combines copula alignment and synergy transformation. CAST maps heterogeneous ZCPs into a compact feature manifold, enabling lightweight meta-learners to produce reliable rankings from scarce supervision. On NAS-Bench-201, with only 0.5% labeled samples, FENAS achieves a Kendall's Tau ($τ$) of 0.70, outperforming representative topology-based few-shot predictors in this low-label regime. In closed-domain search, FENAS evaluates the NAS-Bench-201 space in approximately 1138 seconds and achieves competitive test accuracy. By providing a fast, reliable, and structurally simple evaluation mechanism, FENAS supports the design of automated neural architectures under limited evaluation budgets.
- Abstract（参考訳）: 効率的なニューラルネットワーク探索(NAS)には、限られた評価予算の下での正確な性能推定が必要である。
既存のゼロコストプロキシ(ZCP)は、高速なトレーニング不要な信号を提供するが、各プロキシは通常、アーキテクチャの部分的な特性のみをキャプチャし、データセットや検索空間の不安定なランキングに繋がる。
対照的に、GNNベースの予測器は精度を向上させることができるが、しばしばラベル付きアーキテクチャ、グラフエンコーダ、コストのかかる表現学習に依存しているため、極端な数ショット設定には適さない。
我々は、相補的な初期化を頑健なランキング信号に変換するトポロジに依存しない少数ショット予測フレームワークであるFENASを提案する。
そのコアコンポーネントであるCASTは、コプラアライメントとシナジー変換を組み合わせた機能パイプラインである。
CASTは異種ZCPをコンパクトな特徴多様体にマッピングし、軽量メタ学習者が監督不足から信頼性の高いランキングを作成できるようにする。
NAS-Bench-201 では、わずか 0.5% のラベル付きサンプルしか持たない FENAS は、Kendall's Tau (τ$) の 0.70 を達成し、この低ラベル方式では、代表的トポロジーベースの少数ショット予測器よりも優れていた。
閉領域探索において、FENASはNAS-Bench-201空間を約1138秒で評価し、競合テスト精度を達成する。
高速で信頼性が高く構造的にシンプルな評価メカニズムを提供することで、FENASは限られた評価予算の下で自動化されたニューラルネットワークアーキテクチャの設計をサポートする。
関連論文リスト
- ZeroLM: Data-Free Transformer Architecture Search for Language Models [54.83882149157548]
現在の自動プロキシ発見アプローチは、検索時間の拡張、データの過度なオーバーフィットへの感受性、構造的な複雑さに悩まされている。
本稿では,効率的な重み統計によるモデルキャパシティの定量化を目的とした,新しいゼロコストプロキシ手法を提案する。
本評価は,FlexiBERT ベンチマークで Spearman's rho 0.76 と Kendall's tau 0.53 を達成し,このアプローチの優位性を示すものである。
論文 参考訳（メタデータ） (2025-03-24T13:11:22Z) - TG-NAS: Generalizable Zero-Cost Proxies with Operator Description Embedding and Graph Learning for Efficient Neural Architecture Search [1.7356500114422735]
TG-NASは汎用的なモデルベースのゼロコストプロキシで、Transformerベースの演算子埋め込みジェネレータとGraph Convolutional Network(GCN)を組み合わせてアーキテクチャのパフォーマンスを予測する。
探索効率を最大300倍改善し、NAS-Bench-201で93.75%のCIFAR-10精度、DARTS空間で74.9%のImageNet Top-1精度を実現した。
論文 参考訳（メタデータ） (2024-03-30T07:25:30Z) - Contextualizing MLP-Mixers Spatiotemporally for Urban Data Forecast at Scale [54.15522908057831]
本稿では,STTD予測を大規模に行うためのコンピュータ・ミクサーの適応版を提案する。
我々の結果は、この単純な効率の良いソリューションが、いくつかのトラフィックベンチマークでテストした場合、SOTAベースラインに匹敵する可能性があることを驚くほど示している。
本研究は, 実世界のSTTD予測において, 簡便な有効モデルの探索に寄与する。
論文 参考訳（メタデータ） (2023-07-04T05:19:19Z) - ZiCo: Zero-shot NAS via Inverse Coefficient of Variation on Gradients [17.139381064317778]
我々は、#Paramsよりも一貫して動作する新しいゼロショットプロキシZiCoを提案する。
ZiCoベースのNASは、それぞれ450M、600M、1000Mの予測予算で78.1%、79.4%、80.4%のテスト精度で最適なアーキテクチャを見つけることができる。
論文 参考訳（メタデータ） (2023-01-26T18:38:56Z) - KNAS: Green Neural Architecture Search [49.36732007176059]
我々は新しいカーネルベースのアーキテクチャ探索手法KNASを提案する。
実験により、KNASは画像分類タスクにおける「列車試験」パラダイムよりも桁違いに高速な競合結果が得られることが示された。
検索されたネットワークは、2つのテキスト分類タスクで強力なベースラインであるRoBERTAよりも優れています。
論文 参考訳（メタデータ） (2021-11-26T02:11:28Z) - BaLeNAS: Differentiable Architecture Search via the Bayesian Learning
Rule [95.56873042777316]
近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。
本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。
ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
論文 参考訳（メタデータ） (2021-11-25T18:13:42Z) - AceNAS: Learning to Rank Ace Neural Architectures with Weak Supervision
of Weight Sharing [6.171090327531059]
空間から最高のアーキテクチャを選択するためのLearning to Rank手法を紹介します。
また,スーパーネットから得られた弱いラベルのアーキテクチャ表現を事前学習することで,重み共有から弱い管理を活用することを提案する。
NASベンチマークと大規模検索空間を用いた実験により,提案手法はSOTAよりも検索コストが大幅に削減された。
論文 参考訳（メタデータ） (2021-08-06T08:31:42Z) - Weak NAS Predictors Are All You Need [91.11570424233709]
最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。
私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。
NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
論文 参考訳（メタデータ） (2021-02-21T01:58:43Z) - FBNetV3: Joint Architecture-Recipe Search using Predictor Pretraining [65.39532971991778]
サンプル選択とランキングの両方を導くことで、アーキテクチャとトレーニングのレシピを共同でスコアする精度予測器を提案する。
高速な進化的検索をCPU分で実行し、さまざまなリソース制約に対するアーキテクチャと準備のペアを生成します。
FBNetV3は最先端のコンパクトニューラルネットワークのファミリーを構成しており、自動と手動で設計された競合より優れている。
論文 参考訳（メタデータ） (2020-06-03T05:20:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。