論文の概要: From Regression to Inference: Meta-Learning Predictors for Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2605.09290v1
• Date: Sun, 10 May 2026 03:34:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.170332
• Title: From Regression to Inference: Meta-Learning Predictors for Neural Architecture Search
• Title（参考訳）: 回帰から推論へ:ニューラルネットワーク検索のためのメタ学習予測器
• Authors: Liping Deng, MingQing Xiao,
• Abstract要約: 予測に基づくアプローチはニューラルアーキテクチャサーチ(NAS)において広く使われており、予測器は候補アーキテクチャのパフォーマンスを推定して選択を導く。 既存の予測器は、典型的には限られたサンプルに対する教師付き回帰によって訓練され、過度に適合し、目に見えないアーキテクチャへの一般化が不十分になる。 本稿では,メタ学習機能を備えた畳み込みニューラルプロセス(ConvNP)を用いて,条件付き関数推論問題としての性能予測をモデル化する基礎的な定式化を提案する。
• 参考スコア（独自算出の注目度）: 9.003566823725441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prediction-based approaches are widely used in neural architecture search (NAS), where a predictor estimates the performance of candidate architectures to guide selection. However, existing predictors are typically trained via supervised regression on limited samples, leading to overfitting and poor generalization to unseen architectures. In this work, we propose a fundamentally different formulation that models performance prediction as a conditional function inference problem using a Convolutional Neural Process (ConvNP) with meta-learning capabilities. Instead of fitting a fixed mapping to limited samples, our approach meta-learns to infer performance from partial observations by training with context-target splits across a group of synthesized tasks, explicitly optimizing for generalization under data scarcity and aligning the training procedure with the deployment setting in NAS. We further design simple yet effective meta-features for cell-based architectures and evaluate our method on NAS-Bench-101 and NAS-Bench-201. Extensive experiments show that our approach consistently improves top-K ranking quality and achieves the state-of-the-art architecture selection using limited samples.
• Abstract（参考訳）: 予測に基づくアプローチはニューラルアーキテクチャサーチ(NAS)において広く使われており、予測器は候補アーキテクチャのパフォーマンスを推定して選択を導く。 しかし、既存の予測子は典型的には限られたサンプルの教師付き回帰によって訓練されるため、過度に適合し、目に見えないアーキテクチャへの一般化が不十分になる。 本研究では,メタ学習機能を備えた畳み込みニューラル・プロセス(ConvNP)を用いた条件付き関数推論問題として,性能予測をモデル化する,根本的に異なる定式化を提案する。 限られたサンプルに固定されたマッピングを適合させる代わりに、我々のメタラーンでは、コンテキスト目標の分割によるトレーニングによって部分的な観察からパフォーマンスを推定し、データ不足下での一般化を明示的に最適化し、NASのデプロイメント設定とトレーニング手順を整合させる。 さらに,NAS-Bench-101 およびNAS-Bench-201 上での手法の評価を行った。 大規模な実験により,本手法はトップKランキングの品質を一貫して改善し,限られたサンプルを用いた最先端アーキテクチャ選択を実現することが示された。

関連論文リスト

• Prior-Informed Neural Network Initialization: A Spectral Approach for Function Parameterizing Architectures [3.0098885383612104]
  本稿では,データ固有のスペクトルと時間構造を利用する事前インフォームド設計手法を提案する。 ファストフーリエ変換(Fast Fourier Transform)を用いて、支配的な季節前兆を抽出する原理的手法が導入された。 合成および実世界のベンチマークの実験は、データ駆動の事前の埋め込みが収束を著しく加速することを示した。
  論文  参考訳（メタデータ） (2026-03-17T11:08:52Z)
• CARL: Causality-guided Architecture Representation Learning for an Interpretable Performance Predictor [6.014777261874645]
  ニューラルアーキテクチャサーチ(NAS)の評価段階を加速する有望な手法として、性能予測器が登場した。 本稿では,アーキテクチャのクリティカルな(因果的)特徴と冗長な(非因果的)特徴を分離し,一般化可能なアーキテクチャ性能予測を目的とした因果性誘導型アーキテクチャ表現学習(CARL)手法を提案する。 5つのNAS探索空間の実験は、CARLの最先端の精度と優れた解釈可能性を示している。
  論文  参考訳（メタデータ） (2025-06-04T14:30:55Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
  本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。 我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
  論文  参考訳（メタデータ） (2023-05-25T10:58:46Z)
• AIO-P: Expanding Neural Performance Predictors Beyond Image Classification [22.743278613519152]
  アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。 AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
  論文  参考訳（メタデータ） (2022-11-30T18:30:41Z)
• An Adaptive and Stability-Promoting Layerwise Training Approach for Sparse Deep Neural Network Architecture [0.0]
  この研究は、与えられたトレーニングデータセットに対してうまく一般化するディープニューラルネットワーク(DNN)アーキテクチャを開発するための2段階適応フレームワークを提案する。 第1段階では、新しいレイヤを毎回追加し、前のレイヤでパラメータを凍結することで独立してトレーニングする、レイヤワイズトレーニングアプローチが採用されている。 本稿では, 学習アルゴリズムの望ましい特性として, エプシロン・デルタ安定促進の概念を導入し, 多様体正規化を用いることで, エプシロン・デルタ安定促進アルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-13T09:51:16Z)
• RANK-NOSH: Efficient Predictor-Based Architecture Search via Non-Uniform Successive Halving [74.61723678821049]
  予算の浪費を回避するため,早期に性能の低いアーキテクチャのトレーニングを終了する階層的スケジューリングアルゴリズムであるNOn-uniform Successive Halving (NOSH)を提案する。 予測器に基づくアーキテクチャ探索をペア比較でランク付けする学習として定式化する。 その結果、RANK-NOSHは検索予算を5倍に削減し、様々な空間やデータセットにおける従来の最先端予測手法よりも、競争力やパフォーマンスの向上を実現した。
  論文  参考訳（メタデータ） (2021-08-18T07:45:21Z)
• An AI-Assisted Design Method for Topology Optimization Without Pre-Optimized Training Data [68.8204255655161]
  トポロジ最適化に基づくAI支援設計手法を提示し、最適化された設計を直接的に得ることができる。 設計は、境界条件と入力データとしての充填度に基づいて、人工ニューラルネットワーク、予測器によって提供される。
  論文  参考訳（メタデータ） (2020-12-11T14:33:27Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。