論文の概要: QuaNAS: Uncertainty-Aware Reuse of Earlier Searches for Query-Efficient Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2610.31251v2
• Date: Sat, 24 Oct 2026 07:55:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.200654
• Title: QuaNAS: Uncertainty-Aware Reuse of Earlier Searches for Query-Efficient Neural Architecture Search
• Title（参考訳）: QuaNAS: クエリ効率の良いニューラルネットワーク検索のための以前の検索の不確かさを意識した再利用
• Abstract要約: QuaNASは、同じ検索空間における以前の検索のライブラリを、不確実な信頼性の明示的な知識として扱う。 ガウス過程は、事前の最適度から始まり、各評価がどれだけ信頼されているかを評価するごとに再見積を行う。 これは、スクラッチから始まる5つのNASベースラインに対して、短期訓練目標の2.7倍から3.9倍まで、常に後悔を減らした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural architecture search (NAS) on a new dataset often affords only tens of short training runs, so what the search knows before its first evaluation decides its efficiency. Yet most NAS methods start from scratch, guided at best by zero-cost proxies that are unreliable across tasks. QuaNAS treats a library of earlier searches in the same search space as explicit knowledge of uncertain reliability. Main effects of design decisions learned from this library and, secondarily, zero-cost proxies become priors over candidate architectures without any label of the new dataset. A Gaussian process starts at the prior optimum and re-estimates after every evaluation how far each prior is trusted. Under a protocol frozen before any confirmation data were seen, QuaNAS was evaluated once on 12 new image, time-series, text and tabular datasets. It lowered anytime regret on the short-training objective 2.7- to 3.9-fold relative to five pre-specified NAS baselines that start from scratch (Holm-adjusted p = 0.0012 each). Its final models matched (non-inferiority margin 0.5 pp) or exceeded matched-recipe reference models on nine datasets, as did the prior optimum, selected without a single evaluation. Post-hoc comparisons with established transfer methods given the same library trace the gain to the library: without it, the same Gaussian process had over twice the regret. They also show where each transfer mechanism works best: the pooled main effects of QuaNAS for weakly transferable tabular tasks, per-task surrogates for image, time-series and text tasks and for small or mismatched libraries. Finally, the main effects make the transferred knowledge inspectable.
• Abstract（参考訳）: 新しいデータセット上のニューラルアーキテクチャサーチ(NAS)は、しばしば数十の短いトレーニング実行しか行えないため、最初の評価でその効率が決定される前に、サーチが何を知っているかがわかる。 しかし、ほとんどのNASメソッドはスクラッチから始まり、タスク間で信頼性の低いゼロコストプロキシによってガイドされます。 QuaNASは、同じ検索空間における以前の検索のライブラリを、不確実な信頼性の明示的な知識として扱う。 このライブラリから学んだ設計決定の主な影響と、第2に、ゼロコストプロキシは、新しいデータセットのラベルなしで、候補アーキテクチャよりも優先される。 ガウス過程は、事前の最適度から始まり、各評価がどれだけ信頼されているかを評価するごとに再見積を行う。 確認データを見る前に凍結されたプロトコルの下で、QuaNASは12の新しい画像、時系列、テキスト、および表のデータセットで評価された。 これは、スクラッチから始まる5つのNASベースライン(ホルム調整されたp = 0.0012)に対して、短期訓練目標2.7から3.9倍までの後悔を減らした。 最終モデルは一致した(非負のマージン0.5pp)か、9つのデータセット上の一致したレシピ参照モデルを超えた。 ポストホック比較と、同じライブラリが与えられた確立された転送メソッドは、ライブラリの利益を辿った: それなしでは、同じガウス的プロセスは、後悔の2倍以上あった。 それらはまた、各転送メカニズムがどこで最もうまく機能するかを示す: 弱い転送可能なタブタスクのためのQuaNASのプールされたメインエフェクト、画像、時系列、テキストタスクのためのタスクごとのサロゲート、小さなライブラリ、ミスマッチしたライブラリのための。 最後に、主な効果は、伝達された知識を検査可能にすることである。

関連論文リスト

• Neural Architecture Search: Two Constant Shared Weights Initialisations [0.0]
  エプシナス(Epsinas)は、2つの一定の共有重み付け初期化とそれらの出力統計を用いてアーキテクチャポテンシャルを評価する新しいゼロコストNAS計量である。 平均等級で正規化された原出力の分散は、訓練された精度と強く相関していることを示す。 我々の計算では、データラベルは必要とせず、単一のミニバッチで動作し、勾配の必要がなくなる。
  論文  参考訳（メタデータ） (2023-02-09T02:25:38Z)
• NASiam: Efficient Representation Learning using Neural Architecture Search for Siamese Networks [76.8112416450677]
  シームズネットワークは、自己教師付き視覚表現学習(SSL)を実現するための最も傾向のある方法の1つである。 NASiamは、初めて微分可能なNASを使用して、多層パーセプトロンプロジェクタと予測器(エンコーダ/予測器ペア)を改善する新しいアプローチである。 NASiamは、小規模(CIFAR-10/CIFAR-100)と大規模(画像Net)画像分類データセットの両方で競合性能を達成し、わずか数GPU時間しかかからない。
  論文  参考訳（メタデータ） (2023-01-31T19:48:37Z)
• Pi-NAS: Improving Neural Architecture Search by Reducing Supernet Training Consistency Shift [128.32670289503025]
  最近提案されたニューラルアーキテクチャサーチ (NAS) 手法は,スーパーネット上で数十億のアーキテクチャを共存させ,その潜在的な精度を推定する。 アーキテクチャの予測精度と実際の能力のランキング相関は誤りであり、既存のNAS手法のジレンマを引き起こす。 このランク付け相関問題は,特徴シフトやパラメータシフトを含む,スーパーネットトレーニングの整合性シフトに起因している。 この2つのシフトを、Pi-NASと呼ばれる非自明なスーパーネットPiモデルを用いて同時に解決する。
  論文  参考訳（メタデータ） (2021-08-22T09:08:48Z)
• OPANAS: One-Shot Path Aggregation Network Architecture Search for Object Detection [82.04372532783931]
  近年、ニューラルアーキテクチャサーチ (NAS) が特徴ピラミッドネットワーク (FPN) の設計に活用されている。 本稿では,探索効率と検出精度を大幅に向上させる,ワンショットパス集約ネットワークアーキテクチャ探索(OPANAS)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T01:48:53Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。