論文の概要: LESS: Lightweight Evolutionary Supernet Search in Minutes
- arxiv url: http://arxiv.org/abs/2610.01468v1
- Date: Thu, 01 Oct 2026 11:04:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:24.071084
- Title: LESS: Lightweight Evolutionary Supernet Search in Minutes
- Title（参考訳）: LESS: 数分で軽量な進化的スーパーネット検索
- Abstract要約: LESS(ライトウェイト・スーパーネット・サーチ)は、1つのCMA-ES分布の下で、短い公正なハードパスウォームアップと離散的なサーチを組み合わせたデータ駆動方式である。
NAS-Bench-201 では、LESS は 409.1 秒で CIFAR-10 のテスト精度(93.189pm0.467%)を達成し、FairNAS の 0.04 ポイント以内である。
- 参考スコア（独自算出の注目度）: 0.9415611704871863
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Low-cost NAS must both explore high-performing architectures and identify them reliably, yet reducing evaluation cost often weakens the fidelity of candidate comparisons. Training-free methods reduce evaluation cost by replacing learned task feedback with proxy signals measured at initialization. We introduce LESS (Lightweight Evolutionary Supernet Search), a data-driven method that combines a brief fair hard-path warm-up with discrete search under a single CMA-ES distribution. Each proposal is evaluated as its decoded hard genotype after six candidate-conditioned supernet updates. On NAS-Bench-201, LESS achieves \(93.189\pm0.467\%\) CIFAR-10 test accuracy in 409.1 seconds, coming within 0.04 percentage points of FairNAS using approximately \(1/24\) of its source-reported search time. Matched controls show that calibration improves selected validation accuracy by \(0.577\) percentage points while changing best-visited accuracy by only \(0.054\) points, indicating that its primary effect is to reduce selection regret. The frozen configuration transfers without tuning to CIFAR-100 and ImageNet16-120 with \(69.615\pm1.139\%\) and \(43.720\pm1.697\%\) accuracy. Applied without tuning to the larger DARTS space, LESS achieves \(96.95\pm0.14\%\) on CIFAR-10 and \(82.43\pm0.80\%\) on CIFAR-100, with each search completing in approximately 43.5 minutes on a single GPU. Together, these results show that short, balanced, data-dependent updates enable competitive neural architecture search across datasets and search spaces within minutes.
- Abstract（参考訳）: 低コストのNASは、高い性能のアーキテクチャを探索し、それらを確実に識別する必要があるが、評価コストの低減は、しばしば候補比較の忠実度を弱める。
トレーニング不要な手法は、学習したタスクフィードバックを初期化時に測定したプロキシ信号に置き換えることで、評価コストを削減する。
LESS (Lightweight Evolutionary Supernet Search) は,1つのCMA-ES分布の下で,短い公平なハードパスウォームアップと離散探索を組み合わせたデータ駆動方式である。
各提案は、6つの候補条件付きスーパーネット更新後のハードジェノタイプとして評価される。
NAS-Bench-201 では、LESS は 409.1 秒で \(93.189\pm0.467\%) CIFAR-10 のテスト精度を達成し、FairNAS の 0.04 ポイント以内で、ソースとして報告された検索時間の約 \(1/24\) を用いて達成した。
一致した制御は、校正が選択された検証精度を(0.577\)パーセンテージポイントで改善し、最良の視認精度を(0.054\)ポイントだけ変更することを示し、その主な効果は選択の後悔を減らすことである。
凍結された構成は、(69.615\pm1.139\%\) と(43.720\pm1.697\%\) の精度で CIFAR-100 と ImageNet16-120 にチューニングせずに転送される。
より大きなDARTS空間にチューニングすることなく、LESS は CIFAR-10 上で \(96.95\pm0.14\%\) と CIFAR-100 上で \(82.43\pm0.80\%\) を達成する。
これらの結果は、短時間でバランスの取れたデータ依存の更新によって、データセットや検索スペース間で数分で競合するニューラルアーキテクチャ検索が可能になることを示している。
関連論文リスト
- DG-FedReuse: Proxy-Gradient-Gated Cached-Update Reuse with Matched Sparse Uplink Accounting [0.0]
DG-FedReuseは、選択したクライアントがキャッシュされた更新にコントリビュートできるようにするシミュレータレベルのメカニズムである。
実験には、6つのイメージ分類データセット、50の仮想クライアント、Dirichletラベルクライアント、3つのシードが含まれている。
DG-FedReuseは83.36-85.42%のモデルで更新データフィールドのアップリンクを節約したが、Top-K FedAvgは76.88%だった。
論文 参考訳（メタデータ） (2026-08-05T19:30:04Z) - Do Newer Lightweight CNNs Perform Better Under Resource Constraints? A Controlled Multigenerational Study of Architecture, Initialization, Training Budget, and Efficiency [0.0]
本研究では,CIFAR-10,CIFAR-100,Tiny ImageNetの9つの軽量CNNモデルパッケージを比較した。
NVIDIA L4およびAMD 5500U CPU上で,トップ1精度,マクロF1,トップ5精度,パラメータカウント,FP32ストレージ,GMAC,バッチサイズ-1レイテンシを報告した。
論文 参考訳（メタデータ） (2026-07-02T10:14:07Z) - Towards Optimal Agentic Architectures for Offensive Security Tasks [3.93181912653522]
20のインタラクティブなターゲット(Web/API10とバイナリ10)のベンチマークを導入する。
それぞれ、ホワイトボックスとブラックボックスモードで評価された、ワンリーチ可能な地上真実の脆弱性を露呈する。
MAS-Indepは最も高い検出率(64.2%)を獲得し、SASは最も高い効率のベースラインである0.058ドルである。
論文 参考訳（メタデータ） (2026-04-20T18:17:51Z) - Exploring the Hierarchical Reasoning Model for Small Natural-Image Classification Without Augmentation [51.56484100374058]
MNIST、CIFAR-10、CIFAR-100で意図的に生の条件下で評価される。
拡張性のない小型画像分類では、HRMは単純な畳み込みアーキテクチャと競合するものではないと結論付けている。
論文 参考訳（メタデータ） (2025-10-04T01:22:41Z) - FTSO: Effective NAS via First Topology Second Operator [6.703326362338547]
本稿では,アーキテクチャ検索全体を2つのサブステップに分割するFTSO法を提案する。
18秒以内にFTSOは76.4%の精度を達成でき、SOTA、PC-DARTSよりも1.5%高い。
FTSOは97.77%の精度でSOTAより0.27%高く、CIFAR10で検索すると100%(99.8%)の検索時間を節約できる。
論文 参考訳（メタデータ） (2023-02-28T17:34:26Z) - Reducing Variance in Temporal-Difference Value Estimation via Ensemble
of Deep Networks [109.59988683444986]
MeanQは単純なアンサンブル法であり、ターゲット値をアンサンブル平均として推定する。
本稿では,Atari Learning Environmentベンチマークを用いた実験において,MeanQが顕著なサンプル効率を示すことを示す。
論文 参考訳（メタデータ） (2022-09-16T01:47:36Z) - Differentiable Architecture Search with Random Features [80.31916993541513]
微分可能なアーキテクチャサーチ (DARTS) は、探索効率と効率性からNAS技術の発展を著しく促進してきたが、性能の低下に悩まされている。
本稿では,BatchNormのトレーニングのみによるDARTSの性能崩壊問題を軽減するための取り組みを行う。
論文 参考訳（メタデータ） (2022-08-18T13:55:27Z) - Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。
Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。
Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
論文 参考訳（メタデータ） (2022-03-29T03:06:16Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - Neural Architecture Search using Covariance Matrix Adaptation Evolution
Strategy [6.8129169853808795]
本稿では,CMANASと呼ばれるニューラルネットワーク探索問題に対して,共分散行列適応進化戦略(CMA-ES)を適用する枠組みを提案する。
アーキテクチャは正規分布を用いてモデル化され、サンプル集団の適合度に基づいてCMA-ESを用いて更新される。
CMANASはCIFAR-10のアーキテクチャ検索を完了し、トップ1テストの精度は0.45 GPU日で97.44%、トップ1テストの精度は83.24%と1つのGPUで0.6 GPU日で達成した。
論文 参考訳（メタデータ） (2021-07-15T11:41:23Z) - ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse
Coding [86.40042104698792]
スパース符号問題としてニューラルアーキテクチャ探索を定式化する。
実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。
本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2020-10-13T04:34:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。