論文の概要: GreenFactory: Ensembling Zero-Cost Proxies to Estimate Performance of Neural Networks
- arxiv url: http://arxiv.org/abs/2505.09344v1
- Date: Wed, 14 May 2025 12:40:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-15 21:44:09.459337
- Title: GreenFactory: Ensembling Zero-Cost Proxies to Estimate Performance of Neural Networks
- Title（参考訳）: GreenFactory: ゼロコストプロキシを組み込んだニューラルネットワークの性能推定
- Authors: Gabriel Cortês, Nuno Lourenço, Paolo Romano, Penousal Machado,
- Abstract要約: GreenFactoryは、モデルテストの精度を直接予測するゼロコストプロキシのアンサンブルである。
NATS-Bench上でGreenFactoryを評価し、複数のデータセットで堅牢な結果を得る。
- 参考スコア（独自算出の注目度）: 1.6986870945319288
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Determining the performance of a Deep Neural Network during Neural Architecture Search processes is essential for identifying optimal architectures and hyperparameters. Traditionally, this process requires training and evaluation of each network, which is time-consuming and resource-intensive. Zero-cost proxies estimate performance without training, serving as an alternative to traditional training. However, recent proxies often lack generalization across diverse scenarios and provide only relative rankings rather than predicted accuracies. To address these limitations, we propose GreenFactory, an ensemble of zero-cost proxies that leverages a random forest regressor to combine multiple predictors' strengths and directly predict model test accuracy. We evaluate GreenFactory on NATS-Bench, achieving robust results across multiple datasets. Specifically, GreenFactory achieves high Kendall correlations on NATS-Bench-SSS, indicating substantial agreement between its predicted scores and actual performance: 0.907 for CIFAR-10, 0.945 for CIFAR-100, and 0.920 for ImageNet-16-120. Similarly, on NATS-Bench-TSS, we achieve correlations of 0.921 for CIFAR-10, 0.929 for CIFAR-100, and 0.908 for ImageNet-16-120, showcasing its reliability in both search spaces.
- Abstract（参考訳）: ニューラルネットワーク探索プロセスにおけるディープニューラルネットワークの性能決定は、最適なアーキテクチャとハイパーパラメータを特定するために不可欠である。
伝統的に、このプロセスには各ネットワークのトレーニングと評価が必要です。
ゼロコストプロキシは、従来のトレーニングに代わるものとして、トレーニングなしでパフォーマンスを見積もる。
しかし、近年のプロキシは様々なシナリオにまたがって一般化を欠き、予測された精度よりも相対的なランクのみを提供する。
これらの制約に対処するため,グリーンファクトリー(GreenFactory)を提案する。グリーンファクトリー(GreenFactory)は無作為な森林回帰器を利用して,複数の予測器の強度を組み合わせ,モデルテストの精度を直接予測する。
NATS-Bench上でGreenFactoryを評価し、複数のデータセットで堅牢な結果を得る。
具体的には、GreenFactoryはNATS-Bench-SSS上で高いケンドール相関を達成し、予測スコアと実際のパフォーマンスとの間には0.907、CIFAR-100は0.945、ImageNet-16-120は0.920の相当な一致を示した。
同様に、NATS-Bench-TSSでは、CIFAR-10では0.921、CIFAR-100では0.929、ImageNet-16-120では0.908の相関を達成し、両方の検索空間で信頼性を示す。
関連論文リスト
- GreenMachine: Automatic Design of Zero-Cost Proxies for Energy-Efficient NAS [0.8192907805418583]
本稿では,Deep Neural Networks (DNN) を効率的に評価するために,ゼロコストプロキシを自動設計することで,モデル評価の課題に対処する。
提案手法は,NATS-Benchベンチマークを用いて,無作為に生成されたゼロコストプロキシセットから開始する。
その結果, 本手法は, 階層化サンプリング戦略において, 既存の手法よりも優れていることがわかった。
論文 参考訳（メタデータ） (2024-11-22T17:24:19Z) - EffiSegNet: Gastrointestinal Polyp Segmentation through a Pre-Trained EfficientNet-based Network with a Simplified Decoder [0.8892527836401773]
EffiSegNetは、トレーニング済みの畳み込みニューラルネットワーク(CNN)をバックボーンとして、トランスファーラーニングを活用する新しいセグメンテーションフレームワークである。
Kvasir-SEGデータセットを用いて消化管ポリープセグメンテーションタスクの評価を行い,その成果を得た。
論文 参考訳（メタデータ） (2024-07-23T08:54:55Z) - TG-NAS: Leveraging Zero-Cost Proxies with Transformer and Graph Convolution Networks for Efficient Neural Architecture Search [1.30891455653235]
TG-NASは、アーキテクチャのパフォーマンス予測のためのトレーニング不要プロキシを作成することを目的としている。
TG-NASはトランスフォーマーベースの演算子埋め込みジェネレータとグラフ畳み込みネットワーク(GCN)を利用してアーキテクチャ性能を予測する新しいモデルベースユニバーサルプロキシである。
TG-NASは従来のSOTA ZCプロキシ手法に比べて最大300倍の検索効率向上を実現している。
論文 参考訳（メタデータ） (2024-03-30T07:25:30Z) - SWAP-NAS: Sample-Wise Activation Patterns for Ultra-fast NAS [35.041289296298565]
トレーニング不要のメトリクスは、リソース集約型ニューラルネットワークトレーニングを避けるために広く使用されている。
我々は,新しい高性能トレーニングフリーメトリックであるSWAP-ScoreとSample-Wise Activation Patternsを提案する。
SWAP-Scoreは,様々な検索空間やタスクの接地構造と強く相関している。
論文 参考訳（メタデータ） (2024-03-07T02:40:42Z) - Robust representations of oil wells' intervals via sparse attention
mechanism [2.604557228169423]
正規化変換器(Reguformers)と呼ばれる効率的な変換器のクラスを導入する。
私たちの実験の焦点は、石油とガスのデータ、すなわちウェルログにあります。
このような問題に対する我々のモデルを評価するために、20以上の井戸からなるウェルログからなる産業規模のオープンデータセットで作業する。
論文 参考訳（メタデータ） (2022-12-29T09:56:33Z) - EdgeNeXt: Efficiently Amalgamated CNN-Transformer Architecture for
Mobile Vision Applications [68.35683849098105]
入力テンソルを複数のチャネルグループに分割するSDTAエンコーダを導入する。
1.3Mパラメータを持つEdgeNeXtモデルでは、ImageNet-1Kで71.2%のTop-1精度を実現している。
パラメータ5.6MのEdgeNeXtモデルでは、ImageNet-1Kで79.4%のTop-1精度を実現しています。
論文 参考訳（メタデータ） (2022-06-21T17:59:56Z) - Comparative Analysis of Interval Reachability for Robust Implicit and
Feedforward Neural Networks [64.23331120621118]
我々は、暗黙的ニューラルネットワーク(INN)の堅牢性を保証するために、区間到達可能性分析を用いる。
INNは暗黙の方程式をレイヤとして使用する暗黙の学習モデルのクラスである。
提案手法は, INNに最先端の区間境界伝搬法を適用するよりも, 少なくとも, 一般的には, 有効であることを示す。
論文 参考訳（メタデータ） (2022-04-01T03:31:27Z) - ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。
この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。
特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
論文 参考訳（メタデータ） (2021-10-10T09:35:15Z) - ANNETTE: Accurate Neural Network Execution Time Estimation with Stacked
Models [56.21470608621633]
本稿では,アーキテクチャ検索を対象ハードウェアから切り離すための時間推定フレームワークを提案する。
提案手法は,マイクロカーネルと多層ベンチマークからモデルの集合を抽出し,マッピングとネットワーク実行時間推定のためのスタックモデルを生成する。
生成した混合モデルの推定精度と忠実度, 統計モデルとルーフラインモデル, 評価のための洗練されたルーフラインモデルを比較した。
論文 参考訳（メタデータ） (2021-05-07T11:39:05Z) - APQ: Joint Search for Network Architecture, Pruning and Quantization
Policy [49.3037538647714]
本稿では,リソース制約のあるハードウェア上での効率的なディープラーニング推論のためのAPQを提案する。
ニューラルアーキテクチャ、プルーニングポリシー、量子化ポリシーを別々に検索する従来の方法とは異なり、我々はそれらを共同で最適化する。
同じ精度で、APQはMobileNetV2+HAQよりもレイテンシ/エネルギーを2倍/1.3倍削減する。
論文 参考訳（メタデータ） (2020-06-15T16:09:17Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。