論文の概要: Multi-objective Neural Architecture Search with Almost No Training

• arxiv url: http://arxiv.org/abs/2011.13591v1
• Date: Fri, 27 Nov 2020 07:39:17 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 01:20:17.483923
• Title: Multi-objective Neural Architecture Search with Almost No Training
• Title（参考訳）: ほとんど訓練のない多目的ニューラルアーキテクチャ探索
• Authors: Shengran Hu, Ran Cheng, Cheng He, Zhichao Lu
• Abstract要約: 本稿ではRWE(Random-Weight Evaluation)という,ネットワークアーキテクチャの性能を迅速に評価する手法を提案する。 RWEは、アーキテクチャを評価するための計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、RWEはCIFAR-10上で2時間以内で1枚のGPUカードを検索し、最先端の性能を持つ効率的なアーキテクチャの集合を得る。
• 参考スコア（独自算出の注目度）: 9.93048700248444
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the recent past, neural architecture search (NAS) has attracted increasing attention from both academia and industries. Despite the steady stream of impressive empirical results, most existing NAS algorithms are computationally prohibitive to execute due to the costly iterations of stochastic gradient descent (SGD) training. In this work, we propose an effective alternative, dubbed Random-Weight Evaluation (RWE), to rapidly estimate the performance of network architectures. By just training the last linear classification layer, RWE reduces the computational cost of evaluating an architecture from hours to seconds. When integrated within an evolutionary multi-objective algorithm, RWE obtains a set of efficient architectures with state-of-the-art performance on CIFAR-10 with less than two hours' searching on a single GPU card. Ablation studies on rank-order correlations and transfer learning experiments to ImageNet have further validated the effectiveness of RWE.
• Abstract（参考訳）: 近年、ニューラルアーキテクチャサーチ(NAS)は、学術と産業の両方から注目を集めている。 印象的な実験結果の安定した流れにもかかわらず、既存のNASアルゴリズムのほとんどは、確率勾配降下(SGD)トレーニングのコストのかかる反復のために計算的に実行を禁止している。 本研究では,ネットワークアーキテクチャの性能を迅速に評価するために,ランダムウェイト評価(rwe)と呼ばれる効果的な代替案を提案する。 最後の線形分類層をトレーニングすることによって、rweはアーキテクチャを評価する計算コストを数時間から秒に短縮する。 進化的多目的アルゴリズムに統合されると、rweは1つのgpuカードで2時間未満の検索でcifar-10で最先端のパフォーマンスを持つ一連の効率的なアーキテクチャを得る。 imagenetに対するランク次相関と転送学習実験に関するアブレーション研究は、rweの有効性をさらに検証した。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• AIO-P: Expanding Neural Performance Predictors Beyond Image Classification [22.743278613519152]
  アーキテクチャの例でニューラルネットワーク予測器を事前訓練するための新しいオールインワン予測器(AIO-P)を提案する。 AIO-Pは平均絶対誤差(MAE)とスピアマンランク相関(SRCC)をそれぞれ1%以下と0.5以上で達成できる。
  論文  参考訳（メタデータ） (2022-11-30T18:30:41Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Heed the Noise in Performance Evaluations in Neural Architecture Search [0.0]
  ニューラルアーキテクチャサーチ(NAS)は最近、大きな関心事のトピックになっている。 NASには、ほとんど認識されていないノイズという、潜在的に影響のある問題がある。 本稿では、複数のネットワークトレーニング実行におけるスコアの平均化をアーキテクチャ評価することで、ノイズを低減することを提案する。
  論文  参考訳（メタデータ） (2022-02-04T11:20:46Z)
• KNAS: Green Neural Architecture Search [49.36732007176059]
  我々は新しいカーネルベースのアーキテクチャ探索手法KNASを提案する。 実験により、KNASは画像分類タスクにおける「列車試験」パラダイムよりも桁違いに高速な競合結果が得られることが示された。 検索されたネットワークは、2つのテキスト分類タスクで強力なベースラインであるRoBERTAよりも優れています。
  論文  参考訳（メタデータ） (2021-11-26T02:11:28Z)
• Accelerating Multi-Objective Neural Architecture Search by Random-Weight Evaluation [24.44521525130034]
  我々は,CNNの品質を定量化するために,RWE(Random-Weight Evaluation)と呼ばれる新しい性能評価指標を導入する。 RWEは最後の層のみをトレーニングし、残りの層をランダムに重み付けする。 提案手法は,2つの実世界の探索空間における最先端性能を持つ効率的なモデルの集合を求める。
  論文  参考訳（メタデータ） (2021-10-08T06:35:20Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。