論文の概要: MSR-DARTS: Minimum Stable Rank of Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2009.09209v2
• Date: Mon, 15 Mar 2021 08:58:01 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 20:52:42.456628
• Title: MSR-DARTS: Minimum Stable Rank of Differentiable Architecture Search
• Title（参考訳）: MSR-DARTS: 微分可能なアーキテクチャ検索の最小安定ランク
• Authors: Kengo Machida, Kuniaki Uto, Koichi Shinoda and Taiji Suzuki
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)において、微分可能なアーキテクチャサーチ(DARTS)が最近注目されている。 本稿では,最小安定ランクDARTS (MSR-DARTS) と呼ばれる手法を提案する。 MSR-DARTSは、CIFAR-10で0.3GPU日間で2.54%、ImageNetで23.9%のエラー率を達成した。
• 参考スコア（独自算出の注目度）: 45.09936304802425
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In neural architecture search (NAS), differentiable architecture search (DARTS) has recently attracted much attention due to its high efficiency. It defines an over-parameterized network with mixed edges, each of which represents all operator candidates, and jointly optimizes the weights of the network and its architecture in an alternating manner. However, this method finds a model with the weights converging faster than the others, and such a model with fastest convergence often leads to overfitting. Accordingly, the resulting model cannot always be well-generalized. To overcome this problem, we propose a method called minimum stable rank DARTS (MSR-DARTS), for finding a model with the best generalization error by replacing architecture optimization with the selection process using the minimum stable rank criterion. Specifically, a convolution operator is represented by a matrix, and MSR-DARTS selects the one with the smallest stable rank. We evaluated MSR-DARTS on CIFAR-10 and ImageNet datasets. It achieves an error rate of 2.54% with 4.0M parameters within 0.3 GPU-days on CIFAR-10, and a top-1 error rate of 23.9% on ImageNet. The official code is available at https://github.com/mtaecchhi/msrdarts.git.
• Abstract（参考訳）: ニューラル・アーキテクチャ・サーチ(nas)では,近年,その効率性から微分可能アーキテクチャサーチ(darts)が注目されている。 エッジが混在した過パラメータネットワークを定義し、それぞれがすべての演算子候補を表現し、ネットワークとそのアーキテクチャの重みを交互に最適化する。 しかし,本手法では重みが他のモデルよりも高速に収束するモデルが見出され,収束速度の速いモデルはしばしば過度に適合する。 したがって、結果のモデルは必ずしも well-generalized できない。 この問題を克服するために,最小安定ランク基準を用いてアーキテクチャ最適化を選択プロセスに置き換え,最良一般化誤差のモデルを求める手法であるminimum stable rank darts (msr-darts)を提案する。 具体的には、畳み込み演算子は行列で表され、MSR-DARTSは最小の安定ランクの行列を選択する。 CIFAR-10 と ImageNet を用いた MSR-DARTS の評価を行った。 CIFAR-10で0.3GPU日間で2.54%、ImageNetで23.9%のエラー率を達成した。 公式コードはhttps://github.com/mtaecchhi/msrdarts.gitで入手できる。

関連論文リスト

• Differentiable Architecture Search with Random Features [80.31916993541513]
  微分可能なアーキテクチャサーチ (DARTS) は、探索効率と効率性からNAS技術の発展を著しく促進してきたが、性能の低下に悩まされている。 本稿では,BatchNormのトレーニングのみによるDARTSの性能崩壊問題を軽減するための取り組みを行う。
  論文  参考訳（メタデータ） (2022-08-18T13:55:27Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Neural Architecture Search using Covariance Matrix Adaptation Evolution Strategy [6.8129169853808795]
  本稿では,CMANASと呼ばれるニューラルネットワーク探索問題に対して,共分散行列適応進化戦略(CMA-ES)を適用する枠組みを提案する。 アーキテクチャは正規分布を用いてモデル化され、サンプル集団の適合度に基づいてCMA-ESを用いて更新される。 CMANASはCIFAR-10のアーキテクチャ検索を完了し、トップ1テストの精度は0.45 GPU日で97.44%、トップ1テストの精度は83.24%と1つのGPUで0.6 GPU日で達成した。
  論文  参考訳（メタデータ） (2021-07-15T11:41:23Z)
• Evolving Neural Architecture Using One Shot Model [5.188825486231326]
  EvNAS(Evolving Neural Architecture using One Shot Model)と呼ばれるNAS問題に単純な遺伝的アルゴリズムを適用する新しい手法を提案する。 EvNASはプロキシデータセット、すなわちアーキテクチャを検索する。 CIFAR-10 for 4.4 GPU day on a single GPU and achieve a top-1 test error of 2.47%。 アーキテクチャ探索問題の解法における進化的手法の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-23T08:40:53Z)
• Single-level Optimization For Differential Architecture Search [6.3531384587183135]
  differential architecture search (darts)は、アーキテクチャパラメータの勾配をネットワークの重み付けに偏らせる。 本研究では,Sigmoidなどの非競合アクティベーション関数と2レベル最適化を置き換え,softmaxを置き換えることを提案する。 NAS Benchmark 201の実験は、仮説を検証し、ほぼ最適なアーキテクチャを安定的に見つけます。
  論文  参考訳（メタデータ） (2020-12-15T18:40:33Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Taming GANs with Lookahead-Minmax [63.90038365274479]
  MNIST, SVHN, CIFAR-10, ImageNetによる実験結果から, Lookahead-minmaxとAdam, Exgradientの併用が明らかとなった。 30倍のパラメータと16倍のミニバッチを使用して、クラスラベルを使わずに12.19のFIDを得ることにより、CIFAR-10上でクラス依存のBigGANのパフォーマンスを上回ります。
  論文  参考訳（メタデータ） (2020-06-25T17:13:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。