論文の概要: DAAS: Differentiable Architecture and Augmentation Policy Search

• arxiv url: http://arxiv.org/abs/2109.15273v1
• Date: Thu, 30 Sep 2021 17:15:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-01 15:01:39.164269
• Title: DAAS: Differentiable Architecture and Augmentation Policy Search
• Title（参考訳）: DAAS: 異なるアーキテクチャと拡張ポリシー検索
• Authors: Xiaoxing Wang, Xiangxiang Chu, Junchi Yan, Xiaokang Yang
• Abstract要約: この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
• 参考スコア（独自算出の注目度）: 107.53318939844422
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Neural architecture search (NAS) has been an active direction of automatic machine learning (Auto-ML), aiming to explore efficient network structures. The searched architecture is evaluated by training on datasets with fixed data augmentation policies. However, recent works on auto-augmentation show that the suited augmentation policies can vary over different structures. Therefore, this work considers the possible coupling between neural architectures and data augmentation and proposes an effective algorithm jointly searching for them. Specifically, 1) for the NAS task, we adopt a single-path based differentiable method with Gumbel-softmax reparameterization strategy due to its memory efficiency; 2) for the auto-augmentation task, we introduce a novel search method based on policy gradient algorithm, which can significantly reduce the computation complexity. Our approach achieves 97.91% accuracy on CIFAR-10 and 76.6% Top-1 accuracy on ImageNet dataset, showing the outstanding performance of our search algorithm.
• Abstract（参考訳）: ニューラルネットワーク探索(NAS)は、効率的なネットワーク構造を探究することを目的とした自動機械学習(Auto-ML)の活発な方向である。 検索アーキテクチャは、固定データ拡張ポリシを持つデータセットのトレーニングによって評価される。 しかし、最近の自動拡張に関する研究は、適合する拡張ポリシーが異なる構造にまたがる可能性があることを示している。 そこで本研究では,ニューラルアーキテクチャとデータ拡張の結合を考慮し,効果的な探索アルゴリズムを提案する。 具体的には 1)nasタスクでは,メモリ効率のため,gumbel-softmax再パラメータ化戦略を用いた単一パスベース微分可能手法を採用する。 2)自動提示タスクでは,ポリシー勾配アルゴリズムに基づく新しい探索法を導入し,計算の複雑さを著しく低減する。 CIFAR-10で97.91%の精度、ImageNetデータセットで76.6%のTop-1精度を実現し、検索アルゴリズムの優れた性能を示した。

関連論文リスト

• A Pairwise Comparison Relation-assisted Multi-objective Evolutionary Neural Architecture Search Method with Multi-population Mechanism [58.855741970337675]
  ニューラルアーキテクチャサーチ(NAS)により、リサーチ者は広大なサーチスペースを自動的に探索し、効率的なニューラルネットワークを見つけることができる。 NASは重要なボトルネックに悩まされており、探索プロセス中に多くのアーキテクチャを評価する必要がある。 SMEM-NASは,多集団構造に基づく多目的進化アルゴリズムである。
  論文  参考訳（メタデータ） (2024-07-22T12:46:22Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Efficient Architecture Search for Diverse Tasks [29.83517145790238]
  多様な問題を効率的に解くために,ニューラルネットワーク探索(NAS)について検討する。 本稿では,畳み込みのフーリエ対角化を用いた混合動作を計算する,微分可能なNASアルゴリズムであるDASHを紹介する。 DASH-Bench-360は多様な領域におけるNASベンチマークのために設計された10のタスクスイートである。
  論文  参考訳（メタデータ） (2022-04-15T17:21:27Z)
• ZARTS: On Zero-order Optimization for Neural Architecture Search [94.41017048659664]
  微分可能なアーキテクチャサーチ (DARTS) は、NASの高効率性のため、一般的なワンショットパラダイムである。 この作業はゼロオーダーの最適化に変わり、上記の近似を強制せずに探索するための新しいNASスキームであるZARTSを提案する。 特に、12ベンチマークの結果は、DARTSの性能が低下するZARTSの顕著な堅牢性を検証する。
  論文  参考訳（メタデータ） (2021-10-10T09:35:15Z)
• AutoSpace: Neural Architecture Search with Less Human Interference [84.42680793945007]
  現在のニューラルネットワークアーキテクチャ検索(NAS)アルゴリズムは、ネットワーク構築のための検索空間を設計するための専門知識と努力を必要とします。 探索空間を最適なものに進化させる新しい微分可能な進化フレームワークであるAutoSpaceを提案する。 学習した検索空間では、最近のNASアルゴリズムの性能は、以前手作業で設計した空間に比べて大幅に改善できる。
  論文  参考訳（メタデータ） (2021-03-22T13:28:56Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Hypernetwork-Based Augmentation [1.6752182911522517]
  我々はHypernetwork-based Augmentation (HBA)と呼ばれる効率的な勾配に基づく探索アルゴリズムを提案する。 私たちのHBAはハイパーネットワークを使って人口ベーストレーニングアルゴリズムを近似します。 以上の結果から,HBAは検索速度と精度の両面で最先端の手法と競合することが示された。
  論文  参考訳（メタデータ） (2020-06-11T10:36:39Z)
• Hyperparameter optimization with REINFORCE and Transformers [2.1404235519012076]
  強化学習はニューラルアーキテクチャサーチ(NAS)の有望な結果を得た ポリシーネットワークをモデル化するために,単純化されたTransformerブロックを用いることで,その性能が向上することを示す。
  論文  参考訳（メタデータ） (2020-06-01T13:35:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。