論文の概要: Can weight sharing outperform random architecture search? An investigation with TuNAS

• arxiv url: http://arxiv.org/abs/2008.06120v1
• Date: Thu, 13 Aug 2020 21:32:40 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-30 22:30:19.520607
• Title: Can weight sharing outperform random architecture search? An investigation with TuNAS
• Title（参考訳）: 重みの共有はランダムアーキテクチャの検索に勝るか? TuNASによる検討
• Authors: Gabriel Bender, Hanxiao Liu, Bo Chen, Grace Chu, Shuyang Cheng, Pieter-Jan Kindermans, Quoc Le
• Abstract要約: ImageNet と COCO における画像分類と検出のための効率的でランダムな探索手法の比較を行った。 両手法の効率性は問題に依存しているが,本実験では,効率的な探索手法がランダム探索よりも大幅に向上できるような,大規模で現実的なタスクが存在することを示した。
• 参考スコア（独自算出の注目度）: 28.748052125895285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Efficient Neural Architecture Search methods based on weight sharing have shown good promise in democratizing Neural Architecture Search for computer vision models. There is, however, an ongoing debate whether these efficient methods are significantly better than random search. Here we perform a thorough comparison between efficient and random search methods on a family of progressively larger and more challenging search spaces for image classification and detection on ImageNet and COCO. While the efficacies of both methods are problem-dependent, our experiments demonstrate that there are large, realistic tasks where efficient search methods can provide substantial gains over random search. In addition, we propose and evaluate techniques which improve the quality of searched architectures and reduce the need for manual hyper-parameter tuning. Source code and experiment data are available at https://github.com/google-research/google-research/tree/master/tunas
• Abstract（参考訳）: 重み付けに基づく効率的なニューラルアーキテクチャ探索法は,コンピュータビジョンモデルのためのニューラルアーキテクチャ探索の民主化において有望である。 しかし、これらの効率的な方法がランダム検索よりはるかに優れているかどうかについては議論が続いている。 本稿では,imagenet と coco 上の画像分類と検出のための,より大きく,より挑戦的な探索空間の族における効率的な探索法とランダム探索法を徹底的に比較する。 両手法の効率は問題に依存しているが,本実験では,効率的な探索手法がランダム探索よりも大幅に向上する,大規模で現実的なタスクが存在することを示した。 さらに,探索されたアーキテクチャの品質を改善し,手動ハイパーパラメータチューニングの必要性を低減する手法を提案し,評価する。 ソースコードと実験データはhttps://github.com/google-research/google-research/tree/master/tunasで入手できる。

関連論文リスト

• DAAS: Differentiable Architecture and Augmentation Policy Search [107.53318939844422]
  この研究は、ニューラルネットワークとデータ拡張のカップリングの可能性を検討し、それらを共同で検索する効果的なアルゴリズムを提案する。 CIFAR-10では97.91%、ImageNetデータセットでは76.6%の精度で97.91%の精度を達成し、検索アルゴリズムの優れた性能を示している。
  論文  参考訳（メタデータ） (2021-09-30T17:15:17Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• Neural Architecture Search via Combinatorial Multi-Armed Bandit [43.29214413461234]
  NASをCMAB(Combinial Multi-Armed Bandit)問題(CMAB-NAS)として定式化します。 これにより、大きな検索空間を小さなブロックに分解し、木探索手法をより効率的かつ効率的に適用することができます。 我々はNested Monte-Carlo Searchと呼ばれる木に基づく手法を用いてCMAB-NAS問題に取り組む。 CIFAR-10では,0.58GPU日で,最先端技術に匹敵する低エラー率を実現するセル構造を探索する。
  論文  参考訳（メタデータ） (2021-01-01T23:29:33Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。