論文の概要: NASTransfer: Analyzing Architecture Transferability in Large Scale Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2006.13314v2
• Date: Fri, 12 Feb 2021 02:55:35 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-17 21:22:49.096628
• Title: NASTransfer: Analyzing Architecture Transferability in Large Scale Neural Architecture Search
• Title（参考訳）: NASTransfer: 大規模ニューラルネットワーク検索におけるアーキテクチャ転送可能性の解析
• Authors: Rameswar Panda, Michele Merler, Mayoore Jaiswal, Hui Wu, Kandan Ramakrishnan, Ulrich Finkler, Chun-Fu Chen, Minsik Cho, David Kung, Rogerio Feris, Bishwaranjan Bhattacharjee
• Abstract要約: ニューラルネットワーク検索(NAS)は、機械学習においてオープンで困難な問題である。 大規模なNASを実行する典型的な方法は、小さなデータセット上のアーキテクチャビルディングブロックを検索し、そのブロックをより大きなデータセットに転送することである。 我々は、ImageNet1KやImageNet22Kのような大規模ベンチマークで一連の実験を行うことで、異なるNAS手法のアーキテクチャ転送可能性を分析する。
• 参考スコア（独自算出の注目度）: 18.77097100500467
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) is an open and challenging problem in machine learning. While NAS offers great promise, the prohibitive computational demand of most of the existing NAS methods makes it difficult to directly search the architectures on large-scale tasks. The typical way of conducting large scale NAS is to search for an architectural building block on a small dataset (either using a proxy set from the large dataset or a completely different small scale dataset) and then transfer the block to a larger dataset. Despite a number of recent results that show the promise of transfer from proxy datasets, a comprehensive evaluation of different NAS methods studying the impact of different source datasets has not yet been addressed. In this work, we propose to analyze the architecture transferability of different NAS methods by performing a series of experiments on large scale benchmarks such as ImageNet1K and ImageNet22K. We find that: (i) The size and domain of the proxy set does not seem to influence architecture performance on the target dataset. On average, transfer performance of architectures searched using completely different small datasets (e.g., CIFAR10) perform similarly to the architectures searched directly on proxy target datasets. However, design of proxy sets has considerable impact on rankings of different NAS methods. (ii) While different NAS methods show similar performance on a source dataset (e.g., CIFAR10), they significantly differ on the transfer performance to a large dataset (e.g., ImageNet1K). (iii) Even on large datasets, random sampling baseline is very competitive, but the choice of the appropriate combination of proxy set and search strategy can provide significant improvement over it. We believe that our extensive empirical analysis will prove useful for future design of NAS algorithms.
• Abstract（参考訳）: neural architecture search(nas)は、機械学習においてオープンかつ挑戦的な問題である。 NASは大きな可能性をもっているが、既存のNAS手法の殆どの禁止的な計算要求は、大規模タスクでアーキテクチャを直接検索することを困難にしている。 大規模なNASを実行する典型的な方法は、小さなデータセット上のアーキテクチャ的なビルディングブロック(大きなデータセットからのプロキシセットまたは全く異なる小さなデータセット)を検索し、そのブロックを大きなデータセットに転送することである。 プロキシデータセットからの転送の約束を示す最近の多くの結果にもかかわらず、異なるソースデータセットの影響を研究する異なるNASメソッドの包括的な評価はまだ解決されていない。 本研究では,ImageNet1K や ImageNet22K などの大規模ベンチマークを用いて,異なるNAS手法のアーキテクチャ伝達可能性の解析を行う。 私たちはそれを見つけました (i)プロキシセットのサイズとドメインは、ターゲットデータセットのアーキテクチャ性能に影響しないように思われる。 平均して、全く異なる小さなデータセット(cifar10など)を使用して検索されたアーキテクチャの転送性能は、プロキシターゲットデータセット上で直接検索されたアーキテクチャと同等である。 しかし、プロキシセットの設計は異なるNASメソッドのランキングにかなりの影響を及ぼす。 (ii)異なるNASメソッドは、ソースデータセット(例:CIFAR10)で同様のパフォーマンスを示すが、大きなデータセット(例:ImageNet1K)への転送性能に大きく異なる。 (iii)大規模なデータセットであっても、ランダムサンプリングベースラインは非常に競争力があるが、プロキシセットと検索戦略の適切な組み合わせの選択は、それよりも大幅に改善することができる。 当社の広範な実証分析は,nasアルゴリズムの今後の設計に有用であると考えています。

関連論文リスト

• Fair Differentiable Neural Network Architecture Search for Long-Tailed Data with Self-Supervised Learning [0.0]
  本稿では,NASの長期化データセットにおける探索・訓練性能の向上について検討する。 まず、NASに関する関連する研究と、長い尾を持つデータセットに対するディープラーニング手法について論じる。 次に、自己教師付き学習と公正な差別化可能なNASを統合したSSF-NASと呼ばれる既存の研究に焦点を当てる。 最後に,性能評価のためのCIFAR10-LTデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2024-06-19T12:39:02Z)
• UnrealNAS: Can We Search Neural Architectures with Unreal Data? [84.78460976605425]
  ニューラルアーキテクチャサーチ(NAS)はディープニューラルネットワーク(DNN)の自動設計において大きな成功を収めた。 これまでの研究は、NASに地道ラベルを持つことの必要性を分析し、幅広い関心を喚起した。 NASが有効であるためには、実際のデータが必要であるかどうか、さらに疑問を呈する。
  論文  参考訳（メタデータ） (2022-05-04T16:30:26Z)
• BaLeNAS: Differentiable Architecture Search via the Bayesian Learning Rule [95.56873042777316]
  近年,微分可能なアーキテクチャ探索 (DARTS) が注目されている。 本稿では,アーキテクチャ重みをガウス分布に緩和することにより,ニューラルネットワーク探索を分布学習問題として定式化する。 ベイズ主義の原理から異なるNASがいかに恩恵を受け、探索を強化し、安定性を向上するかを実証する。
  論文  参考訳（メタデータ） (2021-11-25T18:13:42Z)
• Rapid Neural Architecture Search by Learning to Generate Graphs from Datasets [42.993720854755736]
  本稿では,データセットと事前学習ネットワークからなるデータベース上で1度トレーニングした,効率的なニューラルサーチ(NAS)フレームワークを提案する。 我々は,NAS-Bench 201の検索空間から,ImageNet-1Kのサブセットとアーキテクチャに基づいてメタ学習を行った。
  論文  参考訳（メタデータ） (2021-07-02T06:33:59Z)
• Accelerating Neural Architecture Search via Proxy Data [17.86463546971522]
  ニューラルアーキテクチャ探索(NAS)に適した新しいプロキシデータ選択法を提案する。 提案された選択でDARTSを実行するには、CIFAR-10で40分、単一のGPUでImageNetで7.5時間しかかからない。 提案した選択を用いてImageNetで検索したアーキテクチャが逆CIFAR-10に転送されると、2.4%の最先端テストエラーが生成される。
  論文  参考訳（メタデータ） (2021-06-09T03:08:53Z)
• Weak NAS Predictors Are All You Need [91.11570424233709]
  最近の予測器ベースのnasアプローチは、アーキテクチャとパフォーマンスのペアをサンプリングし、プロキシの精度を予測するという2つの重要なステップで問題を解決しようとする。 私たちはこのパラダイムを、アーキテクチャ空間全体をカバーする複雑な予測子から、ハイパフォーマンスなサブスペースへと徐々に進む弱い予測子へとシフトさせます。 NAS-Bench-101 および NAS-Bench-201 で最高の性能のアーキテクチャを見つけるためのサンプルを少なくし、NASNet 検索空間における最先端の ImageNet パフォーマンスを実現します。
  論文  参考訳（メタデータ） (2021-02-21T01:58:43Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• DA-NAS: Data Adapted Pruning for Efficient Neural Architecture Search [76.9225014200746]
  ニューラルネットワーク探索(NAS)における効率的な探索は中核的な問題である 本稿では,大規模ターゲットタスクのアーキテクチャを直接検索できるDA-NASを提案する。 従来の手法より2倍速く、精度は現在最先端であり、小さなFLOPの制約下で76.2%である。
  論文  参考訳（メタデータ） (2020-03-27T17:55:21Z)
• NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search [55.12928953187342]
  我々は,NAS-Bench-101:NAS-Bench-201の拡張を提案する。 NAS-Bench-201は固定探索空間を持ち、最新のNASアルゴリズムのほとんどすべてに統一されたベンチマークを提供する。 我々はNASアルゴリズムの新しい設計にインスピレーションを与えることができる微粒化損失や精度などの付加的な診断情報を提供する。
  論文  参考訳（メタデータ） (2020-01-02T05:28:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。