論文の概要: RC-DARTS: Resource Constrained Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/1912.12814v1
• Date: Mon, 30 Dec 2019 05:02:38 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-17 01:56:58.771789
• Title: RC-DARTS: Resource Constrained Differentiable Architecture Search
• Title（参考訳）: RC-DARTS:資源制約付き微分可能なアーキテクチャ検索
• Authors: Xiaojie Jin, Jiang Wang, Joshua Slocum, Ming-Hsuan Yang, Shengyang Dai, Shuicheng Yan, Jiashi Feng
• Abstract要約: 資源制約付き微分可能なアーキテクチャ探索法(RC-DARTS)を提案する。 RC-DARTS法は,モデルサイズが小さく,計算量も少ない,軽量なニューラルアーキテクチャを学習する。
• 参考スコア（独自算出の注目度）: 162.7199952019152
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances show that Neural Architectural Search (NAS) method is able to find state-of-the-art image classification deep architectures. In this paper, we consider the one-shot NAS problem for resource constrained applications. This problem is of great interest because it is critical to choose different architectures according to task complexity when the resource is constrained. Previous techniques are either too slow for one-shot learning or does not take the resource constraint into consideration. In this paper, we propose the resource constrained differentiable architecture search (RC-DARTS) method to learn architectures that are significantly smaller and faster while achieving comparable accuracy. Specifically, we propose to formulate the RC-DARTS task as a constrained optimization problem by adding the resource constraint. An iterative projection method is proposed to solve the given constrained optimization problem. We also propose a multi-level search strategy to enable layers at different depths to adaptively learn different types of neural architectures. Through extensive experiments on the Cifar10 and ImageNet datasets, we show that the RC-DARTS method learns lightweight neural architectures which have smaller model size and lower computational complexity while achieving comparable or better performances than the state-of-the-art methods.
• Abstract（参考訳）: 近年の進歩により,NAS(Neural Architectural Search)手法は最先端の画像分類の深層構造を見つけることができる。 本稿では,資源制約型アプリケーションにおけるNAS問題について考察する。 リソースが制約された場合、タスクの複雑さに応じて異なるアーキテクチャを選択することが重要となるため、この問題は非常に興味深い。 従来のテクニックはワンショット学習には遅すぎるか、リソース制約を考慮していないかのどちらかです。 本稿では,資源制約付き微分可能アーキテクチャ探索(RC-DARTS)手法を提案する。 具体的には、資源制約を追加して制約最適化問題としてRC-DARTSタスクを定式化する。 与えられた制約付き最適化問題を解くために反復射影法を提案する。 また、異なる深さの層が異なるタイプのニューラルアーキテクチャを適応的に学習できるようにするマルチレベル探索戦略を提案する。 cifar10とimagenetのデータセットを広範囲に実験した結果、rc-darts法はモデルサイズが小さく計算量も少ない軽量ニューラルネットワークを学習し、最先端の手法と同等あるいは優れた性能が得られることを示した。

関連論文リスト

• Efficient Search of Multiple Neural Architectures with Different Complexities via Importance Sampling [3.759936323189417]
  本研究では、2つのメトリクスの重み付け和からなる目的関数を最適化するアーキテクチャの複雑性を考慮したワンショットNASに焦点を当てた。 提案手法は,CIAFR-10およびImageNetデータセット上の畳み込みニューラルネットワークのアーキテクチャ探索に適用される。
  論文  参考訳（メタデータ） (2022-07-21T07:06:03Z)
• Resource-Constrained Neural Architecture Search on Tabular Datasets [38.765317261872504]
  与えられた機械学習問題に対する最良のニューラルネットワークは、データセットの複雑さと構造を含む多くの要因に依存する。 従来のNASアルゴリズムでは、リソース制約を直接強化学習報酬に組み込んでいる。 これらの課題に対処する新しい強化学習コントローラを提案する。
  論文  参考訳（メタデータ） (2022-04-15T19:03:25Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• Elastic Architecture Search for Diverse Tasks with Different Resources [87.23061200971912]
  本研究では,異なるリソースを持つ多様なタスクを効率的に配置する上で,クラス群に対応するリソース制約や関心のタスクをテスト時に動的に指定する,新たな課題について検討する。 従来のNASアプローチでは、全てのクラスのアーキテクチャを同時に設計することを模索しており、これはいくつかの個別のタスクに最適ではないかもしれない。 本稿では、様々なリソース制約のある多様なタスクに対して、実行時に即時特殊化を可能にする、Elastic Architecture Search (EAS)と呼ばれる斬新で一般的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-08-03T00:54:27Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Effective, Efficient and Robust Neural Architecture Search [4.273005643715522]
  敵攻撃の最近の進歩は、ニューラルアーキテクチャサーチ(NAS)によって探索されたディープニューラルネットワークの脆弱性を示している 本稿では,ニューラルネットワークアーキテクチャの性能,堅牢性,資源制約を考慮し,ニューラルネットワークアーキテクチャを探索する,効率的で効率的かつロバストなニューラルネットワーク探索手法を提案する。 ベンチマークデータセットを用いた実験により,提案手法は,モデルサイズと同等の分類精度で,逆向きに頑健なアーキテクチャを見出すことができることがわかった。
  論文  参考訳（メタデータ） (2020-11-19T13:46:23Z)
• Breaking the Curse of Space Explosion: Towards Efficient NAS with Curriculum Search [94.46818035655943]
  本稿では,小さな検索空間から始まるカリキュラム検索手法を提案し,学習知識を徐々に取り入れて広い空間での検索をガイドする。 提案手法により,CNAS法は探索効率を大幅に向上し,既存のNAS法よりも優れたアーキテクチャを求めることができる。
  論文  参考訳（メタデータ） (2020-07-07T02:29:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。