論文の概要: Stretchable Cells Help DARTS Search Better

• arxiv url: http://arxiv.org/abs/2011.09300v2
• Date: Mon, 18 Apr 2022 13:43:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-24 04:30:19.865177
• Title: Stretchable Cells Help DARTS Search Better
• Title（参考訳）: ストレッチ可能なセルでDARTの検索が改善
• Authors: Tao Huang, Shan You, Yibo Yang, Zhuozhuo Tu, Fei Wang, Chen Qian, Changshui Zhang
• Abstract要約: 分化可能なニューラルアーキテクチャサーチ(DARTS)は、柔軟で多様な細胞タイプを発見することに成功している。 現在のDARTS法は、広くて浅い細胞に傾向があり、このトポロジー崩壊は、準最適細胞を誘導する。 本稿では,細胞に伸縮性を持たせることで,ストレッチ可能な細胞に直接サーチを実装できることを示す。
• 参考スコア（独自算出の注目度）: 70.52254306274092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable neural architecture search (DARTS) has gained much success in discovering flexible and diverse cell types. To reduce the evaluation gap, the supernet is expected to have identical layers with the target network. However, even for this consistent search, the searched cells often suffer from poor performance, especially for the supernet with fewer layers, as current DARTS methods are prone to wide and shallow cells, and this topology collapse induces sub-optimal searched cells. In this paper, we alleviate this issue by endowing the cells with explicit stretchability, so the search can be directly implemented on our stretchable cells for both operation type and topology simultaneously. Concretely, we introduce a set of topological variables and a combinatorial probabilistic distribution to explicitly model the target topology. With more diverse and complex topologies, our method adapts well for various layer numbers. Extensive experiments on CIFAR-10 and ImageNet show that our stretchable cells obtain better performance with fewer layers and parameters. For example, our method can improve DARTS by 0.28\% accuracy on CIFAR-10 dataset with 45\% parameters reduced or 2.9\% with similar FLOPs on ImageNet dataset.
• Abstract（参考訳）: 分化可能なニューラルアーキテクチャサーチ(DARTS)は、柔軟で多様な細胞タイプを発見することに成功している。 評価ギャップを低減するため、スーパーネットはターゲットネットワークと同一の層を有することが期待される。 しかし、この一貫した探索であっても、探索された細胞は、特に層が少ないスーパーネットでは、現在のDARTS法は幅が広く浅いため、性能が劣ることが多く、このトポロジー崩壊は準最適探索細胞を誘導する。 本稿では, 細胞を明示的な伸縮性で内挿することでこの問題を軽減し, 操作型とトポロジーの両方において, ストレッチ可能な細胞に直接探索を実装できることを示す。 具体的には、対象トポロジを明示的にモデル化するために、トポロジ変数の集合と組合せ確率分布を導入する。 より多様で複雑なトポロジーでは、この手法は様々な層数にうまく適応する。 CIFAR-10とImageNetの大規模な実験により、伸縮性のある細胞は、より少ない層とパラメータでより良い性能が得られることが示された。 例えば、CIFAR-10データセットのDARTSを0.28\%精度で改善し、45\%パラメータを縮小するか、ImageNetデータセットのFLOPと同じような2.9\%を削減できる。

関連論文リスト

• TS-ENAS:Two-Stage Evolution for Cell-based Network Architecture Search [3.267963071384687]
  セルベースネットワークアーキテクチャサーチ(TS-ENAS)のための2段階進化法を提案する。 提案アルゴリズムでは,新たなセルベース検索空間と2段階符号化方式を設計し,セルとニューラルネットワーク構造を表現する。 実験により、TS-ENASは、比較性能でニューラルネットワークアーキテクチャをより効果的に見つけることができることが示された。
  論文  参考訳（メタデータ） (2023-10-14T08:02:01Z)
• $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells [11.777101481512423]
  微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である 我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。 そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2022-10-14T17:54:01Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• DOTS: Decoupling Operation and Topology in Differentiable Architecture Search [115.89211594258573]
  微分可能なアーキテクチャ探索 (DARTS) は, 細胞構造探索の効率性から注目されている。 本稿では,オペレーティング・アンド・トポロジー・サーチ(DOTS)を分離して,明確なトポロジー・サーチを提案する。
  論文  参考訳（メタデータ） (2020-10-02T13:00:18Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Learning to segment clustered amoeboid cells from brightfield microscopy via multi-task learning with adaptive weight selection [6.836162272841265]
  マルチタスク学習パラダイムにおけるセルセグメンテーションのための新しい教師付き手法を提案する。 ネットワークの予測効率を向上させるために、領域とセル境界検出に基づくマルチタスク損失の組み合わせを用いる。 検証セットで全体のDiceスコアが0.93であり、これは最近の教師なし手法で15.9%以上の改善であり、一般的な教師付きU-netアルゴリズムを平均5.8%以上上回っている。
  論文  参考訳（メタデータ） (2020-05-19T11:31:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。