論文の概要: DOTS: Decoupling Operation and Topology in Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2010.00969v3
• Date: Thu, 8 Apr 2021 07:36:23 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-12 01:52:10.405115
• Title: DOTS: Decoupling Operation and Topology in Differentiable Architecture Search
• Title（参考訳）: DOTS: 異なるアーキテクチャ検索における運用とトポロジの分離
• Authors: Yu-Chao Gu, Li-Juan Wang, Yun Liu, Yi Yang, Yu-Huan Wu, Shao-Ping Lu, Ming-Ming Cheng
• Abstract要約: 微分可能なアーキテクチャ探索 (DARTS) は, 細胞構造探索の効率性から注目されている。 本稿では,オペレーティング・アンド・トポロジー・サーチ(DOTS)を分離して,明確なトポロジー・サーチを提案する。
• 参考スコア（独自算出の注目度）: 115.89211594258573
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable Architecture Search (DARTS) has attracted extensive attention due to its efficiency in searching for cell structures. DARTS mainly focuses on the operation search and derives the cell topology from the operation weights. However, the operation weights can not indicate the importance of cell topology and result in poor topology rating correctness. To tackle this, we propose to Decouple the Operation and Topology Search (DOTS), which decouples the topology representation from operation weights and makes an explicit topology search. DOTS is achieved by introducing a topology search space that contains combinations of candidate edges. The proposed search space directly reflects the search objective and can be easily extended to support a flexible number of edges in the searched cell. Existing gradient-based NAS methods can be incorporated into DOTS for further improvement by the topology search. Considering that some operations (e.g., Skip-Connection) can affect the topology, we propose a group operation search scheme to preserve topology-related operations for a better topology search. The experiments on CIFAR10/100 and ImageNet demonstrate that DOTS is an effective solution for differentiable NAS.
• Abstract（参考訳）: 微分可能なアーキテクチャ探索 (DARTS) は, 細胞構造探索の効率性から注目されている。 DARTSは主に操作探索に焦点を当て、操作重みから細胞トポロジーを導出する。 しかし、操作重みは細胞トポロジーの重要性を示さず、トポロジー評価の正確性に乏しい結果となる。 そこで本研究では,操作重みからトポロジー表現を分離し,明示的なトポロジー探索を行う演算とトポロジー探索(dots)を分離する手法を提案する。 DOTSは、候補エッジの組み合わせを含むトポロジ検索空間を導入することで実現される。 提案した探索空間は直接探索対象を反映し、検索セル内の柔軟な数のエッジをサポートするために容易に拡張できる。 既存の勾配に基づくNAS法をDOTSに組み込んでトポロジ探索によりさらなる改良を行うことができる。 トポロジに影響を及ぼすような操作(例えばSkip-Connection)を考えると,より優れたトポロジ検索のためにトポロジ関連操作を保存するためのグループ操作探索方式を提案する。 CIFAR10/100とImageNetの実験は、DOTSが微分可能なNASの効果的なソリューションであることを示した。

関連論文リスト

• TopoNAS: Boosting Search Efficiency of Gradient-based NAS via Topological Simplification [11.08910129925713]
  TopoNASは勾配に基づくワンショットNASのモデルに依存しないアプローチである。 探索可能な経路のトポロジ的単純化により検索時間とメモリ使用量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-08-02T15:01:29Z)
• Efficient NAS with FaDE on Hierarchical Spaces [0.6372911857214884]
  階層型NAS空間の有限領域における相対的な性能予測を得るために、微分可能なアーキテクチャ探索を用いるFaDEを提案する。 FaDEは特に深層階層の多セル探索空間に向いている。
  論文  参考訳（メタデータ） (2024-04-24T21:33:17Z)
• ECToNAS: Evolutionary Cross-Topology Neural Architecture Search [0.0]
  ECToNASは、コスト効率のよい進化的クロストポロジーニューラルアーキテクチャ探索アルゴリズムである。 トレーニングとトポロジの最適化を融合して,軽量でリソースフレンドリなプロセスにします。
  論文  参考訳（メタデータ） (2024-03-08T07:36:46Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
  本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。 我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。 提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
  論文  参考訳（メタデータ） (2021-12-05T06:42:48Z)
• DiNTS: Differentiable Neural Network Topology Search for 3D Medical Image Segmentation [7.003867673687463]
  ディグライザブルネットワークトポロジ検索スキーム(DiNTS)は,MSD(Medicical Decathlon)の課題に対して評価される。 本手法は,MSDチャレンジリーダーボードの最先端性能と上位ランキングを達成する。
  論文  参考訳（メタデータ） (2021-03-29T21:02:42Z)
• Towards Improving the Consistency, Efficiency, and Flexibility of Differentiable Neural Architecture Search [84.4140192638394]
  最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。 本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。 また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
  論文  参考訳（メタデータ） (2021-01-27T12:16:47Z)
• Stretchable Cells Help DARTS Search Better [70.52254306274092]
  分化可能なニューラルアーキテクチャサーチ(DARTS)は、柔軟で多様な細胞タイプを発見することに成功している。 現在のDARTS法は、広くて浅い細胞に傾向があり、このトポロジー崩壊は、準最適細胞を誘導する。 本稿では,細胞に伸縮性を持たせることで,ストレッチ可能な細胞に直接サーチを実装できることを示す。
  論文  参考訳（メタデータ） (2020-11-18T14:15:51Z)
• MTL-NAS: Task-Agnostic Neural Architecture Search towards General-Purpose Multi-Task Learning [71.90902837008278]
  汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。 異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。 また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-03-31T09:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。