論文の概要: DOTS: Decoupling Operation and Topology in Differentiable Architecture
Search
- arxiv url: http://arxiv.org/abs/2010.00969v3
- Date: Thu, 8 Apr 2021 07:36:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 01:52:10.405115
- Title: DOTS: Decoupling Operation and Topology in Differentiable Architecture
Search
- Title(参考訳): DOTS: 異なるアーキテクチャ検索における運用とトポロジの分離
- Authors: Yu-Chao Gu, Li-Juan Wang, Yun Liu, Yi Yang, Yu-Huan Wu, Shao-Ping Lu,
Ming-Ming Cheng
- Abstract要約: 微分可能なアーキテクチャ探索 (DARTS) は, 細胞構造探索の効率性から注目されている。
本稿では,オペレーティング・アンド・トポロジー・サーチ(DOTS)を分離して,明確なトポロジー・サーチを提案する。
- 参考スコア(独自算出の注目度): 115.89211594258573
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Differentiable Architecture Search (DARTS) has attracted extensive attention
due to its efficiency in searching for cell structures. DARTS mainly focuses on
the operation search and derives the cell topology from the operation weights.
However, the operation weights can not indicate the importance of cell topology
and result in poor topology rating correctness. To tackle this, we propose to
Decouple the Operation and Topology Search (DOTS), which decouples the topology
representation from operation weights and makes an explicit topology search.
DOTS is achieved by introducing a topology search space that contains
combinations of candidate edges. The proposed search space directly reflects
the search objective and can be easily extended to support a flexible number of
edges in the searched cell. Existing gradient-based NAS methods can be
incorporated into DOTS for further improvement by the topology search.
Considering that some operations (e.g., Skip-Connection) can affect the
topology, we propose a group operation search scheme to preserve
topology-related operations for a better topology search. The experiments on
CIFAR10/100 and ImageNet demonstrate that DOTS is an effective solution for
differentiable NAS.
- Abstract(参考訳): 微分可能なアーキテクチャ探索 (DARTS) は, 細胞構造探索の効率性から注目されている。
DARTSは主に操作探索に焦点を当て、操作重みから細胞トポロジーを導出する。
しかし、操作重みは細胞トポロジーの重要性を示さず、トポロジー評価の正確性に乏しい結果となる。
そこで本研究では,操作重みからトポロジー表現を分離し,明示的なトポロジー探索を行う演算とトポロジー探索(dots)を分離する手法を提案する。
DOTSは、候補エッジの組み合わせを含むトポロジ検索空間を導入することで実現される。
提案した探索空間は直接探索対象を反映し、検索セル内の柔軟な数のエッジをサポートするために容易に拡張できる。
既存の勾配に基づくNAS法をDOTSに組み込んでトポロジ探索によりさらなる改良を行うことができる。
トポロジに影響を及ぼすような操作(例えばSkip-Connection)を考えると,より優れたトポロジ検索のためにトポロジ関連操作を保存するためのグループ操作探索方式を提案する。
CIFAR10/100とImageNetの実験は、DOTSが微分可能なNASの効果的なソリューションであることを示した。
関連論文リスト
- ECToNAS: Evolutionary Cross-Topology Neural Architecture Search [0.0]
ECToNASは、コスト効率のよい進化的クロストポロジーニューラルアーキテクチャ探索アルゴリズムである。
トレーニングとトポロジの最適化を融合して,軽量でリソースフレンドリなプロセスにします。
論文 参考訳(メタデータ) (2024-03-08T07:36:46Z) - Towards Less Constrained Macro-Neural Architecture Search [2.685668802278155]
ニューラルアーキテクチャサーチ(NAS)ネットワークは、様々なタスクで最先端のパフォーマンスを達成する。
ほとんどのNAS手法は、探索を制約する人間定義の仮定に大きく依存している。
我々は,LCMNASが最小のGPU計算でゼロから最先端アーキテクチャを生成することを示す実験を行った。
論文 参考訳(メタデータ) (2022-03-10T17:53:03Z) - $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture
Search [85.84110365657455]
本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。
NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
論文 参考訳(メタデータ) (2022-03-03T11:47:14Z) - Exploring Complicated Search Spaces with Interleaving-Free Sampling [127.07551427957362]
本稿では,長距離接続を伴う複雑な検索空間上に探索アルゴリズムを構築する。
我々はtextbfIF-NAS という単純なアルゴリズムを提案し、異なるサブネットワークを構築するために周期的なサンプリング戦略を実行する。
提案した探索空間において、IF-NASはランダムサンプリングと従来の重み付け検索のアルゴリズムを有意差で上回っている。
論文 参考訳(メタデータ) (2021-12-05T06:42:48Z) - DiNTS: Differentiable Neural Network Topology Search for 3D Medical
Image Segmentation [7.003867673687463]
ディグライザブルネットワークトポロジ検索スキーム(DiNTS)は,MSD(Medicical Decathlon)の課題に対して評価される。
本手法は,MSDチャレンジリーダーボードの最先端性能と上位ランキングを達成する。
論文 参考訳(メタデータ) (2021-03-29T21:02:42Z) - Towards Improving the Consistency, Efficiency, and Flexibility of
Differentiable Neural Architecture Search [84.4140192638394]
最も微分可能なニューラルアーキテクチャ探索法は、探索用のスーパーネットを構築し、そのサブグラフとしてターゲットネットを導出する。
本稿では,エンジンセルとトランジットセルからなるEnTranNASを紹介する。
また,検索処理の高速化を図るため,メモリや計算コストの削減も図っている。
論文 参考訳(メタデータ) (2021-01-27T12:16:47Z) - Stretchable Cells Help DARTS Search Better [70.52254306274092]
分化可能なニューラルアーキテクチャサーチ(DARTS)は、柔軟で多様な細胞タイプを発見することに成功している。
現在のDARTS法は、広くて浅い細胞に傾向があり、このトポロジー崩壊は、準最適細胞を誘導する。
本稿では,細胞に伸縮性を持たせることで,ストレッチ可能な細胞に直接サーチを実装できることを示す。
論文 参考訳(メタデータ) (2020-11-18T14:15:51Z) - DiffMG: Differentiable Meta Graph Search for Heterogeneous Graph Neural
Networks [45.075163625895286]
我々はメタグラフを探索し、メタパスよりも複雑なセマンティック関係をキャプチャし、グラフニューラルネットワークが異なるタイプのエッジに沿ってメッセージを伝播する方法を決定する。
我々は、HINの候補メタグラフを表すために、有向非巡回グラフ(DAG)の形式で表現型検索空間を設計する。
本稿では,1回のGNNトレーニングに匹敵する検索コストを1対1に抑えるための,新しい効率的な探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-07T08:09:29Z) - MTL-NAS: Task-Agnostic Neural Architecture Search towards
General-Purpose Multi-Task Learning [71.90902837008278]
汎用マルチタスク学習(GP-MTL)にニューラルアーキテクチャサーチ(NAS)を導入することを提案する。
異なるタスクの組み合わせに対応するため、GP-MTLネットワークを単一タスクのバックボーンに分割する。
また,探索されたアーキテクチャ間の性能ギャップを埋める単一ショット勾配に基づく探索アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-03-31T09:49:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。