論文の概要: The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol

• arxiv url: http://arxiv.org/abs/2405.16610v1
• Date: Sun, 26 May 2024 15:44:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-28 20:09:48.188664
• Title: The devil is in discretization discrepancy. Robustifying Differentiable NAS with Single-Stage Searching Protocol
• Title（参考訳）: 悪魔は識別の相違にある。単一段階探索プロトコルによる識別可能なNASのロバスト化
• Authors: Konstanty Subbotko, Wojciech Jablonski, Piotr Bilinski,
• Abstract要約: 勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本稿では,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを提案する。 本手法は,Cityscapes検証データセットの検索段階において75.3%の精度で他のDNAS法よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 2.4300749758571905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) has been widely adopted to design neural networks for various computer vision tasks. One of its most promising subdomains is differentiable NAS (DNAS), where the optimal architecture is found in a differentiable manner. However, gradient-based methods suffer from the discretization error, which can severely damage the process of obtaining the final architecture. In our work, we first study the risk of discretization error and show how it affects an unregularized supernet. Then, we present that penalizing high entropy, a common technique of architecture regularization, can hinder the supernet's performance. Therefore, to robustify the DNAS framework, we introduce a novel single-stage searching protocol, which is not reliant on decoding a continuous architecture. Our results demonstrate that this approach outperforms other DNAS methods by achieving 75.3% in the searching stage on the Cityscapes validation dataset and attains performance 1.1% higher than the optimal network of DCNAS on the non-dense search space comprising short connections. The entire training process takes only 5.5 GPU days due to the weight reuse, and yields a computationally efficient architecture. Additionally, we propose a new dataset split procedure, which substantially improves results and prevents architecture degeneration in DARTS.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、様々なコンピュータビジョンタスクのためのニューラルネットワークの設計に広く採用されている。 最も有望なサブドメインの1つは差別化可能なNAS(DNAS)である。 しかし、勾配に基づく手法は離散化誤差に悩まされ、最終的なアーキテクチャを得る過程を著しく損なう可能性がある。 本研究では、まず、離散化エラーのリスクを調査し、非正規化スーパーネットにどのように影響するかを示す。 そこで,アーキテクチャ正則化の一般的な手法である高エントロピーのペナルティ化は,スーパーネットの性能を損なう可能性があることを示す。 そこで我々は,DNASフレームワークを堅牢化するために,連続的なアーキテクチャの復号化に依存しない新しい単一ステージ探索プロトコルを導入する。 本手法は,Cityscapesバリデーションデータセットの検索段階において75.3%の精度で他のDNAS法よりも優れた性能を示し,短接続を含む非密度検索空間におけるDCNASの最適ネットワークよりも1.1%高い性能を示した。 トレーニングプロセス全体は、重量再利用のためにわずか5.5GPU日しかかからず、計算効率の良いアーキテクチャが得られる。 さらに、DARTSにおける結果を大幅に改善し、アーキテクチャの劣化を防ぐ新しいデータセット分割手順を提案する。

関連論文リスト

• Generalizing Few-Shot NAS with Gradient Matching [165.5690495295074]
  One-Shotメソッドは、1つのスーパーネットをトレーニングし、ウェイトシェアリングを通じて検索空間内の全てのアーキテクチャのパフォーマンスを近似する。 Few-Shot NASは、One-Shotスーパーネットを複数のサブスーパーネットに分割することで、ウェイトシェアリングのレベルを下げる。 Few-Shotよりも優れており、派生したアーキテクチャの精度という点では、従来の同等の手法をはるかに上回っている。
  論文  参考訳（メタデータ） (2022-03-29T03:06:16Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• ISTA-NAS: Efficient and Consistent Neural Architecture Search by Sparse Coding [86.40042104698792]
  スパース符号問題としてニューラルアーキテクチャ探索を定式化する。 実験では、CIFAR-10の2段階法では、検索にわずか0.05GPUしか必要としない。 本手法は,CIFAR-10とImageNetの両方において,評価時間のみのコストで最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2020-10-13T04:34:24Z)
• Smooth Variational Graph Embeddings for Efficient Neural Architecture Search [41.62970837629573]
  本研究では,探索空間からニューラルネットワークをスムーズにエンコードし,正確に再構築できる2面変分グラフオートエンコーダを提案する。 ENASアプローチ,NAS-Bench-101およびNAS-Bench-201探索空間で定義されたニューラルネットワークに対する提案手法の評価を行った。
  論文  参考訳（メタデータ） (2020-10-09T17:05:41Z)
• Disentangled Neural Architecture Search [7.228790381070109]
  本稿では,制御器の隠蔽表現を意味論的に意味のある概念に解き放つ,アンタングル型ニューラルネットワーク探索(DNAS)を提案する。 DNASは、オペレーションの選択、接続のスキップ、レイヤ数など、アーキテクチャ表現のアンタングルに成功している。 センスサンプリングは、より高い効率とより良いパフォーマンスでニューラルネットワーク検索につながる。
  論文  参考訳（メタデータ） (2020-09-24T03:35:41Z)
• DrNAS: Dirichlet Neural Architecture Search [88.56953713817545]
  ディリクレ分布をモデルとした連続緩和型混合重みをランダム変数として扱う。 最近開発されたパスワイズ微分により、ディリクレパラメータは勾配に基づく一般化で容易に最適化できる。 微分可能なNASの大きなメモリ消費を軽減するために, 単純かつ効果的な進行学習方式を提案する。
  論文  参考訳（メタデータ） (2020-06-18T08:23:02Z)
• NAS evaluation is frustratingly hard [1.7188280334580197]
  Neural Architecture Search(NAS)は、2012年のConvolutional Neural Networksと同じくらい、ゲームチェンジャーになることを約束する、エキサイティングな新しい分野だ。 異なるメソッドの比較は、まだ非常にオープンな問題です。 最初のコントリビューションは、データセット5ドルに対する8ドルのNASメソッドのベンチマークです。
  論文  参考訳（メタデータ） (2019-12-28T21:24:12Z)
• DDPNAS: Efficient Neural Architecture Search via Dynamic Distribution Pruning [135.27931587381596]
  DDPNASと呼ばれる効率よく統一されたNASフレームワークを提案する。 検索空間は動的に切断され,その分布はいくつかのエポック毎に更新される。 提案した効率的なネットワーク生成手法により,与えられた制約に対する最適なニューラルネットワークアーキテクチャを直接取得する。
  論文  参考訳（メタデータ） (2019-05-28T06:35:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。