論文の概要: Theory-Inspired Path-Regularized Differential Network Architecture Search

• arxiv url: http://arxiv.org/abs/2006.16537v2
• Date: Mon, 12 Oct 2020 12:12:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 04:26:10.232403
• Title: Theory-Inspired Path-Regularized Differential Network Architecture Search
• Title（参考訳）: 理論に基づく経路規則化微分ネットワークアーキテクチャ探索
• Authors: Pan Zhou, Caiming Xiong, Richard Socher, Steven C.H. Hoi
• Abstract要約: 差分アーキテクチャサーチ(DARTS)における高速ネットワーク最適化に対するスキップ接続の影響と,他のタイプの操作に対する競争上の優位性について検討する。 i)操作間の不当競争を避けるために各操作に導入された差分群構造スパース二乗ゲートと,(ii)浅部より収束する深部アーキテクチャの探索を誘導するために用いられる経路深度正規化の2つの主要なモジュールからなる理論に着想を得た経路規則化DARTSを提案する。
• 参考スコア（独自算出の注目度）: 206.93821077400733
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite its high search efficiency, differential architecture search (DARTS) often selects network architectures with dominated skip connections which lead to performance degradation. However, theoretical understandings on this issue remain absent, hindering the development of more advanced methods in a principled way. In this work, we solve this problem by theoretically analyzing the effects of various types of operations, e.g. convolution, skip connection and zero operation, to the network optimization. We prove that the architectures with more skip connections can converge faster than the other candidates, and thus are selected by DARTS. This result, for the first time, theoretically and explicitly reveals the impact of skip connections to fast network optimization and its competitive advantage over other types of operations in DARTS. Then we propose a theory-inspired path-regularized DARTS that consists of two key modules: (i) a differential group-structured sparse binary gate introduced for each operation to avoid unfair competition among operations, and (ii) a path-depth-wise regularization used to incite search exploration for deep architectures that often converge slower than shallow ones as shown in our theory and are not well explored during the search. Experimental results on image classification tasks validate its advantages.
• Abstract（参考訳）: 高い探索効率にもかかわらず、ディファレンシャルアーキテクチャサーチ(DARTS)は、しばしばスキップ接続が支配的なネットワークアーキテクチャを選択する。 しかし、この問題に関する理論的理解はいまだ残っており、より先進的な方法の開発を原則的に妨げている。 本研究では,ネットワーク最適化に対する畳み込み,スキップ接続,ゼロ操作などの様々な操作の効果を理論的に解析することにより,この問題を解決した。 我々は、スキップ接続が多いアーキテクチャが他の候補よりも高速に収束できることを証明し、dartによって選択される。 この結果は、初めて理論的および明確に、高速なネットワーク最適化へのスキップ接続の影響と、dartの他のタイプのオペレーションに対する競争上の優位性を明らかにした。 次に,2つのキーモジュールからなる,理論にインスパイアされたパス正規化dartを提案する。 (i)操作間の不公平な競合を避けるために各操作に導入された差動群構造スパースバイナリゲート (II)本理論に示すような浅層構造よりも緩やかに収束する深層構造を探索探索するために用いられる経路深部正規化は,探索中にはあまり探索されない。 画像分類タスクの実験結果は、その利点を検証する。

関連論文リスト

• Operation-level Progressive Differentiable Architecture Search [19.214462477848535]
  本研究では,接続アグリゲーションのスキップを回避するために,オペレーショナル・プログレッシブ・差別化可能なニューラルアーキテクチャ・サーチ(OPP-DARTS)を提案する。 CIFAR-10における本手法の性能は,標準DARTSのアーキテクチャよりも優れている。
  論文  参考訳（メタデータ） (2023-02-11T09:18:01Z)
• $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells [11.777101481512423]
  微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である 我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。 そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2022-10-14T17:54:01Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Unified Field Theory for Deep and Recurrent Neural Networks [56.735884560668985]
  本稿では,再帰的ネットワークと深層ネットワークの両方に対する平均場理論の統一的,体系的な導出について述べる。 平均場理論への収束は、ディープネットワークよりもリカレントネットワークの方が典型的に遅い。 提案手法はガウス過程が1/n$の体系的展開の最下位次数であることを示す。
  論文  参考訳（メタデータ） (2021-12-10T15:06:11Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• Partially-Connected Differentiable Architecture Search for Deepfake and Spoofing Detection [14.792884010821762]
  本稿では,darts( differentiable architecture search)アプローチをdeepfakeおよびspoofing検出問題に適用した最初の事例について報告する。 DARTSは連続的かつ微分可能な検索空間で動作し、アーキテクチャとパラメータの両方を勾配降下により最適化することができる。
  論文  参考訳（メタデータ） (2021-04-07T13:53:20Z)
• Reframing Neural Networks: Deep Structure in Overcomplete Representations [41.84502123663809]
  本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。 表現一意性と安定性に関連付けられたデータ非依存的なコヒーレンス尺度であるdeep frame potentialとの構造的差異を定量化する。 この超完全表現の確立された理論への接続は、原理化されたディープネットワークアーキテクチャ設計の新たな方向性を示唆している。
  論文  参考訳（メタデータ） (2021-03-10T01:15:14Z)
• RARTS: An Efficient First-Order Relaxed Architecture Search Method [5.491655566898372]
  微分可能なアーキテクチャ探索(DARTS)は、二段階最適化問題の解法に基づく、データ駆動型ニューラルネットワーク設計の有効な方法である。 我々は、データとネットワーク分割の両方を通してアーキテクチャ学習のデータセット全体を利用する、単一レベルの代替品と緩和アーキテクチャ検索(RARTS)手法を定式化する。 RARTSは、トポロジカルアーキテクチャ、すなわちエッジと演算を探索するタスクにおいて、CIFAR-10上の2階DARTSよりも高い精度と60%の計算コストを得る。
  論文  参考訳（メタデータ） (2020-08-10T04:55:51Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。