論文の概要: Noisy Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2005.03566v3
• Date: Sun, 17 Oct 2021 14:57:46 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 22:20:58.455819
• Title: Noisy Differentiable Architecture Search
• Title（参考訳）: ノイズの多い異なるアーキテクチャ検索
• Authors: Xiangxiang Chu and Bo Zhang
• Abstract要約: 微分可能なアーキテクチャサーチ(DARTS)は、現在ではニューラルアーキテクチャサーチの主流パラダイムの1つとなっている。 主に、スキップ接続の集約によって、よく知られたパフォーマンスの崩壊問題に悩まされる。 流れを妨げるために非バイアスランダムノイズを注入することを提案する。
• 参考スコア（独自算出の注目度）: 13.154295073267367
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Simplicity is the ultimate sophistication. Differentiable Architecture Search (DARTS) has now become one of the mainstream paradigms of neural architecture search. However, it largely suffers from the well-known performance collapse issue due to the aggregation of skip connections. It is thought to have overly benefited from the residual structure which accelerates the information flow. To weaken this impact, we propose to inject unbiased random noise to impede the flow. We name this novel approach NoisyDARTS. In effect, a network optimizer should perceive this difficulty at each training step and refrain from overshooting, especially on skip connections. In the long run, since we add no bias to the gradient in terms of expectation, it is still likely to converge to the right solution area. We also prove that the injected noise plays a role in smoothing the loss landscape, which makes the optimization easier. Our method features extreme simplicity and acts as a new strong baseline. We perform extensive experiments across various search spaces, datasets, and tasks, where we robustly achieve state-of-the-art results. Our code is available at https://github.com/xiaomi-automl/NoisyDARTS.
• Abstract（参考訳）: シンプルさは究極の洗練です。 差別化可能なアーキテクチャ検索(darts)は現在、ニューラルアーキテクチャ検索の主流パラダイムの1つとなっている。 しかし、主にスキップ接続の集約により、よく知られたパフォーマンスの崩壊問題に悩まされる。 情報の流れを加速する残余構造から過度に恩恵を受けたと考えられている。 この影響を弱めるために,非バイアスランダムノイズを注入して流れを阻害することを提案する。 我々はこの新しいアプローチをNoisyDARTSと名付けた。 事実上、ネットワークオプティマイザは各トレーニングステップでこの困難を認識し、特にスキップ接続においてオーバーシュートを控えるべきである。 長期的には、予測の観点で勾配にバイアスを加えることはないので、依然として適切な解領域に収束する可能性が高い。 また、ノイズ注入が損失景観の平滑化に果たす役割を証明し、最適化を容易にする。 我々の手法は極めて単純で、新しい強力なベースラインとして機能する。 我々は様々な検索空間、データセット、タスクをまたいで広範な実験を行い、最先端の結果を堅牢に達成した。 私たちのコードはhttps://github.com/xiaomi-automl/NoisyDARTSで利用可能です。

関連論文リスト

• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• Operation-level Progressive Differentiable Architecture Search [19.214462477848535]
  本研究では,接続アグリゲーションのスキップを回避するために,オペレーショナル・プログレッシブ・差別化可能なニューラルアーキテクチャ・サーチ(OPP-DARTS)を提案する。 CIFAR-10における本手法の性能は,標準DARTSのアーキテクチャよりも優れている。
  論文  参考訳（メタデータ） (2023-02-11T09:18:01Z)
• Enhancing the Robustness, Efficiency, and Diversity of Differentiable Architecture Search [25.112048502327738]
  微分可能なアーキテクチャサーチ(DARTS)は、その単純さと効率の大幅な向上により、多くの注目を集めている。 多くの研究は、インジケータや手動設計によるスキップ接続の蓄積を制限しようと試みている。 操作空間からスキップ接続を除去する、より微妙で直接的なアプローチを提案する。
  論文  参考訳（メタデータ） (2022-04-10T13:25:36Z)
• Efficient Person Search: An Anchor-Free Approach [86.45858994806471]
  パーソンサーチは、クエリーの人物を、リアルで切り刻まれていない画像から、同時にローカライズし、識別することを目的としている。 この目標を達成するために、最先端モデルは通常、Faster R-CNNのような2段階検出器にre-idブランチを追加する。 本研究では,この課題に対処するためのアンカーフリーな手法を提案する。
  論文  参考訳（メタデータ） (2021-09-01T07:01:33Z)
• D-DARTS: Distributed Differentiable Architecture Search [75.12821786565318]
  微分可能なArchiTecture Search(DARTS)は、最も流行しているニューラルネットワークサーチ(NAS)の1つである。 セルレベルで複数のニューラルネットワークをネストすることでこの問題に対処する新しいソリューションD-DARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-20T09:07:01Z)
• Neural Architecture Search via Bregman Iterations [1.7778609937758323]
  本稿では,Bregman反復に基づくニューラルアーキテクチャ探索(NAS)の新たな戦略を提案する。 我々の勾配に基づくワンショットアルゴリズムは、徐々に、逆スケール空間の方法で関連するパラメータを追加する。
  論文  参考訳（メタデータ） (2021-06-04T13:37:47Z)
• Making Differentiable Architecture Search less local [9.869449181400466]
  微分可能なニューラルネットワークアーキテクチャ検索(DARTS)は、検索効率を劇的に向上させる有望なNASアプローチである。 これは、検索がしばしば有害なアーキテクチャにつながるパフォーマンスの崩壊に苦しむことが示されています。 DARTS問題の定式化を変更することなく、空間をよりよく探索できる、よりグローバルな最適化スキームを開発する。
  論文  参考訳（メタデータ） (2021-04-21T10:36:43Z)
• Cream of the Crop: Distilling Prioritized Paths For One-Shot Neural Architecture Search [60.965024145243596]
  ワンショット重み共有手法は、高効率と競争性能のため、最近、ニューラルアーキテクチャ探索において大きな注目を集めている。 この問題を軽減するため, 単純で効果的な蒸留法を提案する。 本稿では、訓練中に優れた性能を示すアーキテクチャ候補を指す優先順位付けパスの概念を紹介する。 優先順位付けされた経路は、その性能や複雑さに応じて、ハエで変化するため、最終的な経路は作物のクリームである。
  論文  参考訳（メタデータ） (2020-10-29T17:55:05Z)
• DARTS-: Robustly Stepping out of Performance Collapse Without Indicators [74.21019737169675]
  異なるアーキテクチャ検索は、長期にわたるパフォーマンスの不安定さに悩まされる。 ヘッセン固有値のような指標は、性能が崩壊する前に探索を止める信号として提案される。 本稿では,崩壊を解決するために,より微妙で直接的なアプローチをとる。
  論文  参考訳（メタデータ） (2020-09-02T12:54:13Z)
• Latency-Aware Differentiable Neural Architecture Search [113.35689580508343]
  近年、探索コストの低さと検索空間設計の柔軟性から、微分可能なニューラルネットワーク探索法が人気を博している。 しかし、これらの手法はネットワーク最適化の難しさに悩まされており、検索されたネットワークはハードウェアに不便な場合が多い。 本稿では,この問題を最適化に微分可能な遅延損失項を追加することにより,精度とレイテンシのトレードオフをバランス係数で行うことができる。
  論文  参考訳（メタデータ） (2020-01-17T15:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。