論文の概要: Adaptive Channel Allocation for Robust Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2204.04681v2
• Date: Mon, 23 Dec 2024 04:48:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:53:26.839220
• Title: Adaptive Channel Allocation for Robust Differentiable Architecture Search
• Title（参考訳）: ロバスト微分可能なアーキテクチャ探索のための適応チャネル割当
• Authors: Chao Li, Jia Ning, Han Hu, Kun He,
• Abstract要約: 微分可能なArchiTecture Search(DARTS)は、その単純さと効率の大幅な向上により、多くの注目を集めている。 スキップ接続の過度な蓄積は、訓練エポックが大きくなると、安定性とロバスト性に悩まされる。 より微妙で直接的なアプローチとして,検索段階における接続のスキップを明示的に検索しないアプローチを提案する。
• 参考スコア（独自算出の注目度）: 22.898344333732044
• License:
• Abstract: Differentiable ARchiTecture Search (DARTS) has attracted much attention due to its simplicity and significant improvement in efficiency. However, the excessive accumulation of the skip connection, when training epochs become large, makes it suffer from weak stability and low robustness, thus limiting its practical applications. Many works have attempted to restrict the accumulation of skip connections by indicators or manual design. These methods, however, are susceptible to human priors and hyper-parameters. In this work, we suggest a more subtle and direct approach that no longer explicitly searches for skip connections in the search stage, based on the paradox that skip connections were proposed to guarantee the performance of very deep networks, but the networks in the search stage of differentiable architecture search are actually very shallow. Instead, by introducing channel importance ranking and channel allocation strategy, the skip connections are implicitly searched and automatically refilled unimportant channels in the evaluation stage. Our method, dubbed Adaptive Channel Allocation (ACA) strategy, is a general-purpose approach for differentiable architecture search, which universally works in DARTS variants without introducing human priors, indicators, or hyper-parameters. Extensive experiments on various datasets and DARTS variants verify that the ACA strategy is the most effective one among existing methods in improving robustness and dealing with the collapse issue when training epochs become large.
• Abstract（参考訳）: 微分可能なArchiTecture Search(DARTS)は、その単純さと効率の大幅な向上により、多くの注目を集めている。 しかし、過度のスキップ接続の蓄積は、訓練エポックが大きくなると、安定性と低ロバスト性に悩まされ、実用的利用が制限される。 多くの研究は、指標や手動設計によるスキップ接続の蓄積を制限しようと試みてきた。 しかしながら、これらの手法はヒトの前身やハイパーパラメータに感受性がある。 本研究では,より深いネットワークの性能を保証するために,接続をスキップするパラドックスが提案されていることを踏まえ,検索段階での接続を明示的に検索しない,より微妙で直接的なアプローチを提案するが,識別可能なアーキテクチャ検索の検索段階のネットワークは実際には非常に浅い。 代わりに、チャンネル重要ランキングとチャンネル割り当て戦略を導入することで、スキップ接続を暗黙的に検索し、評価段階で重要でないチャンネルを自動的に補充する。 アダプティブチャネルアロケーション(ACA)戦略と呼ばれるこの手法は,DARTSの変種において,ヒトの先行値や指標,ハイパーパラメータを導入することなく,汎用的なアーキテクチャ探索手法である。 各種データセットおよびDARTS変種に関する広範囲にわたる実験により、ACA戦略がロバスト性を改善し、訓練エポックが大きくなると崩壊問題に対処する既存の手法の中で、最も効果的であることが確認された。

関連論文リスト

• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• Robustifying DARTS by Eliminating Information Bypass Leakage via Explicit Sparse Regularization [8.93957397187611]
  微分可能なアーキテクチャサーチ (DARTS) は有望なエンドツーエンドNAS手法である。 最近の研究では、DARTSの基本的な仮説に疑問が投げかけられている。 そこで本研究では, DARTS を頑健化するための新しいスパース規則化近似と混合スパース性学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T04:11:37Z)
• Operation-level Progressive Differentiable Architecture Search [19.214462477848535]
  本研究では,接続アグリゲーションのスキップを回避するために,オペレーショナル・プログレッシブ・差別化可能なニューラルアーキテクチャ・サーチ(OPP-DARTS)を提案する。 CIFAR-10における本手法の性能は,標準DARTSのアーキテクチャよりも優れている。
  論文  参考訳（メタデータ） (2023-02-11T09:18:01Z)
• Partial Connection Based on Channel Attention for Differentiable Neural Architecture Search [1.1125818448814198]
  微分可能なニューラルネットワーク探索(DARTS)は勾配誘導探索法である。 いくつかの重み付き操作のパラメータは、初期段階では十分に訓練されない。 微分可能なニューラルアーキテクチャ探索(ADARTS)のためのチャネルアテンションに基づく部分チャネル接続を提案する。
  論文  参考訳（メタデータ） (2022-08-01T12:05:55Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Learning to Perform Downlink Channel Estimation in Massive MIMO Systems [72.76968022465469]
  大規模マルチインプット・マルチアウトプット(MIMO)システムにおけるダウンリンク(DL)チャネル推定について検討する。 一般的なアプローチは、チャネル硬化によって動機付けられた推定値として平均値を使用することである。 本稿では2つの新しい推定法を提案する。
  論文  参考訳（メタデータ） (2021-09-06T13:42:32Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• Theory-Inspired Path-Regularized Differential Network Architecture Search [206.93821077400733]
  差分アーキテクチャサーチ(DARTS)における高速ネットワーク最適化に対するスキップ接続の影響と,他のタイプの操作に対する競争上の優位性について検討する。 i)操作間の不当競争を避けるために各操作に導入された差分群構造スパース二乗ゲートと,(ii)浅部より収束する深部アーキテクチャの探索を誘導するために用いられる経路深度正規化の2つの主要なモジュールからなる理論に着想を得た経路規則化DARTSを提案する。
  論文  参考訳（メタデータ） (2020-06-30T05:28:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。