論文の概要: Adaptive Channel Allocation for Robust Differentiable Architecture Search

• arxiv url: http://arxiv.org/abs/2204.04681v2
• Date: Mon, 23 Dec 2024 04:48:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 16:57:55.744974
• Title: Adaptive Channel Allocation for Robust Differentiable Architecture Search
• Title（参考訳）: ロバスト微分可能なアーキテクチャ探索のための適応チャネル割当
• Authors: Chao Li, Jia Ning, Han Hu, Kun He,
• Abstract要約: 微分可能なArchiTecture Search(DARTS)は、その単純さと効率の大幅な向上により、多くの注目を集めている。 スキップ接続の過度な蓄積は、訓練エポックが大きくなると、安定性とロバスト性に悩まされる。 より微妙で直接的なアプローチとして,検索段階における接続のスキップを明示的に検索しないアプローチを提案する。
• 参考スコア（独自算出の注目度）: 22.898344333732044
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Differentiable ARchiTecture Search (DARTS) has attracted much attention due to its simplicity and significant improvement in efficiency. However, the excessive accumulation of the skip connection, when training epochs become large, makes it suffer from weak stability and low robustness, thus limiting its practical applications. Many works have attempted to restrict the accumulation of skip connections by indicators or manual design. These methods, however, are susceptible to human priors and hyper-parameters. In this work, we suggest a more subtle and direct approach that no longer explicitly searches for skip connections in the search stage, based on the paradox that skip connections were proposed to guarantee the performance of very deep networks, but the networks in the search stage of differentiable architecture search are actually very shallow. Instead, by introducing channel importance ranking and channel allocation strategy, the skip connections are implicitly searched and automatically refilled unimportant channels in the evaluation stage. Our method, dubbed Adaptive Channel Allocation (ACA) strategy, is a general-purpose approach for differentiable architecture search, which universally works in DARTS variants without introducing human priors, indicators, or hyper-parameters. Extensive experiments on various datasets and DARTS variants verify that the ACA strategy is the most effective one among existing methods in improving robustness and dealing with the collapse issue when training epochs become large.
• Abstract（参考訳）: 微分可能なArchiTecture Search(DARTS)は、その単純さと効率の大幅な向上により、多くの注目を集めている。 しかし、過度のスキップ接続の蓄積は、訓練エポックが大きくなると、安定性と低ロバスト性に悩まされ、実用的利用が制限される。 多くの研究は、指標や手動設計によるスキップ接続の蓄積を制限しようと試みてきた。 しかしながら、これらの手法はヒトの前身やハイパーパラメータに感受性がある。 本研究では,より深いネットワークの性能を保証するために,接続をスキップするパラドックスが提案されていることを踏まえ,検索段階での接続を明示的に検索しない,より微妙で直接的なアプローチを提案するが,識別可能なアーキテクチャ検索の検索段階のネットワークは実際には非常に浅い。 代わりに、チャンネル重要ランキングとチャンネル割り当て戦略を導入することで、スキップ接続を暗黙的に検索し、評価段階で重要でないチャンネルを自動的に補充する。 アダプティブチャネルアロケーション(ACA)戦略と呼ばれるこの手法は,DARTSの変種において,ヒトの先行値や指標,ハイパーパラメータを導入することなく,汎用的なアーキテクチャ探索手法である。 各種データセットおよびDARTS変種に関する広範囲にわたる実験により、ACA戦略がロバスト性を改善し、訓練エポックが大きくなると崩壊問題に対処する既存の手法の中で、最も効果的であることが確認された。

関連論文リスト

• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Efficient Architecture Search via Bi-level Data Pruning [70.29970746807882]
  この研究は、DARTSの双方向最適化におけるデータセット特性の重要な役割を探求する先駆者となった。 我々は、スーパーネット予測力学を計量として活用する新しいプログレッシブデータプルーニング戦略を導入する。 NAS-Bench-201サーチスペース、DARTSサーチスペース、MobileNetのようなサーチスペースに関する総合的な評価は、BDPがサーチコストを50%以上削減することを検証する。
  論文  参考訳（メタデータ） (2023-12-21T02:48:44Z)
• Lightweight Diffusion Models with Distillation-Based Block Neural Architecture Search [55.41583104734349]
  拡散蒸留に基づくブロックワイドニューラルネットワークサーチ(NAS)により拡散モデルの構造的冗長性を自動的に除去することを提案する。 事前訓練を受けた教師がより多い場合、DiffNASを利用して、教師よりもパフォーマンスが良い最小限のアーキテクチャを探索する。 従来のブロックワイズNAS法とは異なり、DiffNASはブロックワイズ局所探索戦略と、関節ダイナミックロスを伴う再訓練戦略を含んでいる。
  論文  参考訳（メタデータ） (2023-11-08T12:56:59Z)
• Robustifying DARTS by Eliminating Information Bypass Leakage via Explicit Sparse Regularization [8.93957397187611]
  微分可能なアーキテクチャサーチ (DARTS) は有望なエンドツーエンドNAS手法である。 最近の研究では、DARTSの基本的な仮説に疑問が投げかけられている。 そこで本研究では, DARTS を頑健化するための新しいスパース規則化近似と混合スパース性学習手法を提案する。
  論文  参考訳（メタデータ） (2023-06-12T04:11:37Z)
• Operation-level Progressive Differentiable Architecture Search [19.214462477848535]
  本研究では,接続アグリゲーションのスキップを回避するために,オペレーショナル・プログレッシブ・差別化可能なニューラルアーキテクチャ・サーチ(OPP-DARTS)を提案する。 CIFAR-10における本手法の性能は,標準DARTSのアーキテクチャよりも優れている。
  論文  参考訳（メタデータ） (2023-02-11T09:18:01Z)
• $\Lambda$-DARTS: Mitigating Performance Collapse by Harmonizing Operation Selection among Cells [11.777101481512423]
  微分可能なニューラルアーキテクチャサーチ(DARTS)はニューラルアーキテクチャサーチ(NAS)の一般的な方法である 我々は、DARTSの収束をソフトマックス関数の飽和点に制限するウェイトシェアリングフレームワークにより、DARTSは特定の構造欠陥に悩まされていることを示す。 そこで本稿では,階層の勾配を整合させて動作選択を調和させることにより,性能低下を防止するための2つの新たな正規化用語を提案する。
  論文  参考訳（メタデータ） (2022-10-14T17:54:01Z)
• Partial Connection Based on Channel Attention for Differentiable Neural Architecture Search [1.1125818448814198]
  微分可能なニューラルネットワーク探索(DARTS)は勾配誘導探索法である。 いくつかの重み付き操作のパラメータは、初期段階では十分に訓練されない。 微分可能なニューラルアーキテクチャ探索(ADARTS)のためのチャネルアテンションに基づく部分チャネル接続を提案する。
  論文  参考訳（メタデータ） (2022-08-01T12:05:55Z)
• $\beta$-DARTS: Beta-Decay Regularization for Differentiable Architecture Search [85.84110365657455]
  本研究では,DARTSに基づくNAS探索過程を正規化するために,ベータデカイと呼ばれるシンプルだが効率的な正規化手法を提案する。 NAS-Bench-201の実験結果から,提案手法は探索過程の安定化に有効であり,探索されたネットワークを異なるデータセット間で転送しやすくする。
  論文  参考訳（メタデータ） (2022-03-03T11:47:14Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• Learning to Perform Downlink Channel Estimation in Massive MIMO Systems [72.76968022465469]
  大規模マルチインプット・マルチアウトプット(MIMO)システムにおけるダウンリンク(DL)チャネル推定について検討する。 一般的なアプローチは、チャネル硬化によって動機付けられた推定値として平均値を使用することである。 本稿では2つの新しい推定法を提案する。
  論文  参考訳（メタデータ） (2021-09-06T13:42:32Z)
• iDARTS: Improving DARTS by Node Normalization and Decorrelation Discretization [51.489024258966886]
  微分可能なArchiTecture Search(DARTS)は、ネットワーク表現の継続的緩和を使用し、GPUデーにおいて、ニューラルネットワークサーチ(NAS)を約数千倍高速化する。 しかし、DARTSの探索過程は不安定であり、訓練の時期が大きくなると著しく劣化する。 そこで本研究では,DARTSの改良版であるiDARTSを提案する。
  論文  参考訳（メタデータ） (2021-08-25T02:23:30Z)
• MS-DARTS: Mean-Shift Based Differentiable Architecture Search [11.115656548869199]
  サンプリングと摂動に基づく安定性向上のための平均シフトベースDARTS(MS-DARTS)を提案する。 MS-DARTSは、検索コストを削減した他の最先端NASメソッドよりも高いパフォーマンスをアーカイブする。
  論文  参考訳（メタデータ） (2021-08-23T08:06:45Z)
• Decoupled and Memory-Reinforced Networks: Towards Effective Feature Learning for One-Step Person Search [65.51181219410763]
  歩行者検出と識別サブタスクを1つのネットワークで処理するワンステップ方式を開発しました。 現在のワンステップアプローチには2つの大きな課題があります。 本稿では,これらの問題を解決するために,分離メモリ強化ネットワーク(DMRNet)を提案する。
  論文  参考訳（メタデータ） (2021-02-22T06:19:45Z)
• DARTS-: Robustly Stepping out of Performance Collapse Without Indicators [74.21019737169675]
  異なるアーキテクチャ検索は、長期にわたるパフォーマンスの不安定さに悩まされる。 ヘッセン固有値のような指標は、性能が崩壊する前に探索を止める信号として提案される。 本稿では,崩壊を解決するために,より微妙で直接的なアプローチをとる。
  論文  参考訳（メタデータ） (2020-09-02T12:54:13Z)
• Theory-Inspired Path-Regularized Differential Network Architecture Search [206.93821077400733]
  差分アーキテクチャサーチ(DARTS)における高速ネットワーク最適化に対するスキップ接続の影響と,他のタイプの操作に対する競争上の優位性について検討する。 i)操作間の不当競争を避けるために各操作に導入された差分群構造スパース二乗ゲートと,(ii)浅部より収束する深部アーキテクチャの探索を誘導するために用いられる経路深度正規化の2つの主要なモジュールからなる理論に着想を得た経路規則化DARTSを提案する。
  論文  参考訳（メタデータ） (2020-06-30T05:28:23Z)
• Stabilizing Differentiable Architecture Search via Perturbation-based Regularization [99.81980366552408]
  最終アーキテクチャを蒸留する際の劇的な性能低下につながる急激なバリデーション損失の状況は、不安定を引き起こす重要な要因であることがわかった。 本研究では,DARTSに基づく手法の汎用性の向上と損失景観の円滑化を図るため,摂動型正規化(SmoothDARTS)を提案する。
  論文  参考訳（メタデータ） (2020-02-12T23:46:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。