論文の概要: CONetV2: Efficient Auto-Channel Size Optimization for CNNs

• arxiv url: http://arxiv.org/abs/2110.06830v1
• Date: Wed, 13 Oct 2021 16:17:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 13:40:24.099727
• Title: CONetV2: Efficient Auto-Channel Size Optimization for CNNs
• Title（参考訳）: CONetV2: CNNの効率的なオートチャネルサイズ最適化
• Authors: Yi Ru Wang, Samir Khaki, Weihang Zheng, Mahdi S. Hosseini, Konstantinos N. Plataniotis
• Abstract要約: 本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。 チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。 また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
• 参考スコア（独自算出の注目度）: 35.951376988552695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Architecture Search (NAS) has been pivotal in finding optimal network configurations for Convolution Neural Networks (CNNs). While many methods explore NAS from a global search-space perspective, the employed optimization schemes typically require heavy computational resources. This work introduces a method that is efficient in computationally constrained environments by examining the micro-search space of channel size. In tackling channel-size optimization, we design an automated algorithm to extract the dependencies within different connected layers of the network. In addition, we introduce the idea of knowledge distillation, which enables preservation of trained weights, admist trials where the channel sizes are changing. Further, since the standard performance indicators (accuracy, loss) fail to capture the performance of individual network components (providing an overall network evaluation), we introduce a novel metric that highly correlates with test accuracy and enables analysis of individual network layers. Combining dependency extraction, metrics, and knowledge distillation, we introduce an efficient searching algorithm, with simulated annealing inspired stochasticity, and demonstrate its effectiveness in finding optimal architectures that outperform baselines by a large margin.
• Abstract（参考訳）: ニューラルアーキテクチャサーチ(NAS)は、畳み込みニューラルネットワーク(CNN)の最適なネットワーク構成を見つける上で重要である。 グローバルな検索空間の観点からNASを探索する手法は多くあるが、最適化手法は一般に重い計算資源を必要とする。 本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。 チャネルサイズの最適化に取り組むために,ネットワークの異なる層間の依存関係を抽出する自動アルゴリズムを設計した。 さらに,訓練された重量の保存を可能にする知識蒸留,チャネルサイズが変化しているアドミストトライアルを導入する。 さらに,標準的な性能指標(精度,損失)が個々のネットワークコンポーネントの性能を捉えることができず(全体のネットワーク評価を提供する),テスト精度と高い相関性を持ち,個々のネットワーク層を解析できる新しい指標を導入する。 依存抽出,メトリクス,知識蒸留を組み合わせることで,アニーリングをインスパイアした確率性をシミュレートした効率的な探索アルゴリズムを導入し,ベースラインを大きなマージンで上回る最適なアーキテクチャを見つけるための効果を実証する。

関連論文リスト

• Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
  本稿では、トレーニング中に、トレーニング済みのネットワークを適用することなく機能するディープニューラルネットワークのユニット/フィルタとレイヤプルーニングを組み合わせた新しいアルゴリズムを提案する。 提案アルゴリズムは,3つのパラメータのみを用いて,層対単位/フィルタプルーニングと計算量対パラメータ複雑性のバランスを保ちながら,学習精度とプルーニングレベルを最適に交換する。
  論文  参考訳（メタデータ） (2024-11-14T02:00:22Z)
• Multi-Objective Neural Architecture Search for In-Memory Computing [0.5892638927736115]
  我々は、インメモリコンピューティングアーキテクチャに多様な機械学習(ML)タスクをデプロイする効率を高めるために、ニューラルネットワークサーチ(NAS)を採用している。 IMCアーキテクチャ展開のためのNASアプローチの評価は、3つの異なる画像分類データセットにまたがる。
  論文  参考訳（メタデータ） (2024-06-10T19:17:09Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• CONet: Channel Optimization for Convolutional Neural Networks [33.58529066005248]
  畳み込みニューラルネットワーク(CNN)におけるチャネルサイズ最適化の検討 ネットワーク層をまたいだCNNのチャネルサイズを自動的に最適化する,効率的な動的スケーリングアルゴリズムであるConetを導入します。 CIFAR10/100およびImageNetデータセット上で実験を行い、ConetがResNet、DARTS、DARTS+空間で探索された効率的で正確なアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-08-15T21:48:25Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• AOWS: Adaptive and optimal network width search with latency constraints [30.39613826468697]
  チャネル番号を最適に探索する新しい一発一発NAS手法を提案する。 ImageNet分類実験により,異なるターゲットプラットフォーム上でのリソース制約に適合するネットワークを見つけることができた。
  論文  参考訳（メタデータ） (2020-05-21T06:46:16Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。