論文の概要: Rethinking Channel Dimensions for Efficient Model Design

• arxiv url: http://arxiv.org/abs/2007.00992v3
• Date: Tue, 8 Jun 2021 06:14:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-14 14:29:06.379919
• Title: Rethinking Channel Dimensions for Efficient Model Design
• Title（参考訳）: 効率的なモデル設計のためのチャネル次元の再考
• Authors: Dongyoon Han, Sangdoo Yun, Byeongho Heo, and YoungJoon Yoo
• Abstract要約: 提案手法よりも優れた性能を実現するために,チャネル次元の効率的な構成について検討する。 本稿では,レイヤインデックスによってパラメータ化可能な,シンプルで効果的なチャネル構成を提案する。 提案手法は,ImageNetの分類および伝達学習タスクにおいて顕著な性能を発揮する。
• 参考スコア（独自算出の注目度）: 30.523365449381256
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Designing an efficient model within the limited computational cost is challenging. We argue the accuracy of a lightweight model has been further limited by the design convention: a stage-wise configuration of the channel dimensions, which looks like a piecewise linear function of the network stage. In this paper, we study an effective channel dimension configuration towards better performance than the convention. To this end, we empirically study how to design a single layer properly by analyzing the rank of the output feature. We then investigate the channel configuration of a model by searching network architectures concerning the channel configuration under the computational cost restriction. Based on the investigation, we propose a simple yet effective channel configuration that can be parameterized by the layer index. As a result, our proposed model following the channel parameterization achieves remarkable performance on ImageNet classification and transfer learning tasks including COCO object detection, COCO instance segmentation, and fine-grained classifications. Code and ImageNet pretrained models are available at https://github.com/clovaai/rexnet.
• Abstract（参考訳）: 限られた計算コストで効率的なモデルを設計することは困難である。 我々は、軽量モデルの精度は、ネットワークステージの区分線形関数のように見えるチャネル次元の段階的構成という設計慣例によってさらに制限されていると論じている。 本稿では,従来よりも優れた性能を実現するためのチャネル次元構成について検討する。 そこで我々は,出力特性のランクを解析し,単一層を適切に設計する方法を実証的に研究した。 次に,計算コスト制限下でのチャネル構成に関するネットワークアーキテクチャを探索し,モデルのチャネル構成を検討する。 そこで本研究では,レイヤインデックスによってパラメータ化できる簡易かつ効果的なチャネル構成を提案する。 その結果,チャネルパラメータ化に基づく提案モデルは,COCOオブジェクトの検出,COCOインスタンスのセグメンテーション,きめ細かい分類など,イメージネットの分類および伝達学習タスクにおいて顕著な性能を発揮する。 コードとimagenet事前トレーニングされたモデルはhttps://github.com/clovaai/rexnetで入手できる。

関連論文リスト

• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Pruning-as-Search: Efficient Neural Architecture Search via Channel Pruning and Structural Reparameterization [50.50023451369742]
  プルーニング・アズ・サーチ(Pruning-as-Search、PaS)は、必要なサブネットワークを自動的に効率的に検索するエンドツーエンドのプルーニング手法である。 提案したアーキテクチャは,ImageNet-1000分類タスクにおいて,1.0%$ Top-1精度で先行技術より優れていた。
  論文  参考訳（メタデータ） (2022-06-02T17:58:54Z)
• Learning Features with Parameter-Free Layers [22.92568642331809]
  本稿では、ネットワークアーキテクチャにおける効率的なトレーニング可能なレイヤの代替として、単純なパラメータフリーな操作が好ましいと論じる。 ImageNetデータセットの実験では、パラメータフリーな操作を持つネットワークアーキテクチャは、モデル速度、パラメータ数、FLOPのさらなる効率性の利点を享受できることが示されている。
  論文  参考訳（メタデータ） (2022-02-06T14:03:36Z)
• CATRO: Channel Pruning via Class-Aware Trace Ratio Optimization [61.71504948770445]
  本稿では,CATRO (Class-Aware Trace Ratio Optimization) を用いた新しいチャネルプルーニング手法を提案する。 CATROは、他の最先端チャネルプルーニングアルゴリズムと同等の精度で、同様のコストまたは低コストで高い精度を達成できることを示す。 CATROは、クラス認識の特性のため、様々な分類サブタスクに適応的に効率の良いネットワークを創り出すのに適している。
  論文  参考訳（メタデータ） (2021-10-21T06:26:31Z)
• CONetV2: Efficient Auto-Channel Size Optimization for CNNs [35.951376988552695]
  本研究は,チャネルサイズのマイクロサーチ空間を調べることにより,計算制約のある環境において効率的な手法を提案する。 チャネルサイズ最適化に際し、ネットワークの異なる接続層内の依存関係を抽出する自動アルゴリズムを設計する。 また、テスト精度と高い相関性を持ち、個々のネットワーク層を解析できる新しいメトリクスも導入する。
  論文  参考訳（メタデータ） (2021-10-13T16:17:19Z)
• CONet: Channel Optimization for Convolutional Neural Networks [33.58529066005248]
  畳み込みニューラルネットワーク(CNN)におけるチャネルサイズ最適化の検討 ネットワーク層をまたいだCNNのチャネルサイズを自動的に最適化する,効率的な動的スケーリングアルゴリズムであるConetを導入します。 CIFAR10/100およびImageNetデータセット上で実験を行い、ConetがResNet、DARTS、DARTS+空間で探索された効率的で正確なアーキテクチャを見つけることができることを示す。
  論文  参考訳（メタデータ） (2021-08-15T21:48:25Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• The Heterogeneity Hypothesis: Finding Layer-Wise Differentiated Network Architectures [179.66117325866585]
  我々は、通常見過ごされる設計空間、すなわち事前定義されたネットワークのチャネル構成を調整することを検討する。 この調整は、拡張ベースラインネットワークを縮小することで実現でき、性能が向上する。 画像分類、視覚追跡、画像復元のための様々なネットワークとデータセットで実験を行う。
  論文  参考訳（メタデータ） (2020-06-29T17:59:26Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。