論文の概要: ShuffleBlock: Shuffle to Regularize Deep Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2106.09358v1
• Date: Thu, 17 Jun 2021 10:23:00 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-18 15:51:35.778822
• Title: ShuffleBlock: Shuffle to Regularize Deep Convolutional Neural Networks
• Title（参考訳）: ShuffleBlock: 深層畳み込みニューラルネットワークを正規化するShuffle
• Authors: Sudhakar Kumawat, Gagan Kanojia, and Shanmuganathan Raman
• Abstract要約: 本稿では,ディープ畳み込みネットワークにおける正規化手法としてのチャネルシャッフルの動作について検討する。 トレーニング中のチャネルのランダムシャッフルは性能を大幅に低下させるが、小さなパッチをランダムにシャッフルすると性能が大幅に向上することを示した。 ShuffleBlockモジュールは実装が容易で、CIFARとImageNetデータセットの画像分類タスクにおいて、いくつかのベースラインネットワークの性能を改善している。
• 参考スコア（独自算出の注目度）: 35.67192058479252
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Deep neural networks have enormous representational power which leads them to overfit on most datasets. Thus, regularizing them is important in order to reduce overfitting and enhance their generalization capabilities. Recently, channel shuffle operation has been introduced for mixing channels in group convolutions in resource efficient networks in order to reduce memory and computations. This paper studies the operation of channel shuffle as a regularization technique in deep convolutional networks. We show that while random shuffling of channels during training drastically reduce their performance, however, randomly shuffling small patches between channels significantly improves their performance. The patches to be shuffled are picked from the same spatial locations in the feature maps such that a patch, when transferred from one channel to another, acts as structured noise for the later channel. We call this method "ShuffleBlock". The proposed ShuffleBlock module is easy to implement and improves the performance of several baseline networks on the task of image classification on CIFAR and ImageNet datasets. It also achieves comparable and in many cases better performance than many other regularization methods. We provide several ablation studies on selecting various hyperparameters of the ShuffleBlock module and propose a new scheduling method that further enhances its performance.
• Abstract（参考訳）: ディープニューラルネットワークは膨大な表現力を持ち、ほとんどのデータセットに過剰に適合する。 したがって、オーバーフィッティングを減らし、その一般化能力を高めるためには、それらを正規化することが重要である。 近年,資源効率の良いネットワークにおけるグループ畳み込みのチャネルを混在させるチャネルシャッフル演算を導入し,メモリと計算量を削減する。 本稿では,深い畳み込みネットワークにおける正規化手法としてのチャネルシャッフルの動作について検討する。 トレーニング中のチャネルのランダムシャッフルは性能を大幅に低下させるが、チャネル間の小さなパッチをランダムにシャッフルすると性能が大幅に向上する。 シャッフルすべきパッチは、特徴マップ内の同じ空間位置から選択され、あるチャネルから別のチャネルに転送されたパッチは、後続のチャネルの構造化ノイズとして機能する。 私たちはこのメソッドを"ShuffleBlock"と呼びます。 提案するShuffleBlockモジュールは実装が容易で,CIFARおよびImageNetデータセットの画像分類タスクにおいて,ベースラインネットワークの性能を向上させる。 また、ほとんどの場合、他の多くの正規化手法よりも優れたパフォーマンスを達成する。 シャッフルブロックモジュールの様々なハイパーパラメータの選択に関するいくつかのアブレーション研究を行い、その性能をさらに向上させる新しいスケジューリング手法を提案する。

関連論文リスト

• Dynamic Shuffle: An Efficient Channel Mixture Method [8.720510396996142]
  我々は、シャッフルのためのデータ依存の置換行列を生成するための動的シャッフルモジュールを考案した。 画像分類ベンチマークによる実験結果から,ShuffleNetsの性能は有意に向上した。
  論文  参考訳（メタデータ） (2023-10-04T12:47:48Z)
• Revisiting Random Channel Pruning for Neural Network Compression [159.99002793644163]
  チャネル(または3Dフィルタ)プルーニングは、ニューラルネットワークの推論を加速する有効な方法である。 本稿では,ランダムな探索により,プルーンドモデルのチャネル構成を決定することを試みる。 この単純な戦略は、他のチャネルプルーニング手法と比較して非常にうまく機能することを示す。
  論文  参考訳（メタデータ） (2022-05-11T17:59:04Z)
• Group Fisher Pruning for Practical Network Compression [58.25776612812883]
  本稿では,様々な複雑な構造に応用可能な汎用チャネルプルーニング手法を提案する。 我々は、単一チャネルと結合チャネルの重要性を評価するために、フィッシャー情報に基づく統一されたメトリクスを導出する。 提案手法は,結合チャネルを含む任意の構造をプルークするために利用できる。
  論文  参考訳（メタデータ） (2021-08-02T08:21:44Z)
• Channel-Level Variable Quantization Network for Deep Image Compression [50.3174629451739]
  チャネルレベルの可変量子化ネットワークを提案し、重要なチャネルに対してより多くの畳み込みを動的に割り当て、無視可能なチャネルに対して退避する。 提案手法は優れた性能を実現し,より優れた視覚的再構成を実現する。
  論文  参考訳（メタデータ） (2020-07-15T07:20:39Z)
• Operation-Aware Soft Channel Pruning using Differentiable Masks [51.04085547997066]
  本稿では,データ駆動型アルゴリズムを提案する。このアルゴリズムは,操作特性を利用して,ディープニューラルネットワークを異なる方法で圧縮する。 我々は大規模な実験を行い、出力ネットワークの精度で優れた性能を達成する。
  論文  参考訳（メタデータ） (2020-07-08T07:44:00Z)
• Channel Compression: Rethinking Information Redundancy among Channels in CNN Architecture [3.3018563701013988]
  効率的な畳み込みニューラルネットワーク(CNN)の研究は、畳み込み計算を分解または最適化することによって特徴冗長性を取り除くことを目的としている。 本研究では,CNNアーキテクチャのチャネル間に特徴冗長性が存在すると仮定し,計算効率を高めるためのフリーウェイを提供する。 空間畳み込み, チャネルグループ化, プール操作の進展を受け入れるために, コンパクト畳み込みという新しい畳み込み構造を提案する。
  論文  参考訳（メタデータ） (2020-07-02T10:58:54Z)
• Multigrid-in-Channels Architectures for Wide Convolutional Neural Networks [6.929025509877642]
  本稿では,標準畳み込みニューラルネットワーク(CNN)のチャネル数に関して,パラメータ数の2次成長に対処するマルチグリッド手法を提案する。 教師付き画像分類の例では、この戦略を残差ネットワークに適用し、MobileNetV2は精度に悪影響を及ぼすことなくパラメータ数を著しく削減している。
  論文  参考訳（メタデータ） (2020-06-11T20:28:36Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Residual Shuffle-Exchange Networks for Fast Processing of Long Sequences [3.8848561367220276]
  本稿では,GELUとレイヤ正規化を用いた残差ネットワークに基づくShuffle-Exchangeネットワークの簡易かつ軽量なバージョンを提案する。 提案したアーキテクチャは, より長いシーケンスにスケールするだけでなく, より高速に収束し, 精度も向上する。 LAMBADA言語モデリングタスクのShuffle-Exchangeネットワークを超越し、MusicNetデータセットの最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2020-04-06T12:44:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。