論文の概要: IC Networks: Remodeling the Basic Unit for Convolutional Neural Networks

• arxiv url: http://arxiv.org/abs/2102.03495v1
• Date: Sat, 6 Feb 2021 03:15:43 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 15:44:15.890073
• Title: IC Networks: Remodeling the Basic Unit for Convolutional Neural Networks
• Title（参考訳）: IC Networks: 畳み込みニューラルネットワークの基本ユニットを改造
• Authors: Junyi An and Fengshan Liu and Jian Zhao and Furao Shen
• Abstract要約: 既存のCNNにIC構造を組み込んで性能を向上することができる。 ICネットワークのトレーニングを高速化するために,新しいトレーニング手法,すなわち弱いロジット蒸留(WLD)を提案する。 ImageNetの実験では、IC構造をResNet-50に統合し、トップ1エラーを22.38%から21.75%に削減した。
• 参考スコア（独自算出の注目度）: 8.218732270970381
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional neural network (CNN) is a class of artificial neural networks widely used in computer vision tasks. Most CNNs achieve excellent performance by stacking certain types of basic units. In addition to increasing the depth and width of the network, designing more effective basic units has become an important research topic. Inspired by the elastic collision model in physics, we present a general structure which can be integrated into the existing CNNs to improve their performance. We term it the "Inter-layer Collision" (IC) structure. Compared to the traditional convolution structure, the IC structure introduces nonlinearity and feature recalibration in the linear convolution operation, which can capture more fine-grained features. In addition, a new training method, namely weak logit distillation (WLD), is proposed to speed up the training of IC networks by extracting knowledge from pre-trained basic models. In the ImageNet experiment, we integrate the IC structure into ResNet-50 and reduce the top-1 error from 22.38% to 21.75%, which also catches up the top-1 error of ResNet-100 (21.75%) with nearly half of FLOPs.
• Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンタスクで広く使用されている人工ニューラルネットワークのクラスです。 ほとんどのCNNは、ある種の基本ユニットを積み重ねることで優れた性能を発揮する。 ネットワークの深さと幅の増大に加え、より効果的な基本ユニットの設計が重要な研究トピックとなっている。 物理学における弾性衝突モデルに着想を得て,既存のcnnと統合して性能を向上させる汎用構造を提案する。 これを"Inter-layer Collision"(IC)構造と呼ぶ。 従来の畳み込み構造と比較して、IC構造はより微細な特徴を捉えることができる線形畳み込み演算において非線形性や特徴再構成を導入している。 また, 基礎モデルから知識を抽出し, icネットワークの学習を高速化するために, 弱ロジット蒸留法 (wld) という新しい訓練法が提案されている。 ImageNetの実験では、IC構造をResNet-50に統合し、トップ1エラーを22.38%から21.75%に削減した。

関連論文リスト

• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Optimizing Convolutional Neural Network Architecture [0.0]
  畳み込みニューラルネットワーク(CNN)は、音声認識や自然言語処理、コンピュータビジョンといった課題に直面するために広く使われている。 我々は,プルーニングと知識蒸留に基づく新しいCNN最適化と構築手法であるOCNNAを提案する。 提案手法は,20以上の畳み込みニューラルネットワークの単純化アルゴリズムと比較し,優れた結果を得た。
  論文  参考訳（メタデータ） (2023-12-17T12:23:11Z)
• A Generalization of Continuous Relaxation in Structured Pruning [0.3277163122167434]
  トレンドは、パラメータが増加するより深い、より大きなニューラルネットワークが、より小さなニューラルネットワークよりも高い精度を達成することを示している。 ネットワーク拡張, プルーニング, サブネットワーク崩壊, 削除のためのアルゴリズムを用いて, 構造化プルーニングを一般化する。 結果のCNNは計算コストのかかるスパース行列演算を使わずにGPUハードウェア上で効率的に実行される。
  論文  参考訳（メタデータ） (2023-08-28T14:19:13Z)
• Receptive Field Refinement for Convolutional Neural Networks Reliably Improves Predictive Performance [1.52292571922932]
  本稿では,このような理論的および経験的性能向上をもたらす受容場解析への新たなアプローチを提案する。 我々のアプローチは、広く知られたSOTA(State-of-the-art)モデルクラスにおいて、ImageNet1Kのパフォーマンスを改善することができる。
  論文  参考訳（メタデータ） (2022-11-26T05:27:44Z)
• EAPruning: Evolutionary Pruning for Vision Transformers and CNNs [11.994217333212736]
  我々は、視覚変換器と畳み込みニューラルネットワークの両方に容易に適用可能な、シンプルで効果的なアプローチを採っている。 ResNet50とMobileNetV1の50%のFLOPS削減を実現し,それぞれ1.37倍,1.34倍の高速化を実現した。
  論文  参考訳（メタデータ） (2022-10-01T03:38:56Z)
• Neural Capacitance: A New Perspective of Neural Network Selection via Edge Dynamics [85.31710759801705]
  現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。 本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。 我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
  論文  参考訳（メタデータ） (2022-01-11T20:53:15Z)
• Simultaneous Training of Partially Masked Neural Networks [67.19481956584465]
  トレーニングされたフルネットワークから事前定義された'コア'サブネットワークを分割して,優れたパフォーマンスでニューラルネットワークをトレーニングすることが可能であることを示す。 低ランクコアを用いたトランスフォーマーのトレーニングは,低ランクモデル単独のトレーニングよりも優れた性能を有する低ランクモデルが得られることを示す。
  論文  参考訳（メタデータ） (2021-06-16T15:57:51Z)
• Binary Graph Neural Networks [69.51765073772226]
  グラフニューラルネットワーク(gnns)は、不規則データに対する表現学習のための強力で柔軟なフレームワークとして登場した。 本稿では,グラフニューラルネットワークのバイナライゼーションのための異なる戦略を提示し,評価する。 モデルの慎重な設計とトレーニングプロセスの制御によって、バイナリグラフニューラルネットワークは、挑戦的なベンチマークの精度において、適度なコストでトレーニングできることを示しています。
  論文  参考訳（メタデータ） (2020-12-31T18:48:58Z)
• Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
  畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。 この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-08-06T04:38:38Z)
• Channel Equilibrium Networks for Learning Deep Representation [63.76618960820138]
  この研究は正規化と正則線型関数の組み合わせがチャネルを阻害することを示している。 阻害されたチャネルを単に取り除いた先行技術とは異なり、我々は、新しいニューラルネットワークビルディングブロックを設計することで、トレーニング中に「目を覚ます」ことを提案する。 Channel Equilibrium (CE) ブロックは、同じレイヤのチャネルが学習した表現に等しく寄与することを可能にする。
  論文  参考訳（メタデータ） (2020-02-29T09:02:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。