論文の概要: Self-Reorganizing and Rejuvenating CNNs for Increasing Model Capacity Utilization

• arxiv url: http://arxiv.org/abs/2102.06870v1
• Date: Sat, 13 Feb 2021 06:19:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-17 06:44:40.524350
• Title: Self-Reorganizing and Rejuvenating CNNs for Increasing Model Capacity Utilization
• Title（参考訳）: モデル能力向上のための自己再生・若返りCNN
• Authors: Wissam J. Baddar, Seungju Han, Seonmin Rhee, Jae-Joon Han
• Abstract要約: 本稿では,ニューラルネットワークの計算資源利用を改善するための生物学的手法を提案する。 提案手法では,畳み込み層のチャネルアクティベーションを利用して,その層パラメータを再構成する。 再生されたパラメータは、再構成された生存パラメータから学んだことを補うために異なる特徴を学ぶ。
• 参考スコア（独自算出の注目度）: 8.661269034961679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we propose self-reorganizing and rejuvenating convolutional neural networks; a biologically inspired method for improving the computational resource utilization of neural networks. The proposed method utilizes the channel activations of a convolution layer in order to reorganize that layers parameters. The reorganized parameters are clustered to avoid parameter redundancies. As such, redundant neurons with similar activations are merged leaving room for the remaining parameters to rejuvenate. The rejuvenated parameters learn different features to supplement those learned by the reorganized surviving parameters. As a result, the network capacity utilization increases improving the baseline network performance without any changes to the network structure. The proposed method can be applied to various network architectures during the training stage, or applied to a pre-trained model improving its performance. Experimental results showed that the proposed method is model-agnostic and can be applied to any backbone architecture increasing its performance due to the elevated utilization of the network capacity.
• Abstract（参考訳）: 本稿では,ニューラルネットワークの計算資源利用を改善するための生物学的手法として,自己再構成・再生型畳み込みニューラルネットワークを提案する。 提案手法では,畳み込み層のチャネルアクティベーションを利用して,その層パラメータを再構成する。 再編成されたパラメータは、パラメータ冗長性を避けるためにクラスタ化される。 このように、類似の活性化を持つ冗長ニューロンは、残りのパラメータが回復する余地をマージする。 再生されたパラメータは、再構成された生存パラメータから学んだことを補うために異なる特徴を学ぶ。 その結果,ネットワークの容量利用はネットワーク構造を変えることなく,ベースラインネットワークの性能を向上させることができた。 提案手法は、トレーニング段階で様々なネットワークアーキテクチャに適用するか、その性能を向上させる事前トレーニングモデルに適用することができる。 実験の結果,提案手法はモデルに依存しず,ネットワーク容量の増大により性能が向上するバックボーンアーキテクチャに適用可能であることがわかった。

関連論文リスト

• Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
  本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。 本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
  論文  参考訳（メタデータ） (2024-06-03T07:44:37Z)
• Power-Enhanced Residual Network for Function Approximation and Physics-Informed Inverse Problems [0.0]
  本稿では、パワーエンハンシング残差ネットワークと呼ばれる新しいニューラルネットワーク構造を提案する。 2Dおよび3D設定におけるスムーズかつ非スムーズな関数近似のネットワーク機能を改善する。 その結果、特に非滑らか関数に対して、提案したパワーエンハンシング残差ネットワークの例外的精度を強調した。
  論文  参考訳（メタデータ） (2023-10-24T10:01:15Z)
• Reparameterization through Spatial Gradient Scaling [69.27487006953852]
  リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。 本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
  論文  参考訳（メタデータ） (2023-03-05T17:57:33Z)
• A Generic Shared Attention Mechanism for Various Backbone Neural Networks [53.36677373145012]
  自己注意モジュール(SAM)は、異なる層にまたがる強い相関した注意マップを生成する。 Dense-and-Implicit Attention (DIA)はSAMをレイヤ間で共有し、長期間のメモリモジュールを使用する。 我々のシンプルで効果的なDIAは、様々なネットワークバックボーンを一貫して拡張できます。
  論文  参考訳（メタデータ） (2022-10-27T13:24:08Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Clustering-Based Interpretation of Deep ReLU Network [17.234442722611803]
  我々はReLU関数の非線形挙動が自然なクラスタリングを引き起こすことを認識している。 本稿では,完全連結フィードフォワードReLUニューラルネットワークの解釈可能性を高める手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T09:24:11Z)
• Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
  そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。 提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。 また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
  論文  参考訳（メタデータ） (2021-02-03T09:30:45Z)
• Modeling from Features: a Mean-field Framework for Over-parameterized Deep Neural Networks [54.27962244835622]
  本稿では、オーバーパラメータ化ディープニューラルネットワーク(DNN)のための新しい平均場フレームワークを提案する。 このフレームワークでは、DNNは連続的な極限におけるその特徴に対する確率測度と関数によって表現される。 本稿では、標準DNNとResidual Network(Res-Net)アーキテクチャを通してフレームワークを説明する。
  論文  参考訳（メタデータ） (2020-07-03T01:37:16Z)
• Neural Parameter Allocation Search [57.190693718951316]
  ニューラルネットワークのトレーニングには、メモリの量を増やす必要がある。 既存の手法では、ネットワークには多くの同一層があり、一般化に失敗する手作りの共有戦略を利用する。 我々は、任意のパラメータ予算を与えられたニューラルネットワークをトレーニングする新しいタスクであるNPAS(Neural Allocation Search)を紹介する。 NPASは、コンパクトネットワークを創出する低予算体制と、推論FLOPを増大させることなく性能を高めるために、新たな高予算体制の両方をカバーしている。
  論文  参考訳（メタデータ） (2020-06-18T15:01:00Z)
• Lifted Regression/Reconstruction Networks [17.89437720094451]
  本稿では,リフレクション/リコンストラクションネットワーク(LRRN)を提案する。 LRRNは、昇降ニューラルネットワークと出力層に対する保証されたリプシッツ連続性特性を結合する。 教師なし・教師なし学習への応用を解析・数値的に実証する。
  論文  参考訳（メタデータ） (2020-05-07T13:24:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。