論文の概要: Learn to Enhance the Negative Information in Convolutional Neural
Network
- arxiv url: http://arxiv.org/abs/2306.10536v1
- Date: Sun, 18 Jun 2023 12:02:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 20:05:00.100664
- Title: Learn to Enhance the Negative Information in Convolutional Neural
Network
- Title(参考訳): 畳み込みニューラルネットワークにおける負の情報強化の学習
- Authors: Zhicheng Cai, Chenglei Peng, Qiu Shen
- Abstract要約: 本稿では、畳み込みニューラルネットワーク(CNN)をLENIと呼ぶ学習可能な非線形活性化機構を提案する。
負のニューロンを切断し「死のReLU」の問題に苦しむReLUとは対照的に、LENIは死んだ神経細胞を再構築し、情報損失を減らす能力を持っている。
- 参考スコア(独自算出の注目度): 6.910916428810853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a learnable nonlinear activation mechanism specifically
for convolutional neural network (CNN) termed as LENI, which learns to enhance
the negative information in CNNs. In sharp contrast to ReLU which cuts off the
negative neurons and suffers from the issue of ''dying ReLU'', LENI enjoys the
capacity to reconstruct the dead neurons and reduce the information loss.
Compared to improved ReLUs, LENI introduces a learnable approach to process the
negative phase information more properly. In this way, LENI can enhance the
model representational capacity significantly while maintaining the original
advantages of ReLU. As a generic activation mechanism, LENI possesses the
property of portability and can be easily utilized in any CNN models through
simply replacing the activation layers with LENI block. Extensive experiments
validate that LENI can improve the performance of various baseline models on
various benchmark datasets by a clear margin (up to 1.24% higher top-1 accuracy
on ImageNet-1k) with negligible extra parameters. Further experiments show that
LENI can act as a channel compensation mechanism, offering competitive or even
better performance but with fewer learned parameters than baseline models. In
addition, LENI introduces the asymmetry to the model structure which
contributes to the enhancement of representational capacity. Through
visualization experiments, we validate that LENI can retain more information
and learn more representations.
- Abstract(参考訳): 本稿では,畳み込みニューラルネットワーク(CNN)に特化して学習可能な非線形活性化機構を提案する。
負のニューロンを切断し「死のReLU」の問題に苦しむReLUとは対照的に、LENIは死んだ神経細胞を再構築し、情報損失を減らす能力を持っている。
改良されたReLUと比較して、LENIは負相情報をより適切に処理するための学習可能なアプローチを導入している。
これにより、LENIはReLUの本来の利点を維持しつつ、モデル表現能力を大幅に向上させることができる。
汎用的なアクティベーションメカニズムとして、レニはポータビリティの特性を持ち、アクティベーション層を単にレニブロックに置き換えることで、任意のcnnモデルで容易に利用できる。
大規模な実験により、LENIは様々なベンチマークデータセット上の様々なベースラインモデルの性能を、明確なマージン(ImageNet-1kで最大1.24%高いトップ1精度)で、無視できる余分なパラメータで改善できることが確認された。
さらなる実験では、LENIがチャネル補償機構として機能し、競争力や性能が向上するが、ベースラインモデルよりも学習パラメータが少ないことが示されている。
さらに、LENIは表現能力の向上に寄与するモデル構造に非対称性を導入する。
可視化実験を通じて、LENIがより多くの情報を保持し、より多くの表現を学習できることを検証する。
関連論文リスト
- Why do Learning Rates Transfer? Reconciling Optimization and Scaling
Limits for Deep Learning [77.82908213345864]
学習速度伝達が$mu$Pとその深さ拡張の下では、トレーニング損失Hessianの最大の固有値がネットワークの幅と深さに大きく依存しているという事実から、経験的証拠が得られている。
ニューラル・タンジェント・カーネル(NTK)体制下では、シャープネスは異なるスケールで非常に異なるダイナミクスを示し、学習速度の伝達を妨げている。
論文 参考訳(メタデータ) (2024-02-27T12:28:01Z) - Neural Characteristic Activation Value Analysis for Improved ReLU
Network Feature Learning [2.6832500767373735]
本研究では、ニューラルネットワークにおける個々のReLUユニットの特性活性化値について検討する。
本稿では、そのような特性活性化値に対応する入力位置の集合を、ReLUユニットの特性活性化セットとして参照する。
論文 参考訳(メタデータ) (2023-05-25T10:19:13Z) - ReLU soothes the NTK condition number and accelerates optimization for
wide neural networks [9.374151703899047]
ReLUは、類似したデータを分離し、ニューラル・タンジェント・カーネル(NTK)の条件付けを改善する。
以上の結果から,ReLUの活性化とReLUネットワークの深度は勾配勾配収束率の向上に寄与することが示唆された。
論文 参考訳(メタデータ) (2023-05-15T17:22:26Z) - KLIF: An optimized spiking neuron unit for tuning surrogate gradient
slope and membrane potential [0.0]
スパイキングニューラルネットワーク(SNN)は、時間情報を処理する能力によって、多くの注目を集めている。
SNNのための効率的かつ高性能な学習アルゴリズムを開発することは依然として困難である。
我々は,SNNの学習能力を向上させるため,新しいk-based leaky Integrate-and-Fireneurnモデルを提案する。
論文 参考訳(メタデータ) (2023-02-18T05:18:18Z) - Layer-wise Shared Attention Network on Dynamical System Perspective [69.45492795788167]
本稿では,複数のネットワーク層にまたがって単一の注目モジュールを共有するDIAユニットという,新規かつ簡易なフレームワークを提案する。
当社のフレームワークでは,パラメータコストはレイヤ数とは無関係であり,既存の自己注意モジュールの精度をさらに向上する。
論文 参考訳(メタデータ) (2022-10-27T13:24:08Z) - Distribution-sensitive Information Retention for Accurate Binary Neural
Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。
我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。
我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文 参考訳(メタデータ) (2021-09-25T10:59:39Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳(メタデータ) (2021-06-17T17:26:31Z) - Reborn Mechanism: Rethinking the Negative Phase Information Flow in
Convolutional Neural Network [14.929863072047318]
本稿では、畳み込みニューラルネットワーク(CNN)のための新しい非線形活性化機構を提案する。
負の位相値を切り落とすReLUとは対照的に、リボーン機構は死んだ神経細胞を再構築する能力を楽しむ。
論文 参考訳(メタデータ) (2021-06-13T15:33:49Z) - Self-Organized Operational Neural Networks for Severe Image Restoration
Problems [25.838282412957675]
畳み込みニューラルネットワーク(CNN)に基づく離散学習は、ノイズとクリーンのイメージペアのトレーニング例から学習することで、画像復元を行うことを目的としている。
これは畳み込みに基づく変換の本質的な線形性によるものであり、深刻な復元問題に対処するには不十分である。
画像復元のための自己組織型ONN(Self-ONN)を提案する。
論文 参考訳(メタデータ) (2020-08-29T02:19:41Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳(メタデータ) (2020-07-07T11:27:43Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳(メタデータ) (2020-05-20T11:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。