論文の概要: Learn to Enhance the Negative Information in Convolutional Neural
Network
- arxiv url: http://arxiv.org/abs/2306.10536v1
- Date: Sun, 18 Jun 2023 12:02:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 20:05:00.100664
- Title: Learn to Enhance the Negative Information in Convolutional Neural
Network
- Title（参考訳）: 畳み込みニューラルネットワークにおける負の情報強化の学習
- Authors: Zhicheng Cai, Chenglei Peng, Qiu Shen
- Abstract要約: 本稿では、畳み込みニューラルネットワーク(CNN)をLENIと呼ぶ学習可能な非線形活性化機構を提案する。
負のニューロンを切断し「死のReLU」の問題に苦しむReLUとは対照的に、LENIは死んだ神経細胞を再構築し、情報損失を減らす能力を持っている。
- 参考スコア（独自算出の注目度）: 6.910916428810853
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a learnable nonlinear activation mechanism specifically
for convolutional neural network (CNN) termed as LENI, which learns to enhance
the negative information in CNNs. In sharp contrast to ReLU which cuts off the
negative neurons and suffers from the issue of ''dying ReLU'', LENI enjoys the
capacity to reconstruct the dead neurons and reduce the information loss.
Compared to improved ReLUs, LENI introduces a learnable approach to process the
negative phase information more properly. In this way, LENI can enhance the
model representational capacity significantly while maintaining the original
advantages of ReLU. As a generic activation mechanism, LENI possesses the
property of portability and can be easily utilized in any CNN models through
simply replacing the activation layers with LENI block. Extensive experiments
validate that LENI can improve the performance of various baseline models on
various benchmark datasets by a clear margin (up to 1.24% higher top-1 accuracy
on ImageNet-1k) with negligible extra parameters. Further experiments show that
LENI can act as a channel compensation mechanism, offering competitive or even
better performance but with fewer learned parameters than baseline models. In
addition, LENI introduces the asymmetry to the model structure which
contributes to the enhancement of representational capacity. Through
visualization experiments, we validate that LENI can retain more information
and learn more representations.
- Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(CNN)に特化して学習可能な非線形活性化機構を提案する。
負のニューロンを切断し「死のReLU」の問題に苦しむReLUとは対照的に、LENIは死んだ神経細胞を再構築し、情報損失を減らす能力を持っている。
改良されたReLUと比較して、LENIは負相情報をより適切に処理するための学習可能なアプローチを導入している。
これにより、LENIはReLUの本来の利点を維持しつつ、モデル表現能力を大幅に向上させることができる。
汎用的なアクティベーションメカニズムとして、レニはポータビリティの特性を持ち、アクティベーション層を単にレニブロックに置き換えることで、任意のcnnモデルで容易に利用できる。
大規模な実験により、LENIは様々なベンチマークデータセット上の様々なベースラインモデルの性能を、明確なマージン(ImageNet-1kで最大1.24%高いトップ1精度)で、無視できる余分なパラメータで改善できることが確認された。
さらなる実験では、LENIがチャネル補償機構として機能し、競争力や性能が向上するが、ベースラインモデルよりも学習パラメータが少ないことが示されている。
さらに、LENIは表現能力の向上に寄与するモデル構造に非対称性を導入する。
可視化実験を通じて、LENIがより多くの情報を保持し、より多くの表現を学習できることを検証する。
関連論文リスト
- Understanding the Benefits of SimCLR Pre-Training in Two-Layer Convolutional Neural Networks [10.55004012983524]
SimCLRは視覚タスクのための最も一般的なコントラスト学習手法の1つである。
我々は、おもちゃの画像データモデルを学ぶために、2層畳み込みニューラルネットワーク(CNN)を訓練することを検討する。
ラベル付きデータ数のある条件下では,SimCLRの事前学習と教師付き微調整を組み合わせることで,ほぼ最適なテスト損失が得られることを示す。
論文 参考訳（メタデータ） (2024-09-27T12:19:41Z) - Forget but Recall: Incremental Latent Rectification in Continual Learning [21.600690867361617]
変化するデータストリームを継続的に学習する本質的な能力は、ディープニューラルネットワーク(DNN)のデシプラタムである
既存の継続学習アプローチは、リプレイの模範を保ち、学習を規則化し、あるいは新しいタスクに専用容量を割り当てる。
本稿では,Incrmental Latent Rectification (ILR) と呼ばれる,漸進学習のための未探索CL方向について検討する。
論文 参考訳（メタデータ） (2024-06-25T08:57:47Z) - U-KAN Makes Strong Backbone for Medical Image Segmentation and Generation [48.40120035775506]
Kolmogorov-Arnold Networks (KAN)は、非線形学習可能なアクティベーション関数のスタックを通じてニューラルネットワーク学習を再構築する。
トークン化中間表現であるU-KAN上に専用kan層を統合することにより,確立したU-Netパイプラインを検証,修正,再設計する。
さらに、拡散モデルにおける代替U-Netノイズ予測器としてのU-KANの可能性を探り、タスク指向モデルアーキテクチャの生成にその適用性を実証した。
論文 参考訳（メタデータ） (2024-06-05T04:13:03Z) - A Method on Searching Better Activation Functions [15.180864683908878]
深層ニューラルネットワークにおける静的活性化関数を設計するためのエントロピーに基づくアクティベーション関数最適化(EAFO)手法を提案する。
我々は、CRRELU(Correction Regularized ReLU)として知られるReLUから新しいアクティベーション関数を導出する。
論文 参考訳（メタデータ） (2024-05-19T03:48:05Z) - KLIF: An optimized spiking neuron unit for tuning surrogate gradient
slope and membrane potential [0.0]
スパイキングニューラルネットワーク(SNN)は、時間情報を処理する能力によって、多くの注目を集めている。
SNNのための効率的かつ高性能な学習アルゴリズムを開発することは依然として困難である。
我々は,SNNの学習能力を向上させるため,新しいk-based leaky Integrate-and-Fireneurnモデルを提案する。
論文 参考訳（メタデータ） (2023-02-18T05:18:18Z) - Distribution-sensitive Information Retention for Accurate Binary Neural
Network [49.971345958676196]
本稿では、前向きのアクティベーションと後向きの勾配の情報を保持するために、新しいDIR-Net(Distribution-sensitive Information Retention Network)を提案する。
我々のDIR-Netは、主流かつコンパクトなアーキテクチャの下で、SOTAバイナライゼーションアプローチよりも一貫して優れています。
我々は、実世界のリソース制限されたデバイス上でDIR-Netを行い、ストレージの11.1倍の節約と5.4倍のスピードアップを実現した。
論文 参考訳（メタデータ） (2021-09-25T10:59:39Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Reborn Mechanism: Rethinking the Negative Phase Information Flow in
Convolutional Neural Network [14.929863072047318]
本稿では、畳み込みニューラルネットワーク(CNN)のための新しい非線形活性化機構を提案する。
負の位相値を切り落とすReLUとは対照的に、リボーン機構は死んだ神経細胞を再構築する能力を楽しむ。
論文 参考訳（メタデータ） (2021-06-13T15:33:49Z) - Understanding Self-supervised Learning with Dual Deep Networks [74.92916579635336]
本稿では,2組の深層ReLUネットワークを用いたコントラスト型自己教師学習(SSL)手法を理解するための新しい枠組みを提案する。
種々の損失関数を持つSimCLRの各SGD更新において、各層の重みは共分散演算子によって更新されることを示す。
共分散演算子の役割と、そのようなプロセスでどのような特徴が学習されるかをさらに研究するために、我々は、階層的潜在木モデル(HLTM)を用いて、データ生成および増大過程をモデル化する。
論文 参考訳（メタデータ） (2020-10-01T17:51:49Z) - RIFLE: Backpropagation in Depth for Deep Transfer Learning through
Re-Initializing the Fully-connected LayEr [60.07531696857743]
事前訓練されたモデルを用いたディープ畳み込みニューラルネットワーク(CNN)の微調整は、より大きなデータセットから学習した知識をターゲットタスクに転送するのに役立つ。
転送学習環境におけるバックプロパゲーションを深める戦略であるRIFLEを提案する。
RIFLEは、深いCNN層の重み付けに意味のあるアップデートをもたらし、低レベルの機能学習を改善する。
論文 参考訳（メタデータ） (2020-07-07T11:27:43Z) - Iterative Network for Image Super-Resolution [69.07361550998318]
単一画像超解像(SISR)は、最近の畳み込みニューラルネットワーク(CNN)の発展により、大幅に活性化されている。
本稿では、従来のSISRアルゴリズムに関する新たな知見を提供し、反復最適化に依存するアプローチを提案する。
反復最適化の上に,新しい反復型超解像ネットワーク (ISRN) を提案する。
論文 参考訳（メタデータ） (2020-05-20T11:11:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。