論文の概要: Reborn Mechanism: Rethinking the Negative Phase Information Flow in
Convolutional Neural Network
- arxiv url: http://arxiv.org/abs/2106.07026v1
- Date: Sun, 13 Jun 2021 15:33:49 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-15 15:59:43.906604
- Title: Reborn Mechanism: Rethinking the Negative Phase Information Flow in
Convolutional Neural Network
- Title(参考訳): リボーンメカニズム:畳み込みニューラルネットワークにおける負相情報フローの再考
- Authors: Zhicheng Cai, Kaizhu Huang, Chenglei Peng
- Abstract要約: 本稿では、畳み込みニューラルネットワーク(CNN)のための新しい非線形活性化機構を提案する。
負の位相値を切り落とすReLUとは対照的に、リボーン機構は死んだ神経細胞を再構築する能力を楽しむ。
- 参考スコア(独自算出の注目度): 14.929863072047318
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper proposes a novel nonlinear activation mechanism typically for
convolutional neural network (CNN), named as reborn mechanism. In sharp
contrast to ReLU which cuts off the negative phase value, the reborn mechanism
enjoys the capacity to reborn and reconstruct dead neurons. Compared to other
improved ReLU functions, reborn mechanism introduces a more proper way to
utilize the negative phase information. Extensive experiments validate that
this activation mechanism is able to enhance the model representation ability
more significantly and make the better use of the input data information while
maintaining the advantages of the original ReLU function. Moreover, reborn
mechanism enables a non-symmetry that is hardly achieved by traditional CNNs
and can act as a channel compensation method, offering competitive or even
better performance but with fewer learned parameters than traditional methods.
Reborn mechanism was tested on various benchmark datasets, all obtaining better
performance than previous nonlinear activation functions.
- Abstract(参考訳): 本稿では,畳み込みニューラルネットワーク(cnn)のための新しい非線形活性化機構を提案する。
負の位相値を切り離すReLUとは対照的に、リボーン機構は死んだ神経細胞の再生と再構築の能力を楽しむ。
他の改良されたReLU関数と比較して、リボーン機構は負の位相情報を利用するためのより適切な方法を導入する。
大規模な実験により、この活性化機構によりモデル表現能力が大幅に向上し、元のReLU関数の利点を維持しつつ入力データ情報の利用性が向上することが検証された。
さらに、リボーン機構は従来のCNNでは達成できない非対称性を実現し、チャネル補償手法として機能し、競争力や性能も向上するが、従来の手法よりも学習パラメータが少ない。
rebornメカニズムは様々なベンチマークデータセットでテストされ、いずれも以前の非線形アクティベーション関数よりも優れたパフォーマンスを得た。
関連論文リスト
- Learn to Enhance the Negative Information in Convolutional Neural
Network [6.910916428810853]
本稿では、畳み込みニューラルネットワーク(CNN)をLENIと呼ぶ学習可能な非線形活性化機構を提案する。
負のニューロンを切断し「死のReLU」の問題に苦しむReLUとは対照的に、LENIは死んだ神経細胞を再構築し、情報損失を減らす能力を持っている。
論文 参考訳(メタデータ) (2023-06-18T12:02:36Z) - Neural network with optimal neuron activation functions based on
additive Gaussian process regression [0.0]
より柔軟なニューロン活性化機能により、より少ない神経細胞や層を使用でき、表現力を向上させることができる。
加算ガウス過程回帰(GPR)は各ニューロンに特異的な最適なニューロン活性化関数を構築するのに有効であることを示す。
ニューラルネットワークパラメータの非線形フィッティングを回避するアプローチも導入されている。
論文 参考訳(メタデータ) (2023-01-13T14:19:17Z) - A Neural-Network-Based Convex Regularizer for Inverse Problems [14.571246114579468]
画像再構成問題を解決するためのディープラーニング手法は、再構築品質を大幅に向上させた。
これらの新しい手法は信頼性と説明性に欠けることが多く、これらの欠点に対処する関心が高まっている。
本研究では,凸リッジ関数の和である正則化器を再検討することにより,この問題に対処する。
このような正規化器の勾配は、活性化関数が増加し学習可能な単一の隠蔽層を持つニューラルネットワークによってパラメータ化される。
論文 参考訳(メタデータ) (2022-11-22T18:19:10Z) - Spiking neural network for nonlinear regression [68.8204255655161]
スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。
彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。
スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
論文 参考訳(メタデータ) (2022-10-06T13:04:45Z) - Neural Clamping: Joint Input Perturbation and Temperature Scaling for
Neural Network Calibration [74.43215520371506]
我々はニューラルクランプ法と呼ばれる新しい後処理キャリブレーション法を提案する。
実験の結果,Neural Clampingは最先端の処理後のキャリブレーション法よりも優れていた。
論文 参考訳(メタデータ) (2022-09-23T14:18:39Z) - Can pruning improve certified robustness of neural networks? [106.03070538582222]
ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。
実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。
さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
論文 参考訳(メタデータ) (2022-06-15T05:48:51Z) - Universal Transformer Hawkes Process with Adaptive Recursive Iteration [4.624987488467739]
非同期イベントシーケンスは、自然界に広く分布し、地震記録、ソーシャルメディアでのユーザ活動など人間の活動も行われている。
これらの不規則なデータから情報を抽出する方法は、研究者が注目する永続的なトピックである。
最も有用なモデルの1つは点過程モデルであり、それに基づいて、研究者は多くの顕著な結果を得る。
近年、ニューラルネットワークの基礎となるポイントプロセスモデル、特にリカレントニューラルネットワーク(RNN)が提案され、従来のモデルと比較され、その性能が大幅に向上している。
論文 参考訳(メタデータ) (2021-12-29T09:55:12Z) - Training Feedback Spiking Neural Networks by Implicit Differentiation on
the Equilibrium State [66.2457134675891]
スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。
既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。
本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
論文 参考訳(メタデータ) (2021-09-29T07:46:54Z) - Training Deep Spiking Auto-encoders without Bursting or Dying Neurons
through Regularization [9.34612743192798]
スパイクニューラルネットワークは、計算神経科学における次世代の脳モデルに対する有望なアプローチである。
膜電位に基づくバックプロパゲーションを用いたエンドツーエンド学習を、スパイクする畳み込みオートエンコーダに適用する。
膜電位とスパイク出力に正規化を適用することで、死と破裂の両方のニューロンをうまく回避できることを示す。
論文 参考訳(メタデータ) (2021-09-22T21:27:40Z) - Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。
アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。
本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
論文 参考訳(メタデータ) (2020-10-02T15:21:37Z) - Lipschitz Recurrent Neural Networks [100.72827570987992]
我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。
実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
論文 参考訳(メタデータ) (2020-06-22T08:44:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。