論文の概要: Reborn Mechanism: Rethinking the Negative Phase Information Flow in Convolutional Neural Network

• arxiv url: http://arxiv.org/abs/2106.07026v1
• Date: Sun, 13 Jun 2021 15:33:49 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 15:59:43.906604
• Title: Reborn Mechanism: Rethinking the Negative Phase Information Flow in Convolutional Neural Network
• Title（参考訳）: リボーンメカニズム:畳み込みニューラルネットワークにおける負相情報フローの再考
• Authors: Zhicheng Cai, Kaizhu Huang, Chenglei Peng
• Abstract要約: 本稿では、畳み込みニューラルネットワーク(CNN)のための新しい非線形活性化機構を提案する。 負の位相値を切り落とすReLUとは対照的に、リボーン機構は死んだ神経細胞を再構築する能力を楽しむ。
• 参考スコア（独自算出の注目度）: 14.929863072047318
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper proposes a novel nonlinear activation mechanism typically for convolutional neural network (CNN), named as reborn mechanism. In sharp contrast to ReLU which cuts off the negative phase value, the reborn mechanism enjoys the capacity to reborn and reconstruct dead neurons. Compared to other improved ReLU functions, reborn mechanism introduces a more proper way to utilize the negative phase information. Extensive experiments validate that this activation mechanism is able to enhance the model representation ability more significantly and make the better use of the input data information while maintaining the advantages of the original ReLU function. Moreover, reborn mechanism enables a non-symmetry that is hardly achieved by traditional CNNs and can act as a channel compensation method, offering competitive or even better performance but with fewer learned parameters than traditional methods. Reborn mechanism was tested on various benchmark datasets, all obtaining better performance than previous nonlinear activation functions.
• Abstract（参考訳）: 本稿では,畳み込みニューラルネットワーク(cnn)のための新しい非線形活性化機構を提案する。 負の位相値を切り離すReLUとは対照的に、リボーン機構は死んだ神経細胞の再生と再構築の能力を楽しむ。 他の改良されたReLU関数と比較して、リボーン機構は負の位相情報を利用するためのより適切な方法を導入する。 大規模な実験により、この活性化機構によりモデル表現能力が大幅に向上し、元のReLU関数の利点を維持しつつ入力データ情報の利用性が向上することが検証された。 さらに、リボーン機構は従来のCNNでは達成できない非対称性を実現し、チャネル補償手法として機能し、競争力や性能も向上するが、従来の手法よりも学習パラメータが少ない。 rebornメカニズムは様々なベンチマークデータセットでテストされ、いずれも以前の非線形アクティベーション関数よりも優れたパフォーマンスを得た。

関連論文リスト

• Self-Normalized Resets for Plasticity in Continual Learning [6.5990719141691825]
  SNR(Self-Normalized Resets)は、ニューロンの重みをリセットすることで可塑性損失を緩和する適応アルゴリズムである。 我々は,SNRが競合するアルゴリズムと比較して常に優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2024-10-26T06:47:13Z)
• Feedback Favors the Generalization of Neural ODEs [24.342023073252395]
  本稿では、フィードバックループがニューラル常微分方程式(ニューラルODE)の学習潜時ダイナミクスを柔軟に補正可能であることを示す。 フィードバックニューラルネットワークは、新しい2自由度ニューラルネットワークであり、前のタスクで精度が失われることなく、目に見えないシナリオで堅牢なパフォーマンスを持つ。
  論文  参考訳（メタデータ） (2024-10-14T08:09:45Z)
• Contrastive Learning in Memristor-based Neuromorphic Systems [55.11642177631929]
  スパイクニューラルネットワークは、現代のバックプロパゲーションによって訓練されたディープネットワークに直面する重要な制約の多くを横取りする、ニューロンベースのモデルの重要なファミリーとなっている。 本研究では,前向き・後向き学習のニューロモルフィック形式であるコントラッシブ・シグナル依存型塑性(CSDP)の概念実証を設計し,検討する。
  論文  参考訳（メタデータ） (2024-09-17T04:48:45Z)
• Spiking Neural Networks with Consistent Mapping Relations Allow High-Accuracy Inference [9.667807887916132]
  スパイクベースのニューロモルフィックハードウェアは、低エネルギー消費と効率的な推論において大きな可能性を証明している。 ディープスパイクニューラルネットワークの直接トレーニングは困難であり、変換ベースの手法では未解決の変換エラーのため、かなりの遅延が必要になる。
  論文  参考訳（メタデータ） (2024-06-08T06:40:00Z)
• Learn to Enhance the Negative Information in Convolutional Neural Network [6.910916428810853]
  本稿では、畳み込みニューラルネットワーク(CNN)をLENIと呼ぶ学習可能な非線形活性化機構を提案する。 負のニューロンを切断し「死のReLU」の問題に苦しむReLUとは対照的に、LENIは死んだ神経細胞を再構築し、情報損失を減らす能力を持っている。
  論文  参考訳（メタデータ） (2023-06-18T12:02:36Z)
• Spiking neural network for nonlinear regression [68.8204255655161]
  スパイクニューラルネットワークは、メモリとエネルギー消費を大幅に削減する可能性を持っている。 彼らは、次世代のニューロモルフィックハードウェアによって活用できる時間的および神経的疎結合を導入する。 スパイキングニューラルネットワークを用いた回帰フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-10-06T13:04:45Z)
• Can pruning improve certified robustness of neural networks? [106.03070538582222]
  ニューラルネット・プルーニングはディープ・ニューラル・ネットワーク(NN)の実証的ロバスト性を向上させることができることを示す。 実験の結果,NNを適切に刈り取ることで,その精度を8.2%まで向上させることができることがわかった。 さらに,認証された宝くじの存在が,従来の密集モデルの標準および認証された堅牢な精度に一致することを観察する。
  論文  参考訳（メタデータ） (2022-06-15T05:48:51Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Training Deep Spiking Auto-encoders without Bursting or Dying Neurons through Regularization [9.34612743192798]
  スパイクニューラルネットワークは、計算神経科学における次世代の脳モデルに対する有望なアプローチである。 膜電位に基づくバックプロパゲーションを用いたエンドツーエンド学習を、スパイクする畳み込みオートエンコーダに適用する。 膜電位とスパイク出力に正規化を適用することで、死と破裂の両方のニューロンをうまく回避できることを示す。
  論文  参考訳（メタデータ） (2021-09-22T21:27:40Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Lipschitz Recurrent Neural Networks [100.72827570987992]
  我々のリプシッツ再帰ユニットは、他の連続時間RNNと比較して、入力やパラメータの摂動に対してより堅牢であることを示す。 実験により,Lipschitz RNNは,ベンチマークタスクにおいて,既存のリカレントユニットよりも優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2020-06-22T08:44:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。