論文の概要: Collaboration between parallel connected neural networks -- A possible criterion for distinguishing artificial neural networks from natural organs

• arxiv url: http://arxiv.org/abs/2208.09983v1
• Date: Sun, 21 Aug 2022 23:18:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 12:18:25.745042
• Title: Collaboration between parallel connected neural networks -- A possible criterion for distinguishing artificial neural networks from natural organs
• Title（参考訳）: 並列接続型ニューラルネットワークの協調 -- 人工ニューラルネットワークと自然臓器の区別基準の可能性
• Authors: Guang Ping He
• Abstract要約: 人工ニューラルネットワークが並列に接続され、一緒に訓練された場合、以下の特性が示される。 これらの性質は、天然の生物学的感覚器官にはありそうにない。 さらに、活性化関数として機能する場合、ReLU関数は、シグモイドやTanh関数よりも、人工ニューラルネットワークをよりバイオニックにすることができることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We find experimentally that when artificial neural networks are connected in parallel and trained together, they display the following properties. (i) When the parallel-connected neural network (PNN) is optimized, each sub-network in the connection is not optimized. (ii) The contribution of an inferior sub-network to the whole PNN can be on par with that of the superior sub-network. (iii) The PNN can output the correct result even when all sub-networks give incorrect results. These properties are unlikely for natural biological sense organs. Therefore, they could serve as a simple yet effective criterion for measuring the bionic level of neural networks. With this criterion, we further show that when serving as the activation function, the ReLU function can make an artificial neural network more bionic than the sigmoid and Tanh functions do.
• Abstract（参考訳）: 実験により, ニューラルネットワークが並列に接続され, 共に訓練された場合, 以下の特性を示すことがわかった。 i) 並列接続ニューラルネットワーク(PNN)が最適化されると、接続内の各サブネットワークは最適化されない。 (II)PNN全体に対する下位サブネットワークの寄与は、上位サブネットワークのそれと同程度である。 三)PNNは、すべてのサブネットワークが不正な結果を与えた場合でも、正しい結果を出力することができる。 これらの性質は、自然の生物学的感覚器官にはあり得ない。 したがって、ニューラルネットワークのバイオニックレベルを測定するための、単純で効果的な基準として機能することができる。 この基準により、活性化関数として機能する場合、ReLU関数はシグモイドやTanh関数よりも、人工ニューラルネットワークをよりバイオニックにすることができることを示す。

関連論文リスト

• Recurrent Neural Networks Learn to Store and Generate Sequences using Non-Linear Representations [54.17275171325324]
  線形表現仮説(LRH)に対する反例を提示する。 入力トークンシーケンスを繰り返すように訓練されると、ニューラルネットワークは、方向ではなく、特定の順序で各位置のトークンを表現することを学ぶ。 これらの結果は、解釈可能性の研究はLRHに限定されるべきでないことを強く示唆している。
  論文  参考訳（メタデータ） (2024-08-20T15:04:37Z)
• Expressivity of Spiking Neural Networks [15.181458163440634]
  本研究では,ニューロンの発射時間内に情報を符号化したスパイクニューラルネットワークの能力について検討する。 ReLUネットワークとは対照的に、スパイクニューラルネットワークは連続関数と不連続関数の両方を実現することができる。
  論文  参考訳（メタデータ） (2023-08-16T08:45:53Z)
• Extrapolation and Spectral Bias of Neural Nets with Hadamard Product: a Polynomial Net Study [55.12108376616355]
  NTKの研究は典型的なニューラルネットワークアーキテクチャに特化しているが、アダマール製品(NNs-Hp)を用いたニューラルネットワークには不完全である。 本研究では,ニューラルネットワークの特別なクラスであるNNs-Hpに対する有限幅Kの定式化を導出する。 我々は,カーネル回帰予測器と関連するNTKとの等価性を証明し,NTKの適用範囲を拡大する。
  論文  参考訳（メタデータ） (2022-09-16T06:36:06Z)
• Linear Leaky-Integrate-and-Fire Neuron Model Based Spiking Neural Networks and Its Mapping Relationship to Deep Neural Networks [7.840247953745616]
  スパイキングニューラルネットワーク(SNN)は、生物学的可視性や教師なし学習能力など、脳にインスパイアされた機械学習アルゴリズムである。 本稿では,リニアリーキー・インテグレート・アンド・ファイア・モデル(LIF/SNN)の生物学的パラメータとReLU-AN/Deep Neural Networks(DNN)のパラメータとの正確な数学的マッピングを確立する。
  論文  参考訳（メタデータ） (2022-05-31T17:02:26Z)
• Optimal Learning Rates of Deep Convolutional Neural Networks: Additive Ridge Functions [19.762318115851617]
  深部畳み込みニューラルネットワークにおける平均2乗誤差解析について考察する。 付加的なリッジ関数に対しては、畳み込みニューラルネットワークとReLUアクティベーション関数を併用した1つの完全連結層が最適極小値に到達できることが示される。
  論文  参考訳（メタデータ） (2022-02-24T14:22:32Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Deep Kronecker neural networks: A general framework for neural networks with adaptive activation functions [4.932130498861987]
  我々は,適応的アクティベーション機能を持つニューラルネットワークの汎用フレームワークとして,新しいタイプのニューラルネットワークKronecker Neural Network(KNN)を提案する。 適切な条件下では、KNNはフィードフォワードネットワークによる損失よりも早く損失を減少させる。
  論文  参考訳（メタデータ） (2021-05-20T04:54:57Z)
• A biologically plausible neural network for multi-channel Canonical Correlation Analysis [12.940770779756482]
  皮質錐体ニューロンは、複数の神経集団から入力を受け取り、これらの入力を別々の樹状体区画に統合する。 我々は,生物学的に妥当なニューラルネットワークで実装可能なマルチチャネルCAAアルゴリズムを提案する。 生物学的信頼性のためには、ネットワークはオンライン環境で動作し、シナプス更新ルールはローカルである必要がある。
  論文  参考訳（メタデータ） (2020-10-01T16:17:53Z)
• Exploiting Heterogeneity in Operational Neural Networks by Synaptic Plasticity [87.32169414230822]
  最近提案されたネットワークモデルであるオペレーショナルニューラルネットワーク(ONN)は、従来の畳み込みニューラルネットワーク(CNN)を一般化することができる。 本研究では, 生体ニューロンにおける本質的な学習理論を示すSynaptic Plasticityパラダイムに基づいて, ネットワークの隠蔽ニューロンに対する最強演算子集合の探索に焦点をあてる。 高難易度問題に対する実験結果から、神経細胞や層が少なくても、GISベースのONNよりも優れた学習性能が得られることが示された。
  論文  参考訳（メタデータ） (2020-08-21T19:03:23Z)
• Towards Understanding Hierarchical Learning: Benefits of Neural Representations [160.33479656108926]
  この研究で、中間的神経表現がニューラルネットワークにさらなる柔軟性をもたらすことを実証する。 提案手法は, 生の入力と比較して, サンプルの複雑度を向上できることを示す。 この結果から, 深度が深層学習においてなぜ重要かという新たな視点が得られた。
  論文  参考訳（メタデータ） (2020-06-24T02:44:54Z)
• Non-linear Neurons with Human-like Apical Dendrite Activations [81.18416067005538]
  XOR論理関数を100%精度で学習し, 標準的なニューロンに後続のアピーカルデンドライト活性化(ADA)が認められた。 コンピュータビジョン,信号処理,自然言語処理の6つのベンチマークデータセットについて実験を行った。
  論文  参考訳（メタデータ） (2020-02-02T21:09:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。