論文の概要: Learning in Convolutional Neural Networks Accelerated by Transfer Entropy

• arxiv url: http://arxiv.org/abs/2404.02943v1
• Date: Wed, 3 Apr 2024 13:31:49 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 18:54:31.488961
• Title: Learning in Convolutional Neural Networks Accelerated by Transfer Entropy
• Title（参考訳）: 伝達エントロピーによる畳み込みニューラルネットワークの学習
• Authors: Adrian Moldovan, Angel Caţaron, Răzvan Andonie,
• Abstract要約: フィードフォワードネットワークでは、トランスファーエントロピー(TE)を使用して、異なる層に位置するニューロン出力ペア間の関係を定量化することができる。 TEフィードバック接続を統合したCNNアーキテクチャのための新しいトレーニング機構を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, there is a growing interest in applying Transfer Entropy (TE) in quantifying the effective connectivity between artificial neurons. In a feedforward network, the TE can be used to quantify the relationships between neuron output pairs located in different layers. Our focus is on how to include the TE in the learning mechanisms of a Convolutional Neural Network (CNN) architecture. We introduce a novel training mechanism for CNN architectures which integrates the TE feedback connections. Adding the TE feedback parameter accelerates the training process, as fewer epochs are needed. On the flip side, it adds computational overhead to each epoch. According to our experiments on CNN classifiers, to achieve a reasonable computational overhead--accuracy trade-off, it is efficient to consider only the inter-neural information transfer of a random subset of the neuron pairs from the last two fully connected layers. The TE acts as a smoothing factor, generating stability and becoming active only periodically, not after processing each input sample. Therefore, we can consider the TE is in our model a slowly changing meta-parameter.
• Abstract（参考訳）: 近年,人工ニューロン間の効率的な接続の定量化にTransfer Entropy (TE)を適用することへの関心が高まっている。 フィードフォワードネットワークでは、TEを使用して異なる層に位置するニューロン出力ペア間の関係を定量化することができる。 我々の焦点は、畳み込みニューラルネットワーク(CNN)アーキテクチャの学習メカニズムにTEを組み込む方法である。 TEフィードバック接続を統合したCNNアーキテクチャのための新しいトレーニング機構を提案する。 TEフィードバックパラメータを追加することで、エポックが少なくなるため、トレーニングプロセスが加速する。 逆に、各エポックに計算オーバーヘッドを追加する。 CNN分類器の実験によると、正確な計算オーバーヘッドを実現するために、最後の2つの完全連結層からニューロン対のランダムなサブセットの神経間情報伝達のみを考慮するのが効率的である。 TEは、各入力サンプルを処理した後ではなく、スムージングファクタとして機能し、安定性を発生し、周期的にのみアクティブとなる。 したがって、TEは我々のモデルでは徐々に変化するメタパラメータであると考えることができる。

関連論文リスト

• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Sensitivity-Based Layer Insertion for Residual and Feedforward Neural Networks [0.3831327965422187]
  ニューラルネットワークのトレーニングには、面倒でしばしば手動でネットワークアーキテクチャをチューニングする必要がある。 トレーニングプロセス中に新しいレイヤを挿入する体系的手法を提案する。
  論文  参考訳（メタデータ） (2023-11-27T16:44:13Z)
• Co-learning synaptic delays, weights and adaptation in spiking neural networks [0.0]
  スパイキングニューラルネットワーク(SNN)は、固有の時間処理とスパイクベースの計算のため、人工知能ニューラルネットワーク(ANN)と区別する。 スパイクニューロンを用いたデータ処理は、他の2つの生物学的にインスピレーションを受けたニューロンの特徴と接続重みを協調学習することで向上できることを示す。
  論文  参考訳（メタデータ） (2023-09-12T09:13:26Z)
• Speed Limits for Deep Learning [67.69149326107103]
  熱力学の最近の進歩は、初期重量分布から完全に訓練されたネットワークの最終分布への移動速度の制限を可能にする。 線形および線形化可能なニューラルネットワークに対して,これらの速度制限に対する解析式を提供する。 NTKスペクトルとラベルのスペクトル分解に関するいくつかの妥当なスケーリング仮定を考えると、学習はスケーリングの意味で最適である。
  論文  参考訳（メタデータ） (2023-07-27T06:59:46Z)
• Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
  大規模空間問題に対する学習効率を向上させるために移動学習を用いる。 畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
  論文  参考訳（メタデータ） (2023-06-14T01:24:42Z)
• Training Feedback Spiking Neural Networks by Implicit Differentiation on the Equilibrium State [66.2457134675891]
  スパイキングニューラルネットワーク(英: Spiking Neural Network、SNN)は、ニューロモルフィックハードウェア上でエネルギー効率の高い実装を可能にする脳にインスパイアされたモデルである。 既存のほとんどの手法は、人工ニューラルネットワークのバックプロパゲーションフレームワークとフィードフォワードアーキテクチャを模倣している。 本稿では,フォワード計算の正逆性に依存しない新しいトレーニング手法を提案する。
  論文  参考訳（メタデータ） (2021-09-29T07:46:54Z)
• Self-Supervised Learning of Event-Based Optical Flow with Spiking Neural Networks [3.7384509727711923]
  ニューロモルフィックコンピューティングの大きな課題は、従来の人工ニューラルネットワーク(ANN)の学習アルゴリズムがスパイクニューラルネットワーク(SNN)に直接転送されないことである。 本稿では,イベントベースカメラ入力からの光フロー推定における自己教師型学習問題に着目した。 提案するANNとSNNの性能は,自己教師型で訓練された現在の最先端のANNと同等であることを示す。
  論文  参考訳（メタデータ） (2021-06-03T14:03:41Z)
• Partitioned Deep Learning of Fluid-Structure Interaction [0.0]
  流体構造相互作用(FSI)問題の学習のための分割ニューラルネットワークベースのフレームワークを提案する。 ライブラリは、境界データ通信、データマッピング、方程式結合を扱う2つのネットワークを結合するために使用される。 弾性管内の1d流体の流れをシミュレーションするための古典的な数値法と、提案された枠組みの結果との間に非常に良好な一致を観察する。
  論文  参考訳（メタデータ） (2021-05-14T12:09:03Z)
• Learning in Feedforward Neural Networks Accelerated by Transfer Entropy [0.0]
  転送エントロピー(te)は当初、事象(時系列)間の統計的コヒーレンスを定量化する情報伝達尺度として導入された。 提案手法は,フィードフォワードニューラルネットワークのノード間の情報伝達を解析するための情報理論的手法である。 本稿では,TEフィードバック接続を用いたバックプロパゲーション型トレーニングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-04-29T19:07:07Z)
• Progressive Tandem Learning for Pattern Recognition with Deep Spiking Neural Networks [80.15411508088522]
  スパイキングニューラルネットワーク(SNN)は、低レイテンシと高い計算効率のために、従来の人工知能ニューラルネットワーク(ANN)よりも優位性を示している。 高速かつ効率的なパターン認識のための新しいANN-to-SNN変換およびレイヤワイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-02T15:38:44Z)
• Flexible Transmitter Network [84.90891046882213]
  現在のニューラルネットワークはMPモデルに基づいて構築されており、通常はニューロンを他のニューロンから受信した信号の実際の重み付け集約上での活性化関数の実行として定式化する。 本稿では,フレキシブル・トランスミッタ(FT)モデルを提案する。 本稿では、最も一般的な完全接続型フィードフォワードアーキテクチャ上に構築された、フレキシブルトランスミッタネットワーク(FTNet)について述べる。
  論文  参考訳（メタデータ） (2020-04-08T06:55:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。