論文の概要: Learning in Feedforward Neural Networks Accelerated by Transfer Entropy
- arxiv url: http://arxiv.org/abs/2104.14616v1
- Date: Thu, 29 Apr 2021 19:07:07 GMT
- ステータス: 処理完了
- システム内更新日: 2021-05-04 03:39:35.375440
- Title: Learning in Feedforward Neural Networks Accelerated by Transfer Entropy
- Title（参考訳）: 伝達エントロピーによるフィードフォワードニューラルネットワークの学習
- Authors: Adrian Moldovan and Angel Ca\c{t}aron and R\u{a}zvan Andonie
- Abstract要約: 転送エントロピー(te)は当初、事象(時系列)間の統計的コヒーレンスを定量化する情報伝達尺度として導入された。
提案手法は,フィードフォワードニューラルネットワークのノード間の情報伝達を解析するための情報理論的手法である。
本稿では,TEフィードバック接続を用いたバックプロパゲーション型トレーニングアルゴリズムを提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Current neural networks architectures are many times harder to train because
of the increasing size and complexity of the used datasets. Our objective is to
design more efficient training algorithms utilizing causal relationships
inferred from neural networks. The transfer entropy (TE) was initially
introduced as an information transfer measure used to quantify the statistical
coherence between events (time series). Later, it was related to causality,
even if they are not the same. There are only few papers reporting applications
of causality or TE in neural networks. Our contribution is an
information-theoretical method for analyzing information transfer between the
nodes of feedforward neural networks. The information transfer is measured by
the TE of feedback neural connections. Intuitively, TE measures the relevance
of a connection in the network and the feedback amplifies this connection. We
introduce a backpropagation type training algorithm that uses TE feedback
connections to improve its performance.
- Abstract（参考訳）: 現在のニューラルネットワークアーキテクチャは、使用されるデータセットのサイズと複雑さが増加するため、トレーニングが困難である。
我々の目標は、ニューラルネットワークから推定される因果関係を利用したより効率的なトレーニングアルゴリズムを設計することである。
転送エントロピー(te)は当初、事象(時系列)間の統計的コヒーレンスを定量化する情報伝達尺度として導入された。
その後、たとえ同じでなくても因果関係に関係していた。
ニューラルネットワークにおける因果性やTEの適用を報告している論文は少ない。
我々の貢献は、フィードフォワードニューラルネットワークのノード間の情報伝達を分析する情報理論である。
情報伝達は、フィードバック神経接続のteによって測定される。
直感的には、teはネットワーク内の接続の関連性を測定し、フィードバックはこの接続を増幅する。
本稿では,TEフィードバック接続を用いたバックプロパゲーション型トレーニングアルゴリズムを提案する。
関連論文リスト
- Opening the Black Box: predicting the trainability of deep neural networks with reconstruction entropy [0.0]
本稿では,ディープフィードフォワードニューラルネットワークのパラメータ空間におけるトレーニング可能な状態を予測する手法を提案する。
MNISTとCIFAR10の両方のデータセットに対して、トレーニングの1つのエポックが、ディープフィードフォワードネットワークのトレーニング可能性を予測するのに十分であることを示す。
論文 参考訳（メタデータ） (2024-06-13T18:00:05Z) - Learning in Convolutional Neural Networks Accelerated by Transfer Entropy [0.0]
フィードフォワードネットワークでは、トランスファーエントロピー(TE)を使用して、異なる層に位置するニューロン出力ペア間の関係を定量化することができる。
TEフィードバック接続を統合したCNNアーキテクチャのための新しいトレーニング機構を提案する。
論文 参考訳（メタデータ） (2024-04-03T13:31:49Z) - Assessing Neural Network Representations During Training Using
Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。
データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。
本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
論文 参考訳（メタデータ） (2023-12-04T01:32:42Z) - Solving Large-scale Spatial Problems with Convolutional Neural Networks [88.31876586547848]
大規模空間問題に対する学習効率を向上させるために移動学習を用いる。
畳み込みニューラルネットワーク (CNN) は, 信号の小さな窓で訓練できるが, 性能劣化の少ない任意の大信号で評価できる。
論文 参考訳（メタデータ） (2023-06-14T01:24:42Z) - Statistical Physics of Deep Neural Networks: Initialization toward
Optimal Channels [6.144858413112823]
ディープラーニングでは、ニューラルネットワークは入力データとその表現の間のノイズの多いチャネルとして機能する。
ニューラルネットワークが最適なチャネルに内在する可能性について,よく見過ごされる可能性について検討する。
論文 参考訳（メタデータ） (2022-12-04T05:13:01Z) - Neural networks trained with SGD learn distributions of increasing
complexity [78.30235086565388]
勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。
その後、トレーニング中にのみ高次の統計を利用する。
本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
論文 参考訳（メタデータ） (2022-11-21T15:27:22Z) - Rewiring Networks for Graph Neural Network Training Using Discrete
Geometry [0.0]
情報オーバースカッシングはグラフニューラルネットワーク(GNN)のトレーニングに大きな影響を与える問題である
本稿では,ネットワーク上の情報の流れをモデル化し,それらを再構成するために,古典幾何学的な曲率の概念の離散アナログを用いて検討する。
これらの古典的概念は、様々な実世界のネットワークデータセット上でのGNNトレーニング精度において、最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2022-07-16T21:50:39Z) - Decomposing neural networks as mappings of correlation functions [57.52754806616669]
本研究では,ディープフィードフォワードネットワークによって実装された確率分布のマッピングについて検討する。
ニューラルネットワークで使用できる異なる情報表現と同様に、データに不可欠な統計を識別する。
論文 参考訳（メタデータ） (2022-02-10T09:30:31Z) - Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。
データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
論文 参考訳（メタデータ） (2022-02-01T17:11:13Z) - Implicit recurrent networks: A novel approach to stationary input
processing with recurrent neural networks in deep learning [0.0]
本研究では,ニューラルネットの新たな実装を深層学習に導入し,検証する。
繰り返しネットワークの暗黙的な実装にバックプロパゲーションアルゴリズムを実装するアルゴリズムを提案する。
シングルレイヤの暗黙的リカレントネットワークはXOR問題を解くことができ、一方、単調に活性化関数が増加するフィードフォワードネットワークは、このタスクで失敗する。
論文 参考訳（メタデータ） (2020-10-20T18:55:32Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。