論文の概要: Deep Predictive Coding with Bi-directional Propagation for
Classification and Reconstruction
- arxiv url: http://arxiv.org/abs/2305.18472v1
- Date: Mon, 29 May 2023 10:17:13 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 20:35:24.003766
- Title: Deep Predictive Coding with Bi-directional Propagation for
Classification and Reconstruction
- Title（参考訳）: 双方向伝搬による深部予測符号化による分類と再構成
- Authors: Senhui Qiu, Saugat Bhattacharyya, Damien Coyle, Shirin Dora
- Abstract要約: 本稿では,DBPC(Deep Bi-directional Predictive Coding)と呼ばれる新しい学習アルゴリズムを提案する。
DBPCにより、開発ネットワークは同じ重みを使って、分類と再構築を同時に行うことができる。
MNISTデータセットとFashionMNISTデータセットを用いて,DBPCの性能評価を行った。
- 参考スコア（独自算出の注目度）: 1.4480964546077346
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper presents a new learning algorithm, termed Deep Bi-directional
Predictive Coding (DBPC) that allows developing networks to simultaneously
perform classification and reconstruction tasks using the same weights.
Predictive Coding (PC) has emerged as a prominent theory underlying information
processing in the brain. The general concept for learning in PC is that each
layer learns to predict the activities of neurons in the previous layer which
enables local computation of error and in-parallel learning across layers. In
this paper, we extend existing PC approaches by developing a network which
supports both feedforward and feedback propagation of information. Each layer
in the networks trained using DBPC learn to predict the activities of neurons
in the previous and next layer which allows the network to simultaneously
perform classification and reconstruction tasks using feedforward and feedback
propagation, respectively. DBPC also relies on locally available information
for learning, thus enabling in-parallel learning across all layers in the
network. The proposed approach has been developed for training both, fully
connected networks and convolutional neural networks. The performance of DBPC
has been evaluated on both, classification and reconstruction tasks using the
MNIST and FashionMNIST datasets. The classification and the reconstruction
performance of networks trained using DBPC is similar to other approaches used
for comparison but DBPC uses a significantly smaller network. Further, the
significant benefit of DBPC is its ability to achieve this performance using
locally available information and in-parallel learning mechanisms which results
in an efficient training protocol. This results clearly indicate that DBPC is a
much more efficient approach for developing networks that can simultaneously
perform both classification and reconstruction.
- Abstract（参考訳）: 本稿では,開発ネットワークが同一の重みで分類と再構築を同時に行うことを可能にする,深双方向予測符号化(dbpc)と呼ばれる新しい学習アルゴリズムを提案する。
予測符号化(PC)は脳の情報処理の基礎となる顕著な理論である。
pcでの学習の一般的な概念は、各層が前の層におけるニューロンの活動を予測することを学び、エラーの局所的な計算とレイヤー間の並列学習を可能にすることである。
本稿では,情報のフィードフォワードとフィードバックの両方をサポートするネットワークを構築することにより,既存のpcアプローチを拡張する。
DBPCを用いてトレーニングされたネットワークの各レイヤは、前層と次層のニューロンの活動を予測することを学習し、それぞれフィードフォワードとフィードバックの伝搬を用いて分類と再構築を同時に行うことができる。
DBPCはまた、学習のためにローカルに利用可能な情報にも依存しているため、ネットワーク内のすべてのレイヤにわたって並列学習を可能にする。
提案手法は,完全連結ネットワークと畳み込みニューラルネットワークの両方を訓練するために開発された。
dbpcの性能は、mnist と fashionmnist データセットを用いた分類と再構成のタスクの両方で評価されている。
DBPCを用いてトレーニングしたネットワークの分類と再構築性能は、比較に用いる他のアプローチと似ているが、DBPCはネットワークをはるかに小さくしている。
さらに、DBPCの利点は、ローカルで利用可能な情報と効率的なトレーニングプロトコルをもたらす並列学習機構を用いて、この性能を実現する能力である。
この結果から,DBPCは分類と再構築を同時に行うネットワーク開発において,より効率的なアプローチであることが示唆された。
関連論文リスト
- Predictive Coding Networks and Inference Learning: Tutorial and Survey [0.7510165488300368]
予測符号化ネットワーク(PCN)は、予測符号化の神経科学的な枠組みに基づいている。
バックプロパゲーション(BP)で訓練された従来のニューラルネットワークとは異なり、PCNは推論学習(IL)を利用する。
本質的に確率的(グラフィック的)潜在変数モデルとして、PCNは教師付き学習と教師なし(生成的)モデリングの両方に汎用的なフレームワークを提供する。
論文 参考訳（メタデータ） (2024-07-04T18:39:20Z) - An intertwined neural network model for EEG classification in
brain-computer interfaces [0.6696153817334769]
脳コンピュータインタフェース(BCI)は、脳とコンピュータまたは外部装置との間の非刺激的直接的、時折双方向通信リンクである。
マルチクラスモータ画像分類における最先端性能を実現するために特別に設計されたディープニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-08-04T09:00:34Z) - Biologically Plausible Training of Deep Neural Networks Using a Top-down
Credit Assignment Network [32.575847142016585]
トップダウン・クレジット・アサインメント・ネットワーク(TDCA-network)は、トップダウン・クレジット・アサインメント・ネットワーク(TDCA-network)を用いてボトムアップ・ネットワークを訓練するように設計されている。
TDCAネットワークは、ニューラルネットワークトレーニングで広く使われている従来の損失関数とバックプロパゲーションアルゴリズムの代用として機能する。
その結果、TDCA-networkは様々なデータセットでニューラルネットワークをトレーニングする有望な可能性を示唆している。
論文 参考訳（メタデータ） (2022-08-01T07:14:37Z) - Learning on Arbitrary Graph Topologies via Predictive Coding [38.761663028090204]
任意のグラフトポロジで推論と学習を行うために,予測符号化がどのように使用できるかを示す。
我々は、PCグラフと呼ばれるこの定式化が、同じネットワークで異なるタスクを柔軟に実行するためにどのように使用できるかを実験的に示す。
論文 参考訳（メタデータ） (2022-01-31T12:43:22Z) - Distributed Learning for Time-varying Networks: A Scalable Design [13.657740129012804]
本稿では,スケーラブルなディープニューラルネットワーク(DNN)設計に基づく分散学習フレームワークを提案する。
学習タスクの置換等価性と不変性を利用することで、異なるスケールのクライアントに対して異なるスケールのDNNを構築することができる。
モデルアグリゲーションはこれらの2つのサブマトリクスに基づいて行うことができ、学習の収束と性能を改善することができる。
論文 参考訳（メタデータ） (2021-07-31T12:44:28Z) - Learning Structures for Deep Neural Networks [99.8331363309895]
我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。
スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。
公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
論文 参考訳（メタデータ） (2021-05-27T12:27:24Z) - Joint Learning of Neural Transfer and Architecture Adaptation for Image
Recognition [77.95361323613147]
現在の最先端の視覚認識システムは、大規模データセット上でニューラルネットワークを事前トレーニングし、より小さなデータセットでネットワーク重みを微調整することに依存している。
本稿では,各ドメインタスクに適応したネットワークアーキテクチャの動的適応と,効率と効率の両面で重みの微調整の利点を実証する。
本手法は,ソースドメインタスクでスーパーネットトレーニングを自己教師付き学習に置き換え,下流タスクで線形評価を行うことにより,教師なしパラダイムに容易に一般化することができる。
論文 参考訳（メタデータ） (2021-03-31T08:15:17Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Local Critic Training for Model-Parallel Learning of Deep Neural
Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。
提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。
また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文 参考訳（メタデータ） (2021-02-03T09:30:45Z) - Understanding the Effects of Data Parallelism and Sparsity on Neural
Network Training [126.49572353148262]
ニューラルネットワークトレーニングにおける2つの要因として,データ並列性と疎性について検討する。
有望なメリットにもかかわらず、ニューラルネットワークトレーニングに対する彼らの影響を理解することは、依然として明白である。
論文 参考訳（メタデータ） (2020-03-25T10:49:22Z) - Large-Scale Gradient-Free Deep Learning with Recursive Local
Representation Alignment [84.57874289554839]
大規模データセット上でディープニューラルネットワークをトレーニングするには、重要なハードウェアリソースが必要である。
これらのネットワークをトレーニングするためのワークホースであるバックプロパゲーションは、本質的に並列化が難しいシーケンシャルなプロセスである。
本稿では、深層ネットワークのトレーニングに使用できるバックプロップに代わる、神経生物学的に有望な代替手段を提案する。
論文 参考訳（メタデータ） (2020-02-10T16:20:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。