論文の概要: Pyramidal Predictive Network: A Model for Visual-frame Prediction Based
on Predictive Coding Theory
- arxiv url: http://arxiv.org/abs/2208.07021v1
- Date: Mon, 15 Aug 2022 06:28:34 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-16 13:19:56.604938
- Title: Pyramidal Predictive Network: A Model for Visual-frame Prediction Based
on Predictive Coding Theory
- Title（参考訳）: ピラミッド型予測ネットワーク:予測符号化理論に基づくビジュアルフレーム予測モデル
- Authors: Chaofan Ling, Junpei Zhong and Weihua Li
- Abstract要約: 本稿では,視覚的フレーム予測のためのニューラルネットワークモデルを提案する。
このモデルは、トップダウンストリームとボトムアップストリームを形成する一連の繰り返しおよび畳み込みユニットで構成されている。
ネットワークの各レイヤにConvLSTMを配置し、トップからダウンまでの局所的な予測を行う。
- 参考スコア（独自算出の注目度）: 1.4610038284393165
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Inspired by the well-known predictive coding theory in cognitive science, we
propose a novel neural network model for the task of visual-frame prediction.
In this paper, our main work is to combine the theoretical framework of
predictive coding and deep learning architectures, to design an efficient
predictive network model for visual-frame prediction. The model is composed of
a series of recurrent and convolutional units forming the top-down and
bottom-up streams, respectively. It learns to predict future frames in a visual
sequence, with ConvLSTMs on each layer in the network making local prediction
from top to down. The main innovation of our model is that the update frequency
of neural units on each of the layer decreases with the increasing of network
levels, which results in the model appears like a pyramid from the perspective
of time dimension, so we call it the Pyramid Predictive Network (PPNet).
Particularly, this pyramid-like design is consistent to the neuronal activities
in the neuroscience findings involved in the predictive coding framework.
According to the experimental results, this model shows better compactness and
comparable predictive performance with existing works, implying lower
computational cost and higher prediction accuracy. Code will be available at
https://github.com/Ling-CF/PPNet.
- Abstract（参考訳）: 認知科学におけるよく知られた予測符号化理論に着想を得て,視覚フレーム予測のためのニューラルネットワークモデルを提案する。
本稿では,ビジュアルフレーム予測のための効率的な予測ネットワークモデルを設計するために,予測符号化とディープラーニングアーキテクチャの理論的枠組みを組み合わせることを目的とする。
このモデルは、それぞれトップダウンストリームとボトムアップストリームを形成する一連の繰り返しユニットと畳み込みユニットで構成されている。
ネットワークの各レイヤのconvlstmを使って、視覚シーケンスで将来のフレームを予測し、トップからダウンへの局所的な予測を行う。
我々のモデルの主な革新は、ネットワークレベルの増加に伴い、各層上の神経単位の更新頻度が減少し、結果としてモデルが時間次元の観点からピラミッドのように見え、これをピラミッド予測ネットワーク(ppnet)と呼ぶことである。
特に、このピラミッドのようなデザインは、予測符号化フレームワークにかかわる神経科学の知見のニューロン活動と一致している。
実験結果によると, このモデルでは, 計算コストの低減と予測精度の向上を示唆し, 既存の作業と同等の圧縮性と予測性能を示す。
コードはhttps://github.com/Ling-CF/PPNet.comから入手できる。
関連論文リスト
- A Dynamical Model of Neural Scaling Laws [79.59705237659547]
ネットワークトレーニングと一般化の解決可能なモデルとして,勾配降下で訓練されたランダムな特徴モデルを分析する。
我々の理論は、データの繰り返し再利用により、トレーニングとテスト損失のギャップが徐々に増大することを示している。
論文 参考訳（メタデータ） (2024-02-02T01:41:38Z) - Predictive Coding Based Multiscale Network with Encoder-Decoder LSTM for
Video Prediction [1.2537993038844142]
将来のビデオフレーム予測のためのマルチスケール予測符号化モデルを提案する。
我々のモデルは、より高レベルなニューロンが粗い予測(より低解像度)を生成するマルチスケールアプローチ(粗から微細)を採用している。
本稿では,長期予測における予測誤差の蓄積を軽減するためのトレーニング戦略のいくつかの改善を提案する。
論文 参考訳（メタデータ） (2022-12-22T12:15:37Z) - Boosted Dynamic Neural Networks [53.559833501288146]
典型的なEDNNは、ネットワークバックボーンの異なる層に複数の予測ヘッドを持つ。
モデルを最適化するために、これらの予測ヘッドとネットワークバックボーンは、トレーニングデータのバッチ毎にトレーニングされる。
トレーニングと2つのフェーズでのインプットの異なるテストは、トレーニングとデータ分散のテストのミスマッチを引き起こす。
EDNNを勾配強化にインスパイアされた付加モデルとして定式化し、モデルを効果的に最適化するための複数のトレーニング手法を提案する。
論文 参考訳（メタデータ） (2022-11-30T04:23:12Z) - NCTV: Neural Clamping Toolkit and Visualization for Neural Network
Calibration [66.22668336495175]
ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。
我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
論文 参考訳（メタデータ） (2022-11-29T15:03:05Z) - NAR-Former: Neural Architecture Representation Learning towards Holistic
Attributes Prediction [37.357949900603295]
本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。
実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
論文 参考訳（メタデータ） (2022-11-15T10:15:21Z) - An advanced spatio-temporal convolutional recurrent neural network for
storm surge predictions [73.4962254843935]
本研究では, 人工ニューラルネットワークモデルを用いて, 嵐の軌跡/規模/強度履歴に基づいて, 強風をエミュレートする能力について検討する。
本研究では, 人工嵐シミュレーションのデータベースを用いて, 強風を予測できるニューラルネットワークモデルを提案する。
論文 参考訳（メタデータ） (2022-04-18T23:42:18Z) - Neural Capacitance: A New Perspective of Neural Network Selection via
Edge Dynamics [85.31710759801705]
現在の実践は、性能予測のためのモデルトレーニングにおいて高価な計算コストを必要とする。
本稿では,学習中のシナプス接続(エッジ)上の制御ダイナミクスを解析し,ニューラルネットワーク選択のための新しいフレームワークを提案する。
我々のフレームワークは、ニューラルネットワークトレーニング中のバックプロパゲーションがシナプス接続の動的進化と等価であるという事実に基づいて構築されている。
論文 参考訳（メタデータ） (2022-01-11T20:53:15Z) - Predify: Augmenting deep neural networks with brain-inspired predictive
coding dynamics [0.5284812806199193]
我々は神経科学の一般的な枠組みからインスピレーションを得た:「予測コーディング」
本稿では、この戦略をVGG16とEfficientNetB0という2つの人気ネットワークに実装することで、様々な汚職に対する堅牢性を向上させることを示す。
論文 参考訳（メタデータ） (2021-06-04T22:48:13Z) - Perceptron Theory Can Predict the Accuracy of Neural Networks [6.136302173351179]
多層ニューラルネットワークは、多くの技術的分類問題に対する技術の現状を定めている。
しかし、これらのネットワークは基本的にはブラックボックスであり、分析してパフォーマンスを予測する。
本稿では, 1層パーセプトロンの統計的理論を開発し, 驚くほど多種多様なニューラルネットワークの性能を予測できることを示す。
論文 参考訳（メタデータ） (2020-12-14T19:02:26Z) - The Neural Coding Framework for Learning Generative Models [91.0357317238509]
本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。
同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
論文 参考訳（メタデータ） (2020-12-07T01:20:38Z) - Hierarchical Predictive Coding Models in a Deep-Learning Framework [1.370633147306388]
予測符号化の最もよく知られたモデルをいくつかレビューする。
また、これらのモデルをディープラーニングフレームワークに組み込もうとする最近の試みについても調査する。
論文 参考訳（メタデータ） (2020-05-07T03:39:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。