論文の概要: Differentiable Generalised Predictive Coding
- arxiv url: http://arxiv.org/abs/2112.03378v2
- Date: Wed, 8 Dec 2021 20:06:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-12 15:15:01.988805
- Title: Differentiable Generalised Predictive Coding
- Title（参考訳）: 微分一般化予測符号化
- Authors: Andr\'e Ofner, Sebastian Stober
- Abstract要約: 本稿では,脳の機能を内部生成モデルの階層的洗練とみなすニューラルプロセス理論と相反する,微分可能な力学モデルについて述べる。
我々の研究は、勾配に基づく予測符号化の既存の実装を拡張し、非線形状態パラメータ化のためのディープニューラルネットワークを統合することができる。
- 参考スコア（独自算出の注目度）: 2.868176771215219
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper deals with differentiable dynamical models congruent with neural
process theories that cast brain function as the hierarchical refinement of an
internal generative model explaining observations. Our work extends existing
implementations of gradient-based predictive coding with automatic
differentiation and allows to integrate deep neural networks for non-linear
state parameterization. Gradient-based predictive coding optimises inferred
states and weights locally in for each layer by optimising precision-weighted
prediction errors that propagate from stimuli towards latent states.
Predictions flow backwards, from latent states towards lower layers. The model
suggested here optimises hierarchical and dynamical predictions of latent
states. Hierarchical predictions encode expected content and hierarchical
structure. Dynamical predictions capture changes in the encoded content along
with higher order derivatives. Hierarchical and dynamical predictions interact
and address different aspects of the same latent states. We apply the model to
various perception and planning tasks on sequential data and show their mutual
dependence. In particular, we demonstrate how learning sampling distances in
parallel address meaningful locations data sampled at discrete time steps. We
discuss possibilities to relax the assumption of linear hierarchies in favor of
more flexible graph structure with emergent properties. We compare the granular
structure of the model with canonical microcircuits describing predictive
coding in biological networks and review the connection to Markov Blankets as a
tool to characterize modularity. A final section sketches out ideas for
efficient perception and planning in nested spatio-temporal hierarchies.
- Abstract（参考訳）: 本稿では,脳の機能を内部生成モデルの階層的洗練とみなすニューラルプロセス理論と相反する,微分可能な力学モデルについて述べる。
我々の研究は、勾配に基づく予測符号化の既存の実装を自動微分で拡張し、非線形状態パラメータ化のためのディープニューラルネットワークの統合を可能にする。
勾配に基づく予測符号化は、刺激から潜伏状態へ伝播する精度重み付き予測誤差を最適化することにより、各層に対する推定状態と重みを局所的に最適化する。
予測は潜伏状態から低い層へと逆向きに流れる。
ここで提案するモデルは、潜在状態の階層的および動的予測を最適化する。
階層的予測は期待内容と階層構造を符号化する。
動的予測は高次微分とともに符号化された内容の変化を捉える。
階層的および動的予測は、同じ潜在状態の異なる側面と相互作用し、対処する。
逐次データに対する様々な知覚・計画タスクにモデルを適用し,相互依存度を示す。
特に、離散時間ステップでサンプリングされたデータに対して、並列アドレスにおけるサンプリング距離の学習方法を示す。
線形階層の仮定を緩和し、創発特性を持つより柔軟なグラフ構造を支持する可能性について議論する。
モデルの粒度構造を生体ネットワークにおける予測符号化を記述する標準マイクロ回路と比較し,モジュール性を特徴づけるツールとしてマルコフ・ブランケッツとの接続をレビューする。
最後に、ネストした時空間階層における効率的な知覚と計画のためのアイデアをスケッチする。
関連論文リスト
- Trajectory Forecasting through Low-Rank Adaptation of Discrete Latent Codes [36.12653178844828]
トラジェクトリ予測は、一連のエージェントの将来の動きを予測できるため、ビデオ監視分析に不可欠である。
本稿では,離散潜在空間を用いたベクトル量子変分オートエンコーダ(VQ-VAEs)を導入し,後方崩壊問題に対処する。
このような2段階のフレームワークは、インスタンスレベルの離散化によって強化され、正確で多様な予測につながることを示す。
論文 参考訳（メタデータ） (2024-05-31T10:13:17Z) - PDSketch: Integrated Planning Domain Programming and Learning [86.07442931141637]
我々は PDSketch という新しいドメイン定義言語を提案する。
これにより、ユーザーはトランジションモデルで柔軟にハイレベルな構造を定義できる。
移行モデルの詳細は、トレーニング可能なニューラルネットワークによって満たされる。
論文 参考訳（メタデータ） (2023-03-09T18:54:12Z) - A predictive physics-aware hybrid reduced order model for reacting flows [65.73506571113623]
反応流問題の解法として,新しいハイブリッド型予測次数モデル (ROM) を提案する。
自由度は、数千の時間的点から、対応する時間的係数を持ついくつかのPODモードへと減少する。
時間係数を予測するために、2つの異なるディープラーニングアーキテクチャがテストされている。
論文 参考訳（メタデータ） (2023-01-24T08:39:20Z) - Distributed Bayesian Learning of Dynamic States [65.7870637855531]
提案アルゴリズムは有限状態隠れマルコフモデルに対する分散ベイズフィルタタスクである。
逐次状態推定や、動的環境下でのソーシャルネットワーク上での意見形成のモデル化に使用できる。
論文 参考訳（メタデータ） (2022-12-05T19:40:17Z) - Developing hierarchical anticipations via neural network-based event
segmentation [14.059479351946386]
我々は、自律的に学習された潜在イベントコードによる階層的予測の開発をモデル化する。
本稿では,学習バイアスが緩やかに変化する潜在状態の発達を促進する階層的再帰型ニューラルネットワークアーキテクチャを提案する。
より高いレベルのネットワークは、潜伏状態が変化しがちな状況を予測することを学ぶ。
論文 参考訳（メタデータ） (2022-06-04T18:54:31Z) - Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。
我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
論文 参考訳（メタデータ） (2022-04-05T12:52:45Z) - Predictive coding, precision and natural gradients [2.1601966913620325]
学習精度の高い階層型予測符号化ネットワークは,教師あり学習課題や教師なし学習課題を解くことができることを示す。
イメージ入力の教師なし自動符号化に適用すると、決定論的ネットワークは階層的に整理され、非絡み合った埋め込みを生成する。
論文 参考訳（メタデータ） (2021-11-12T21:05:03Z) - Variational Predictive Routing with Nested Subjective Timescales [1.6114012813668934]
本稿では,時間的階層に潜む映像の特徴を整理するニューラル推論システムである変動予測ルーティング(PRV)を提案する。
VPRはイベント境界を検出し、時間的特徴を分散させ、データの動的階層に適応し、未来の正確な時間に依存しないロールアウトを生成することができることを示す。
論文 参考訳（メタデータ） (2021-10-21T16:12:59Z) - PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive
Learning [109.84770951839289]
歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。
本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
論文 参考訳（メタデータ） (2021-03-17T08:28:30Z) - Hierarchical regularization networks for sparsification based learning
on noisy datasets [0.0]
階層は、連続的により微細なスケールで特定される近似空間から従う。
各スケールでのモデル一般化を促進するため,複数次元にわたる新規な射影型ペナルティ演算子も導入する。
その結果、合成データセットと実データセットの両方において、データ削減およびモデリング戦略としてのアプローチの性能が示された。
論文 参考訳（メタデータ） (2020-06-09T18:32:24Z) - Dynamic Hierarchical Mimicking Towards Consistent Optimization
Objectives [73.15276998621582]
一般化能力を高めたCNN訓練を推進するための汎用的特徴学習機構を提案する。
DSNに部分的にインスパイアされた私たちは、ニューラルネットワークの中間層から微妙に設計されたサイドブランチをフォークしました。
カテゴリ認識タスクとインスタンス認識タスクの両方の実験により,提案手法の大幅な改善が示された。
論文 参考訳（メタデータ） (2020-03-24T09:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。