論文の概要: Hierarchical Predictive Coding Models in a Deep-Learning Framework

• arxiv url: http://arxiv.org/abs/2005.03230v2
• Date: Wed, 23 Sep 2020 00:42:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 22:21:18.121476
• Title: Hierarchical Predictive Coding Models in a Deep-Learning Framework
• Title（参考訳）: ディープラーニングフレームワークにおける階層的予測符号化モデル
• Authors: Matin Hosseini, Anthony Maida
• Abstract要約: 予測符号化の最もよく知られたモデルをいくつかレビューする。 また、これらのモデルをディープラーニングフレームワークに組み込もうとする最近の試みについても調査する。
• 参考スコア（独自算出の注目度）: 1.370633147306388
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian predictive coding is a putative neuromorphic method for acquiring higher-level neural representations to account for sensory input. Although originating in the neuroscience community, there are also efforts in the machine learning community to study these models. This paper reviews some of the more well known models. Our review analyzes module connectivity and patterns of information transfer, seeking to find general principles used across the models. We also survey some recent attempts to cast these models within a deep learning framework. A defining feature of Bayesian predictive coding is that it uses top-down, reconstructive mechanisms to predict incoming sensory inputs or their lower-level representations. Discrepancies between the predicted and the actual inputs, known as prediction errors, then give rise to future learning that refines and improves the predictive accuracy of learned higher-level representations. Predictive coding models intended to describe computations in the neocortex emerged prior to the development of deep learning and used a communication structure between modules that we name the Rao-Ballard protocol. This protocol was derived from a Bayesian generative model with some rather strong statistical assumptions. The RB protocol provides a rubric to assess the fidelity of deep learning models that claim to implement predictive coding.
• Abstract（参考訳）: ベイズ予測符号化は、感覚入力を考慮した高レベルな神経表現を取得するための神経形態的手法である。 神経科学コミュニティを起源とするが、機械学習コミュニティではこれらのモデルを研究する努力もある。 本稿では,よく知られたモデルについて概説する。 本稿では,モジュール接続と情報伝達のパターンを解析し,各モデルにまたがる一般的な原理を探究する。 また、これらのモデルをディープラーニングフレームワークに組み込もうとする最近の試みについても調査する。 ベイズ予測符号化の明確な特徴は、入力された知覚入力またはその下層表現を予測するためにトップダウンの再構成機構を使用することである。 予測と実際の入力、すなわち予測エラーの相違は、学習された高レベル表現の予測精度を洗練し向上する将来の学習をもたらす。 深層学習の発達に先立って新皮質の計算を記述することを目的とした予測符号化モデルが出現し、ラオ・バラードプロトコルと呼ばれるモジュール間の通信構造を使用した。 このプロトコルは、かなり強い統計的仮定を持つベイズ生成モデルに由来する。 RBプロトコルは、予測コーディングを実装していると主張するディープラーニングモデルの忠実度を評価するためのルーリックを提供する。

関連論文リスト

• Evaluating and Explaining Large Language Models for Code Using Syntactic Structures [74.93762031957883]
  本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。 その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。 私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
  論文  参考訳（メタデータ） (2023-08-07T18:50:57Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• NCTV: Neural Clamping Toolkit and Visualization for Neural Network Calibration [66.22668336495175]
  ニューラルネットワークのキャリブレーションに対する考慮の欠如は、人間から信頼を得ることはないだろう。 我々はNeural Clamping Toolkitを紹介した。これは開発者が最先端のモデルに依存しないキャリブレーションモデルを採用するのを支援するために設計された最初のオープンソースフレームワークである。
  論文  参考訳（メタデータ） (2022-11-29T15:03:05Z)
• Pyramidal Predictive Network: A Model for Visual-frame Prediction Based on Predictive Coding Theory [1.4610038284393165]
  本稿では,視覚的フレーム予測のためのニューラルネットワークモデルを提案する。 このモデルは、トップダウンストリームとボトムアップストリームを形成する一連の繰り返しおよび畳み込みユニットで構成されている。 ネットワークの各レイヤにConvLSTMを配置し、トップからダウンまでの局所的な予測を行う。
  論文  参考訳（メタデータ） (2022-08-15T06:28:34Z)
• On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
  異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。 このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。 我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-09T17:12:32Z)
• Sparse Flows: Pruning Continuous-depth Models [107.98191032466544]
  生成モデルにおいて,プルーニングによりニューラルネットワークの一般化が向上することを示す。 また、プルーニングは、元のネットワークに比べて最大98%少ないパラメータで、精度を損なうことなく、最小かつ効率的なニューラルODE表現を見出すことを示した。
  論文  参考訳（メタデータ） (2021-06-24T01:40:17Z)
• Demystifying Code Summarization Models [5.608277537412537]
  我々は、極端要約、code2vec、code2seq、Sequence GNNの4つの顕著なコード要約モデルを評価する。 結果は、すべてのモデルが意味的な意味をほとんど含まない構文的および語彙的特性に基づいて予測することを示している。 本稿では,トレーニングデータのレンズを用いて,コード要約モデルの予測を説明する新しい手法を提案する。
  論文  参考訳（メタデータ） (2021-02-09T03:17:46Z)
• The Neural Coding Framework for Learning Generative Models [91.0357317238509]
  本稿では,脳の予測処理理論に触発された新しい神経生成モデルを提案する。 同様に、私たちの生成モデルにおける人工ニューロンは、隣接するニューロンが何をするかを予測し、予測が現実にどの程度一致するかに基づいてパラメータを調整します。
  論文  参考訳（メタデータ） (2020-12-07T01:20:38Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• Introduction to Rare-Event Predictive Modeling for Inferential Statisticians -- A Hands-On Application in the Prediction of Breakthrough Patents [0.0]
  本稿では,予測性能の最適化を目的とした定量的分析のための機械学習(ML)手法を提案する。 両フィールド間の潜在的な相乗効果について考察する。 我々は,コンピュータサイエンスの用語のデミスティフィケーションを目指して,定量的な社会科学の聴衆に手持ちの予測モデルの導入を行っている。
  論文  参考訳（メタデータ） (2020-03-30T13:06:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。