論文の概要: Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm

• arxiv url: http://arxiv.org/abs/2408.05834v1
• Date: Sun, 11 Aug 2024 17:29:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 15:15:52.377768
• Title: Divide-and-Conquer Predictive Coding: a structured Bayesian inference algorithm
• Title（参考訳）: 分割・並列予測符号化:構造化ベイズ推論アルゴリズム
• Authors: Eli Sennesh, Hao Wu, Tommaso Salvatori,
• Abstract要約: 我々は、分割・対数予測符号化(D CPC)と呼ばれる構造生成モデルのための新しい予測符号化アルゴリズムを導入する。 D CPCは、生物学的確率を犠牲にすることなく、モデルパラメーターの最大値更新を行う。 実証的には、DCPCは競合するアルゴリズムよりも優れた数値性能を達成し、これまで予測符号に対処していなかった多くの問題に対して正確な推論を提供する。
• 参考スコア（独自算出の注目度）: 11.722226132995978
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Unexpected stimuli induce "error" or "surprise" signals in the brain. The theory of predictive coding promises to explain these observations in terms of Bayesian inference by suggesting that the cortex implements variational inference in a probabilistic graphical model. However, when applied to machine learning tasks, this family of algorithms has yet to perform on par with other variational approaches in high-dimensional, structured inference problems. To address this, we introduce a novel predictive coding algorithm for structured generative models, that we call divide-and-conquer predictive coding (DCPC). DCPC differs from other formulations of predictive coding, as it respects the correlation structure of the generative model and provably performs maximum-likelihood updates of model parameters, all without sacrificing biological plausibility. Empirically, DCPC achieves better numerical performance than competing algorithms and provides accurate inference in a number of problems not previously addressed with predictive coding. We provide an open implementation of DCPC in Pyro on Github.
• Abstract（参考訳）: 予期せぬ刺激は、脳内の「エラー」または「サプライズ」シグナルを誘導する。 予測符号化の理論は、確率的グラフィカルモデルにおいて、大脳皮質が変分推論を実装していることを示唆することによって、ベイズ的推論の観点からこれらの観測を説明することを約束する。 しかし、機械学習タスクに適用した場合、このアルゴリズムの族は、高次元構造推論問題における他の変分的アプローチと同等に動作しない。 そこで本研究では,構造生成モデルに対する新しい予測符号化アルゴリズムを導入し,その手法をDCPC(Deput-and-Conquer predictive coding)と呼ぶ。 DCPCは、生成モデルの相関構造を尊重し、生物学的確率を犠牲にすることなく、モデルパラメータの最大様態を確実に更新するので、予測符号化の他の定式化と異なる。 実証的には、DCPCは競合するアルゴリズムよりも優れた数値性能を達成し、これまで予測符号に対処していなかった多くの問題に対して正確な推論を提供する。 GithubのPyroでDCPCのオープン実装を提供しています。

関連論文リスト

• Sparse Bayesian Generative Modeling for Compressive Sensing [8.666730973498625]
  この研究は、圧縮センシング(CS)における基本的な線形逆問題に、新しいタイプの正規化生成先行を導入することで対処する。 提案手法は変分推論の概念を用いて理論的に支援し,異なる種類の圧縮可能な信号を用いて実験的に検証する。
  論文  参考訳（メタデータ） (2024-11-14T14:37:47Z)
• A Stable, Fast, and Fully Automatic Learning Algorithm for Predictive Coding Networks [65.34977803841007]
  予測符号化ネットワークは、ベイズ統計学と神経科学の両方にルーツを持つ神経科学にインスパイアされたモデルである。 シナプス重みに対する更新規則の時間的スケジュールを変更するだけで、元の規則よりもずっと効率的で安定したアルゴリズムが得られることを示す。
  論文  参考訳（メタデータ） (2022-11-16T00:11:04Z)
• Scalable computation of prediction intervals for neural networks via matrix sketching [79.44177623781043]
  既存の不確実性推定アルゴリズムでは、モデルアーキテクチャとトレーニング手順を変更する必要がある。 本研究では、与えられたトレーニングされたニューラルネットワークに適用し、近似予測間隔を生成できる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-06T13:18:31Z)
• Hybrid Predictive Coding: Inferring, Fast and Slow [62.997667081978825]
  本稿では,反復型と償却型の両方を原則的に組み合わせたハイブリッド予測符号化ネットワークを提案する。 我々は,本モデルが本質的に不確実性に敏感であり,最小計算費用を用いて正確な信念を得るためにバランスを適応的にバランスさせることを実証した。
  論文  参考訳（メタデータ） (2022-04-05T12:52:45Z)
• The Dual PC Algorithm and the Role of Gaussianity for Structure Learning of Bayesian Networks [0.0]
  デュアルPCアルゴリズムは,実行時間や基盤となるネットワーク構造の回復において,従来のPCアルゴリズムよりも優れていることを示す。 また、このデュアルPCアルゴリズムがガウスパウラモデルに適用可能であることを示し、その設定でその性能を示す。
  論文  参考訳（メタデータ） (2021-12-16T17:27:29Z)
• Parsimonious Inference [0.0]
  parsimonious inferenceは任意のアーキテクチャ上の推論の情報理論的な定式化である。 提案手法は,効率的な符号化と巧妙なサンプリング戦略を組み合わせて,クロスバリデーションを伴わない予測アンサンブルを構築する。
  論文  参考訳（メタデータ） (2021-03-03T04:13:14Z)
• Relaxing the Constraints on Predictive Coding Models [62.997667081978825]
  予測符号化(英: Predictive coding)は、脳が行う主計算が予測誤差の最小化であるとする皮質機能の影響力のある理論である。 アルゴリズムの標準的な実装は、同じ前方と後方の重み、後方の非線形微分、1-1エラーユニット接続といった、潜在的に神経的に予測できない特徴を含んでいる。 本稿では,これらの特徴はアルゴリズムに不可欠なものではなく,Hebbianの更新ルールを用いてパラメータセットを直接あるいは学習することで,学習性能に悪影響を及ぼすことなく除去可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-02T15:21:37Z)
• AIN: Fast and Accurate Sequence Labeling with Approximate Inference Network [75.44925576268052]
  線形鎖条件ランダム場(CRF)モデルは最も広く使われているニューラルネットワークラベリング手法の1つである。 厳密な確率的推論アルゴリズムは典型的にはCRFモデルの訓練と予測段階に適用される。 CRFモデルに対して並列化可能な近似変分推論アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-09-17T12:18:43Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。