論文の概要: Bayesian Predictive Coding

• arxiv url: http://arxiv.org/abs/2503.24016v1
• Date: Mon, 31 Mar 2025 12:40:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:39:56.987817
• Title: Bayesian Predictive Coding
• Title（参考訳）: ベイズ予測符号化
• Authors: Alexander Tschantz, Magnus Koudahl, Hampus Linander, Lancelot Da Costa, Conor Heins, Jeff Beck, Christopher Buckley,
• Abstract要約: 予測符号化(英: Predictive coding, PC)は、脳における情報処理の影響力のある理論である。 ネットワークパラメータの後方分布を推定するPCへのベイズ拡張について検討する。 PCと比較して、BPCアルゴリズムはフルバッチ設定においてエポックに収束し、ミニバッチ設定では競争力を維持する。
• 参考スコア（独自算出の注目度）: 35.82197718719055
• License:
• Abstract: Predictive coding (PC) is an influential theory of information processing in the brain, providing a biologically plausible alternative to backpropagation. It is motivated in terms of Bayesian inference, as hidden states and parameters are optimised via gradient descent on variational free energy. However, implementations of PC rely on maximum \textit{a posteriori} (MAP) estimates of hidden states and maximum likelihood (ML) estimates of parameters, limiting their ability to quantify epistemic uncertainty. In this work, we investigate a Bayesian extension to PC that estimates a posterior distribution over network parameters. This approach, termed Bayesian Predictive coding (BPC), preserves the locality of PC and results in closed-form Hebbian weight updates. Compared to PC, our BPC algorithm converges in fewer epochs in the full-batch setting and remains competitive in the mini-batch setting. Additionally, we demonstrate that BPC offers uncertainty quantification comparable to existing methods in Bayesian deep learning, while also improving convergence properties. Together, these results suggest that BPC provides a biologically plausible method for Bayesian learning in the brain, as well as an attractive approach to uncertainty quantification in deep learning.
• Abstract（参考訳）: 予測符号化(英: Predictive coding、PC)は、脳における情報処理の影響力のある理論であり、バックプロパゲーションに代わる生物学的に妥当な代替手段を提供する。 隠れ状態とパラメータは変分自由エネルギーの勾配降下によって最適化されるため、ベイズ推定の観点から動機付けされている。 しかし、PC の実装は隠れ状態の最大 \textit{a reari} (MAP) 推定とパラメータの最大可能性 (ML) 推定に依存しており、疫学的な不確実性を定量化する能力を制限する。 本研究では,ネットワークパラメータの後方分布を推定するPCへのベイズ拡張について検討する。 このアプローチはベイズ予測符号化(BPC)と呼ばれ、PCの局所性を保ち、閉形式のヘビアン重み更新をもたらす。 PCと比較して、BPCアルゴリズムはフルバッチ設定においてエポックに収束し、ミニバッチ設定では競争力を維持する。 さらに,BPCはベイズ深層学習における既存手法に匹敵する不確実な定量化を提供するとともに,収束性も向上することを示した。 これらの結果は、BPCが脳内のベイズ学習に生物学的に妥当な方法を提供し、深層学習における不確実性定量化への魅力的なアプローチを提供することを示唆している。

関連論文リスト

• Efficient Learning of POMDPs with Known Observation Model in Average-Reward Setting [56.92178753201331]
  我々は,POMDPパラメータを信念に基づくポリシを用いて収集したサンプルから学習することのできる観測・認識スペクトル(OAS)推定手法を提案する。 提案するOAS-UCRLアルゴリズムに対して,OASプロシージャの整合性を示し,$mathcalO(sqrtT log(T)$の残差保証を証明した。
  論文  参考訳（メタデータ） (2024-10-02T08:46:34Z)
• Offline Bayesian Aleatoric and Epistemic Uncertainty Quantification and Posterior Value Optimisation in Finite-State MDPs [3.1139806580181006]
  有限状態マルコフ決定過程(MDP)のオフライン使用例におけるベイズの不確かさを未知のダイナミクスで定量化することの課題に対処する。 我々は標準ベイズ強化学習法を用いて,MDPパラメータの後方不確実性を捉える。 次に、後続サンプル間の戻り分布の最初の2つのモーメントを解析的に計算し、全分散の法則を適用する。 我々は,AIクリニック問題に適用することで,実世界の影響と計算能力のスケーラビリティを強調した。
  論文  参考訳（メタデータ） (2024-06-04T16:21:14Z)
• Poisson Process for Bayesian Optimization [126.51200593377739]
  本稿では、Poissonプロセスに基づくランキングベースの代理モデルを提案し、Poisson Process Bayesian Optimization(PoPBO)と呼ばれる効率的なBOフレームワークを提案する。 従来のGP-BO法と比較すると,PoPBOはコストが低く,騒音に対する堅牢性も良好であり,十分な実験により検証できる。
  論文  参考訳（メタデータ） (2024-02-05T02:54:50Z)
• Calibrating Neural Simulation-Based Inference with Differentiable Coverage Probability [50.44439018155837]
  ニューラルモデルのトレーニング目的に直接キャリブレーション項を含めることを提案する。 古典的なキャリブレーション誤差の定式化を緩和することにより、エンドツーエンドのバックプロパゲーションを可能にする。 既存の計算パイプラインに直接適用でき、信頼性の高いブラックボックス後部推論が可能である。
  論文  参考訳（メタデータ） (2023-10-20T10:20:45Z)
• Provably Efficient UCB-type Algorithms For Learning Predictive State Representations [55.00359893021461]
  逐次決定問題は、予測状態表現(PSR)によってモデル化された低ランク構造が認められる場合、統計的に学習可能である 本稿では,推定モデルと実モデル間の全変動距離を上限とする新しいボーナス項を特徴とする,PSRに対する最初のUCB型アプローチを提案する。 PSRに対する既存のアプローチとは対照的に、UCB型アルゴリズムは計算的トラクタビリティ、最優先の準最適ポリシー、モデルの精度が保証される。
  論文  参考訳（メタデータ） (2023-07-01T18:35:21Z)
• Predictive Coding as a Neuromorphic Alternative to Backpropagation: A Critical Evaluation [1.2891210250935146]
  バックプロパゲーションは、現代のディープラーニング手法のワークホースクレジット代入アルゴリズムとして急速に普及している。 修正型予測符号化(PC)は、バックプロパゲーションの下のものとほぼ等しいパラメータの更新をもたらすことが示されている。 我々は,PCが神経形系における実装を促進する,望ましい特性を持つバックプロパゲーションの代替として機能することを示す。
  論文  参考訳（メタデータ） (2023-04-05T11:48:47Z)
• Fast post-process Bayesian inference with Variational Sparse Bayesian Quadrature [13.36200518068162]
  本稿では,既存の目標密度評価から高速な後続近似を得る手段として,プロセス後ベイズ推定の枠組みを提案する。 この枠組みでは,ブラックボックスと潜在的ノイズの可能性のあるモデルに対して,プロセス後近似推定法である変分スパースベイズ近似(VSBQ)を導入する。 本手法は,計算神経科学による難解な合成シナリオと実世界の応用について検証する。
  論文  参考訳（メタデータ） (2023-03-09T13:58:35Z)
• Enhancing Explainability of Hyperparameter Optimization via Bayesian Algorithm Execution [13.037647287689438]
  部分依存プロットのような解釈可能な機械学習(IML)手法とHPOの組み合わせについて検討する。 我々は,最適大域的予測性能を効率的に探索する改良HPO法を提案する。 提案手法は,最適化性能を損なうことなく,ブラックボックスの信頼性の高い説明を返す。
  論文  参考訳（メタデータ） (2022-06-11T07:12:04Z)
• Bayes in Wonderland! Predictive supervised classification inference hits unpredictability [1.8814209805277506]
  デ・フィネッティ型の交換性の下でsBpcとmBpcの収束を示す。 また、分割交換可能なシーケンスを生じる生成モデルのパラメータ推定も行う。
  論文  参考訳（メタデータ） (2021-12-03T12:34:52Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。