論文の概要: Curvature-Sensitive Predictive Coding with Approximate Laplace Monte
Carlo
- arxiv url: http://arxiv.org/abs/2303.04976v1
- Date: Thu, 9 Mar 2023 01:29:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-10 16:31:59.168096
- Title: Curvature-Sensitive Predictive Coding with Approximate Laplace Monte
Carlo
- Title（参考訳）: 近似ラプラスモンテカルロによる曲率知覚予測符号化
- Authors: Umais Zahid, Qinghai Guo, Karl Friston, Zafeirios Fountas
- Abstract要約: 予測符号化(PC: Predictive coding)は、現在、脳における支配的な計算理論の1つとなっている。
それにもかかわらず、彼らは機械学習の幅広い分野への輸出をほとんど楽しんだ。
これは、PCでトレーニングされたモデルの性能が、サンプルの品質と限界確率の両方で評価されているためである。
- 参考スコア（独自算出の注目度）: 1.1470070927586016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Predictive coding (PC) accounts of perception now form one of the dominant
computational theories of the brain, where they prescribe a general algorithm
for inference and learning over hierarchical latent probabilistic models.
Despite this, they have enjoyed little export to the broader field of machine
learning, where comparative generative modelling techniques have flourished. In
part, this has been due to the poor performance of models trained with PC when
evaluated by both sample quality and marginal likelihood. By adopting the
perspective of PC as a variational Bayes algorithm under the Laplace
approximation, we identify the source of these deficits to lie in the exclusion
of an associated Hessian term in the PC objective function, which would
otherwise regularise the sharpness of the probability landscape and prevent
over-certainty in the approximate posterior. To remedy this, we make three
primary contributions: we begin by suggesting a simple Monte Carlo estimated
evidence lower bound which relies on sampling from the Hessian-parameterised
variational posterior. We then derive a novel block diagonal approximation to
the full Hessian matrix that has lower memory requirements and favourable
mathematical properties. Lastly, we present an algorithm that combines our
method with standard PC to reduce memory complexity further. We evaluate models
trained with our approach against the standard PC framework on image benchmark
datasets. Our approach produces higher log-likelihoods and qualitatively better
samples that more closely capture the diversity of the data-generating
distribution.
- Abstract（参考訳）: 予測符号化(predictive coding, pc)は、現在脳の主要な計算理論の1つであり、階層的潜在確率モデル上で推論と学習のための一般的なアルゴリズムを規定している。
それにもかかわらず、彼らは、比較生成モデリング技術が栄えた機械学習の幅広い分野への輸出をほとんど楽しんだ。
これは、PCでトレーニングされたモデルの性能が、サンプルの品質と限界確率の両方で評価されているためである。
ラプラス近似に基づく変分ベイズアルゴリズムとしてpcの視点を採用することで、これらの欠陥の原因を、確率的景観のシャープさを定式化し、近似後続の過確さを防げる、pc目的関数における関連するヘッシアン項の排除にあると同定する。
これを補うために、我々は3つの主要な貢献をする: ヘッセン偏光変分体後部からのサンプリングに依存する単純なモンテカルロ推定証拠を下限に提案することから始める。
次に、メモリ要件が低く、数学的性質が好ましい完全ヘッセン行列に対する新しいブロック対角近似を導出する。
最後に,本手法を標準PCと組み合わせることで,メモリの複雑さをさらに軽減するアルゴリズムを提案する。
画像ベンチマークデータセットの標準PCフレームワークに対するアプローチでトレーニングしたモデルを評価する。
当社の手法は,データ生成分布の多様性をより深く捉えた,より高いログ類似度と質的に優れたサンプルを生成する。
関連論文リスト
- A sparse PAC-Bayesian approach for high-dimensional quantile prediction [0.0]
本稿では,高次元量子化予測のための確率論的機械学習手法を提案する。
擬似ベイズ的フレームワークとスケールした学生tとランゲヴィン・モンテカルロを併用して効率的な計算を行う。
その効果はシミュレーションや実世界のデータを通じて検証され、そこでは確立された頻繁な手法やベイズ的手法と競合する。
論文 参考訳（メタデータ） (2024-09-03T08:01:01Z) - Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。
本稿では,直感的に設計を記述し,設計選択について説明する。
本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
論文 参考訳（メタデータ） (2023-10-31T16:15:13Z) - Large-scale Bayesian Structure Learning for Gaussian Graphical Models using Marginal Pseudo-likelihood [0.26249027950824516]
我々は2つの新しいマルコフ連鎖モンテカルロ探索アルゴリズムを導入する。
これらのアルゴリズムは、1000変数の大規模問題であっても、標準コンピュータ上でわずか数分で信頼性の高い結果を提供できる。
また,ヒトおよびマウスの遺伝子発現研究における中・大規模応用における本手法の有用性について述べる。
論文 参考訳（メタデータ） (2023-06-30T20:37:40Z) - Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。
機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。
提案手法は,画像分類における既存の手法よりも優れている。
論文 参考訳（メタデータ） (2022-12-02T07:31:39Z) - GEC: A Unified Framework for Interactive Decision Making in MDP, POMDP,
and Beyond [101.5329678997916]
対話型意思決定の一般的な枠組みの下で, サンプル高能率強化学習(RL)について検討した。
本稿では,探索とエクスプロイトの基本的なトレードオフを特徴付ける,新しい複雑性尺度である一般化エルダー係数(GEC)を提案する。
低 GEC の RL 問題は非常にリッチなクラスであり、これは低ベルマン楕円体次元問題、双線型クラス、低証人ランク問題、PO-双線型クラス、一般化正規PSR を仮定する。
論文 参考訳（メタデータ） (2022-11-03T16:42:40Z) - Langevin Monte Carlo for Contextual Bandits [72.00524614312002]
Langevin Monte Carlo Thompson Sampling (LMC-TS) が提案されている。
提案アルゴリズムは,文脈的帯域幅の特別な場合において,最高のトンプソンサンプリングアルゴリズムと同じサブ線形残差を達成できることを示す。
論文 参考訳（メタデータ） (2022-06-22T17:58:23Z) - Posterior and Computational Uncertainty in Gaussian Processes [52.26904059556759]
ガウスのプロセスはデータセットのサイズとともに違法にスケールする。
多くの近似法が開発されており、必然的に近似誤差を導入している。
この余分な不確実性の原因は、計算が限られているため、近似後部を使用すると完全に無視される。
本研究では,観測された有限個のデータと有限個の計算量の両方から生じる組合せ不確実性を一貫した推定を行う手法の開発を行う。
論文 参考訳（メタデータ） (2022-05-30T22:16:25Z) - Last Layer Marginal Likelihood for Invariance Learning [12.00078928875924]
我々は、より大きな確率関数のクラスに対する推論を行うことができるような、限界確率に対する新しい下界を導入する。
我々は、最後の層にガウス的プロセスを持つアーキテクチャを使用することで、このアプローチをニューラルネットワークに導入することに取り組んでいます。
論文 参考訳（メタデータ） (2021-06-14T15:40:51Z) - Goal-directed Generation of Discrete Structures with Conditional
Generative Models [85.51463588099556]
本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。
提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
論文 参考訳（メタデータ） (2020-10-05T20:03:13Z) - An adaptive Hessian approximated stochastic gradient MCMC method [12.93317525451798]
後方からのサンプリング中に局所的幾何情報を組み込む適応型ヘッセン近似勾配MCMC法を提案する。
我々は,ネットワークの空間性を高めるために,等級に基づく重み付け法を採用する。
論文 参考訳（メタデータ） (2020-10-03T16:22:15Z) - Bayesian System ID: Optimal management of parameter, model, and
measurement uncertainty [0.0]
システム識別(ID)の確率的定式化の頑健さを,スパース,ノイズ,間接データに対して評価した。
従来手法の目的関数面と比較して,ログ後部は幾何学的特性が向上したことを示す。
論文 参考訳（メタデータ） (2020-03-04T22:48:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。