論文の概要: Generalised Bayesian Inference for Discrete Intractable Likelihood
- arxiv url: http://arxiv.org/abs/2206.08420v2
- Date: Fri, 1 Sep 2023 09:57:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-04 17:41:18.826054
- Title: Generalised Bayesian Inference for Discrete Intractable Likelihood
- Title(参考訳): 離散的難解確率に対する一般化ベイズ推論
- Authors: Takuo Matsubara, Jeremias Knoblauch, Fran\c{c}ois-Xavier Briol, Chris.
J. Oates
- Abstract要約: 本稿では、離散的難易度に適した新しい一般化されたベイズ推論手法を開発する。
連続データに対する最近の方法論的な進歩にインスパイアされた主なアイデアは、離散的なフィッシャー分岐を用いてモデルパラメータに関する信念を更新することである。
結果は一般化された後部であり、マルコフ・モンテカルロのような標準的な計算ツールからサンプリングすることができる。
- 参考スコア(独自算出の注目度): 9.331721990371769
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Discrete state spaces represent a major computational challenge to
statistical inference, since the computation of normalisation constants
requires summation over large or possibly infinite sets, which can be
impractical. This paper addresses this computational challenge through the
development of a novel generalised Bayesian inference procedure suitable for
discrete intractable likelihood. Inspired by recent methodological advances for
continuous data, the main idea is to update beliefs about model parameters
using a discrete Fisher divergence, in lieu of the problematic intractable
likelihood. The result is a generalised posterior that can be sampled from
using standard computational tools, such as Markov chain Monte Carlo,
circumventing the intractable normalising constant. The statistical properties
of the generalised posterior are analysed, with sufficient conditions for
posterior consistency and asymptotic normality established. In addition, a
novel and general approach to calibration of generalised posteriors is
proposed. Applications are presented on lattice models for discrete spatial
data and on multivariate models for count data, where in each case the
methodology facilitates generalised Bayesian inference at low computational
cost.
- Abstract(参考訳): 離散状態空間は、正規化定数の計算には大きな集合や無限集合の和を必要とするため、統計推論にとって大きな計算上の課題である。
本稿では,この計算上の課題を,離散的難解な可能性に適した新しい一般化ベイズ推定法の開発を通じて解決する。
連続データに対する最近の方法論的な進歩から着想を得た主なアイデアは、問題のある難解な可能性の代わりに、離散的なフィッシャー発散を用いてモデルパラメータに関する信念を更新することである。
その結果は一般化された後部であり、マルコフ連鎖モンテカルロのような標準的な計算ツールを使って、難解な正規化定数を回避できる。
一般化された後方の統計的性質を解析し、後方整合性と漸近正規性が確立されるのに十分な条件を与える。
また, 一般化後部のキャリブレーションに対する新規かつ汎用的なアプローチを提案する。
離散空間データの格子モデルやカウントデータの多変量モデルに応用され、それぞれの場合において計算コストの低い一般化ベイズ推定が容易になる。
関連論文リスト
- Generalized Laplace Approximation [23.185126261153236]
我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。
正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。
我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
論文 参考訳(メタデータ) (2024-05-22T11:11:42Z) - Online Identification of Stochastic Continuous-Time Wiener Models Using
Sampled Data [4.037738063437126]
連続時間ウィナーモデルの同定のための出力エラー予測器に基づくオンライン推定アルゴリズムを開発した。
この方法は、外乱過程のスペクトルに関する仮定に対して堅牢である。
論文 参考訳(メタデータ) (2024-03-09T12:33:09Z) - Conformal inference for regression on Riemannian Manifolds [49.7719149179179]
回帰シナリオの予測セットは、応答変数が$Y$で、多様体に存在し、Xで表される共変数がユークリッド空間にあるときに検討する。
我々は、多様体上のこれらの領域の経験的バージョンが、その集団に対するほぼ確実に収束していることを証明する。
論文 参考訳(メタデータ) (2023-10-12T10:56:25Z) - Bayesian Renormalization [68.8204255655161]
ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。
ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。
本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
論文 参考訳(メタデータ) (2023-05-17T18:00:28Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Optimal regularizations for data generation with probabilistic graphical
models [0.0]
経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。
生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
論文 参考訳(メタデータ) (2021-12-02T14:45:16Z) - Scalable mixed-domain Gaussian processes [0.0]
混合領域共分散関数に対する基底関数近似スキームを導出する。
提案手法は任意の観測モデルを用いたベイズGP回帰に適用可能である。
この手法を縦型データモデリングの文脈で実演し、正確なGPモデルを正確に近似することを示す。
論文 参考訳(メタデータ) (2021-11-03T04:47:37Z) - Robust Generalised Bayesian Inference for Intractable Likelihoods [9.77823546576708]
スタインの不一致を損失関数として一般化ベイズ推論を考える。
これは、確率が難解な正規化定数を含む応用によって動機づけられる。
後肢の整合性, 正規性, 偏在性を示し, これらの特性がスタインの相違の選択によってどのように影響するかを明らかにする。
論文 参考訳(メタデータ) (2021-04-15T10:31:22Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Slice Sampling for General Completely Random Measures [74.24975039689893]
本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。
提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
論文 参考訳(メタデータ) (2020-06-24T17:53:53Z) - Asymptotic Analysis of an Ensemble of Randomly Projected Linear
Discriminants [94.46276668068327]
[1]では、ランダムに投影された線形判別式のアンサンブルを用いてデータセットを分類する。
我々は,計算コストのかかるクロスバリデーション推定器の代替として,誤分類確率の一貫した推定器を開発する。
また、実データと合成データの両方で投影次元を調整するための推定器の使用を実証する。
論文 参考訳(メタデータ) (2020-04-17T12:47:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。