論文の概要: Bayesian Renormalization
- arxiv url: http://arxiv.org/abs/2305.10491v2
- Date: Sat, 27 May 2023 18:54:26 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 00:13:22.931593
- Title: Bayesian Renormalization
- Title(参考訳): ベイズ正規化
- Authors: David S. Berman, Marc S. Klinger and Alexander G. Stapleton
- Abstract要約: ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。
ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。
本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
- 参考スコア(独自算出の注目度): 68.8204255655161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this note we present a fully information theoretic approach to
renormalization inspired by Bayesian statistical inference, which we refer to
as Bayesian Renormalization. The main insight of Bayesian Renormalization is
that the Fisher metric defines a correlation length that plays the role of an
emergent RG scale quantifying the distinguishability between nearby points in
the space of probability distributions. This RG scale can be interpreted as a
proxy for the maximum number of unique observations that can be made about a
given system during a statistical inference experiment. The role of the
Bayesian Renormalization scheme is subsequently to prepare an effective model
for a given system up to a precision which is bounded by the aforementioned
scale. In applications of Bayesian Renormalization to physical systems, the
emergent information theoretic scale is naturally identified with the maximum
energy that can be probed by current experimental apparatus, and thus Bayesian
Renormalization coincides with ordinary renormalization. However, Bayesian
Renormalization is sufficiently general to apply even in circumstances in which
an immediate physical scale is absent, and thus provides an ideal approach to
renormalization in data science contexts. To this end, we provide insight into
how the Bayesian Renormalization scheme relates to existing methods for data
compression and data generation such as the information bottleneck and the
diffusion learning paradigm.
- Abstract(参考訳): 本稿では,ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチについて述べる。
ベイズ再正規化の主な洞察は、フィッシャー計量が確率分布の空間における近傍点の微分可能性の定量化に緊急RGスケールの役割を担う相関長を定義することである。
このRGスケールは、統計的推論実験中に与えられたシステムについてできる一意な観測の最大数のプロキシとして解釈できる。
ベイズ再正規化スキームの役割は、上記のスケールで境界付けられた精度まで、与えられたシステムの効果的なモデルを作成することである。
ベイズ的再正規化の物理系への応用において、創発的情報理論スケールは、現在の実験装置で探索できる最大エネルギーと自然に同一視されるため、ベイズ的再正規化は通常の再正規化と一致する。
しかしながら、ベイズ再正規化は、即時物理的スケールが存在しない状況でも適用できるほど一般的であり、従ってデータサイエンスの文脈における再正規化への理想的なアプローチを提供する。
この目的のために,ベイズ正規化方式が,情報ボトルネックや拡散学習パラダイムといった既存のデータ圧縮手法やデータ生成手法とどのように関係しているかを考察する。
関連論文リスト
- Simulation-based Inference with the Generalized Kullback-Leibler
Divergence [8.868822699365618]
目的は、確率が暗黙的にのみ知られている場合の逆問題を解決することである。
本研究では,正規化された基底分布と学習比率を学習することで,両世界の長所を提供するハイブリッドモデルについて検討する。
論文 参考訳(メタデータ) (2023-10-03T05:42:53Z) - Optimal Regularization for a Data Source [8.991457334268393]
解の量を促進する正則化器でデータの忠実性を強制する基準を強化するのが一般的である。
本稿では,凸正則化のパワーと限界の体系的理解を求める。
論文 参考訳(メタデータ) (2022-12-27T20:11:59Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳(メタデータ) (2022-11-02T16:39:42Z) - Reliable amortized variational inference with physics-based latent
distribution correction [0.4588028371034407]
ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。
このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。
補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
論文 参考訳(メタデータ) (2022-07-24T02:38:54Z) - Generalised Bayesian Inference for Discrete Intractable Likelihood [9.331721990371769]
本稿では、離散的難易度に適した新しい一般化されたベイズ推論手法を開発する。
連続データに対する最近の方法論的な進歩にインスパイアされた主なアイデアは、離散的なフィッシャー分岐を用いてモデルパラメータに関する信念を更新することである。
結果は一般化された後部であり、マルコフ・モンテカルロのような標準的な計算ツールからサンプリングすることができる。
論文 参考訳(メタデータ) (2022-06-16T19:36:17Z) - Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。
一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文 参考訳(メタデータ) (2022-02-23T06:11:49Z) - Robust Generalised Bayesian Inference for Intractable Likelihoods [9.77823546576708]
スタインの不一致を損失関数として一般化ベイズ推論を考える。
これは、確率が難解な正規化定数を含む応用によって動機づけられる。
後肢の整合性, 正規性, 偏在性を示し, これらの特性がスタインの相違の選択によってどのように影響するかを明らかにする。
論文 参考訳(メタデータ) (2021-04-15T10:31:22Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳(メタデータ) (2021-03-23T17:15:53Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳(メタデータ) (2021-02-12T12:23:13Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳(メタデータ) (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。