論文の概要: Bayesian Renormalization
- arxiv url: http://arxiv.org/abs/2305.10491v1
- Date: Wed, 17 May 2023 18:00:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 18:27:13.964942
- Title: Bayesian Renormalization
- Title（参考訳）: ベイズ正規化
- Authors: David S. Berman, Marc S. Klinger and Alexander G. Stapleton
- Abstract要約: ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。
ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。
本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
- 参考スコア（独自算出の注目度）: 68.8204255655161
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this note we present a fully information theoretic approach to
renormalization inspired by Bayesian statistical inference, which we refer to
as Bayesian Renormalization. The main insight of Bayesian Renormalization is
that the Fisher metric defines a correlation length that plays the role of an
emergent RG scale quantifying the distinguishability between nearby points in
the space of probability distributions. This RG scale can be interpreted as a
proxy for the maximum number of unique observations that can be made about a
given system during a statistical inference experiment. The role of the
Bayesian Renormalization scheme is subsequently to prepare an effective model
for a given system up to a precision which is bounded by the aforementioned
scale. In applications of Bayesian Renormalization to physical systems, the
emergent information theoretic scale is naturally identified with the maximum
energy that can be probed by current experimental apparatus, and thus Bayesian
Renormalization coincides with ordinary renormalization. However, Bayesian
Renormalization is sufficiently general to apply even in circumstances in which
an immediate physical scale is absent, and thus provides an ideal approach to
renormalization in data science contexts. To this end, we provide insight into
how the Bayesian Renormalization scheme relates to existing methods for data
compression and data generation such as the information bottleneck and the
diffusion learning paradigm.
- Abstract（参考訳）: 本稿では,ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチについて述べる。
ベイズ再正規化の主な洞察は、フィッシャー計量が確率分布の空間における近傍点の微分可能性の定量化に緊急RGスケールの役割を担う相関長を定義することである。
このRGスケールは、統計的推論実験中に与えられたシステムについてできる一意な観測の最大数のプロキシとして解釈できる。
ベイズ再正規化スキームの役割は、上記のスケールで境界付けられた精度まで、与えられたシステムの効果的なモデルを作成することである。
ベイズ的再正規化の物理系への応用において、創発的情報理論スケールは、現在の実験装置で探索できる最大エネルギーと自然に同一視されるため、ベイズ的再正規化は通常の再正規化と一致する。
しかしながら、ベイズ再正規化は、即時物理的スケールが存在しない状況でも適用できるほど一般的であり、従ってデータサイエンスの文脈における再正規化への理想的なアプローチを提供する。
この目的のために,ベイズ正規化方式が,情報ボトルネックや拡散学習パラダイムといった既存のデータ圧縮手法やデータ生成手法とどのように関係しているかを考察する。
関連論文リスト
- Inflationary Flows: Calibrated Bayesian Inference with Diffusion-Based Models [0.0]
本稿では,拡散モデルを用いてベイズ推定を行う方法を示す。
本稿では,新しいノイズスケジュールを用いて,標準的なDBMトレーニングを通じてそのようなマップを学習する方法を示す。
その結果は、低次元の潜在空間上で一意に定義される非常に表現性の高い生成モデルのクラスである。
論文 参考訳（メタデータ） (2024-07-11T19:58:19Z) - GLAD: Towards Better Reconstruction with Global and Local Adaptive Diffusion Models for Unsupervised Anomaly Detection [60.78684630040313]
拡散モデルは、特定のノイズを付加したテスト画像の通常の画像を再構成する傾向がある。
世界的視点から見ると、異なる異常による画像再構成の難しさは不均一である。
本稿では,非教師付き異常検出のためのグローバルかつ局所的な適応拡散モデル(GLADと略す)を提案する。
論文 参考訳（メタデータ） (2024-06-11T17:27:23Z) - Generalized Laplace Approximation [23.185126261153236]
我々は、ベイズ的不整合を不特定性をモデル化し、不適切な先行をモデル化するために、統一された理論的枠組みを導入する。
正規化損失関数のヘッセン行列に対する簡単な調整を含む一般化ラプラス近似を提案する。
我々は、最先端のニューラルネットワークと実世界のデータセット上での一般化されたLaplace近似の性能と特性を評価する。
論文 参考訳（メタデータ） (2024-05-22T11:11:42Z) - The Inverse of Exact Renormalization Group Flows as Statistical Inference [0.0]
我々は、最適な輸送のインスタンス化として、Exact Renormalization Group(ERG)の視点に基づいて構築する。
我々はベイズ統計推論の仲介を通してERGを理解するための新しい情報理論的視点を提供する。
論文 参考訳（メタデータ） (2022-12-21T21:38:34Z) - Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。
データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。
ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
論文 参考訳（メタデータ） (2022-11-02T16:39:42Z) - Reliable amortized variational inference with physics-based latent
distribution correction [0.4588028371034407]
ニューラルネットワークは、既存のモデルとデータのペアの後方分布を近似するように訓練される。
このアプローチの精度は、高忠実度トレーニングデータの可用性に依存する。
補正ステップは, ソース実験数の変化, ノイズ分散, 先行分布の変化に対して, 償却された変分推論の頑健さを向上することを示す。
論文 参考訳（メタデータ） (2022-07-24T02:38:54Z) - Generalised Bayesian Inference for Discrete Intractable Likelihood [9.331721990371769]
本稿では、離散的難易度に適した新しい一般化されたベイズ推論手法を開発する。
連続データに対する最近の方法論的な進歩にインスパイアされた主なアイデアは、離散的なフィッシャー分岐を用いてモデルパラメータに関する信念を更新することである。
結果は一般化された後部であり、マルコフ・モンテカルロのような標準的な計算ツールからサンプリングすることができる。
論文 参考訳（メタデータ） (2022-06-16T19:36:17Z) - Benign Overfitting of Constant-Stepsize SGD for Linear Regression [122.70478935214128]
帰納バイアスは 経験的に過剰フィットを防げる中心的存在です
この研究は、この問題を最も基本的な設定として考慮している: 線形回帰に対する定数ステップサイズ SGD。
我々は、(正規化されていない)SGDで得られるアルゴリズム正則化と、通常の最小二乗よりも多くの顕著な違いを反映する。
論文 参考訳（メタデータ） (2021-03-23T17:15:53Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。