論文の概要: Thermodynamic Response Functions in Singular Bayesian Models

• arxiv url: http://arxiv.org/abs/2603.05480v1
• Date: Thu, 05 Mar 2026 18:50:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-06 22:06:11.37954
• Title: Thermodynamic Response Functions in Singular Bayesian Models
• Title（参考訳）: 特異ベイズモデルにおける熱力学的応答関数
• Authors: Sean Plummer,
• Abstract要約: 非特定方向を商化する可観測代数を定式化し、構造的に意味のある順序パラメータを特異なモデルで構築する。 以上の結果から,熱力学的応答理論は,特異ベイズ学習における複雑性,予測変数,構造的再編成を解釈する自然な枠組みを提供すると考えられる。
• 参考スコア（独自算出の注目度）: 0.12183405753834557
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Singular statistical models-including mixtures, matrix factorization, and neural networks-violate regular asymptotics due to parameter non-identifiability and degenerate Fisher geometry. Although singular learning theory characterizes marginal likelihood behavior through invariants such as the real log canonical threshold and singular fluctuation, these quantities remain difficult to interpret operationally. At the same time, widely used criteria such as WAIC and WBIC appear disconnected from underlying singular geometry. We show that posterior tempering induces a one-parameter deformation of the posterior distribution whose associated observables generate a hierarchy of thermodynamic response functions. A universal covariance identity links derivatives of tempered expectations to posterior fluctuations, placing WAIC, WBIC, and singular fluctuation within a unified response framework. Within this framework, classical quantities from singular learning theory acquire natural thermodynamic interpretations: RLCT governs the leading free-energy slope, singular fluctuation corresponds to curvature of the tempered free energy, and WAIC measures predictive fluctuation. We formalize an observable algebra that quotients out non-identifiable directions, allowing structurally meaningful order parameters to be constructed in singular models. Across canonical singular examples-including symmetric Gaussian mixtures, reduced-rank regression, and overparameterized neural networks-we empirically demonstrate phase-transition-like behavior under tempering. Order parameters collapse, susceptibilities peak, and complexity measures align with structural reorganization in posterior geometry. Our results suggest that thermodynamic response theory provides a natural organizing framework for interpreting complexity, predictive variability, and structural reorganization in singular Bayesian learning.
• Abstract（参考訳）: 特異統計モデル-混合物、行列分解、ニューラルネットワーク-パラメータ非識別性および縮退フィッシャー幾何学による正規漸近に違反する。 特異学習理論は、実対数正準しきい値や特異揺らぎのような不変量を通じて、限界確率の挙動を特徴づけるが、これらの量は操作的に解釈することが難しいままである。 同時に、WAICやWBICのような広く使われている基準は、基礎となる特異な幾何学から切り離されているように見える。 本研究では, 熱力学的応答関数の階層構造を生成する後部分布の1パラメータ変形を後部テンパリングにより誘発することを示す。 普遍的共分散IDは、予測された予測の導関数を後続の揺らぎにリンクし、WAIC、WBIC、特異揺らぎを統一応答フレームワーク内に配置する。 この枠組みの中では、特異学習理論からの古典的な量は自然熱力学の解釈を得る: RLCT は主要な自由エネルギー斜面を支配し、特異揺らぎは誘電自由エネルギーの曲率に対応し、WAIC は予測揺らぎを測る。 非特定方向を商化する可観測代数を定式化し、構造的に意味のある順序パラメータを特異なモデルで構築する。 標準的特異例(対称ガウス混合、低ランク回帰、過パラメータ化ニューラルネットワークを含む)は、テンパリング下での相転移様挙動を実証的に示す。 秩序パラメータは崩壊し、感受性はピークに達し、複雑度は後部幾何学における構造的再構成と一致する。 以上の結果から,熱力学的応答理論は,特異ベイズ学習における複雑性,予測変数,構造的再編成を解釈する自然な枠組みを提供すると考えられる。

関連論文リスト

• Rethinking Diffusion Models with Symmetries through Canonicalization with Applications to Molecular Graph Generation [56.361076943802594]
  CanonFlowは、挑戦的なGEOM-DRUGデータセット上で最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-16T18:58:55Z)
• Implicit bias as a Gauge correction: Theory and Inverse Design [2.9379512315137117]
  機械学習理論の中心的な問題は、学習力学が学習目標と互換性のある特定のソリューションをどのように選択するかを特徴づけることである。 我々は、暗黙のバイアスの出現に対する学習力学の明示的な修正という観点から、一般的なメカニズムを同定する。 我々は、様々な力学の帰納バイアスを計算し、いくつかのよく知られた結果が単一の統一されたフレームワークにどのように適合するかを示した。
  論文  参考訳（メタデータ） (2026-01-10T15:33:09Z)
• Random-Matrix-Induced Simplicity Bias in Over-parameterized Variational Quantum Circuits [72.0643009153473]
  本稿では,観測可能な期待値とパラメータ勾配の両方がシステムサイズに指数関数的に集中するHaar型普遍性クラスに,表現的変分アンサーゼが入ることを示す。 その結果、そのような回路によって誘導される仮説クラスは、近点関数の狭い族に高い確率で崩壊する。 テンソル-ネットワークベースおよびテンソル-ハイパーネットワークパラメータ化を含むテンソル構造VQCは、ハール型普遍性クラスの外にある。
  論文  参考訳（メタデータ） (2026-01-05T08:04:33Z)
• Thermodynamic Characterizations of Singular Bayesian Models: Specific Heat, Susceptibility, and Entropy Flow in Posterior Geometry [0.12183405753834557]
  特異な揺らぎは、精密で自然な解釈を固有熱として認めることを示す。 また, エントロピーフロー, 先行感受性, クロスサセプティビリティなど, 関連する熱力学量の収集についても紹介する。 この結果は特異学習理論と統計力学の具体的な橋渡しとなる。
  論文  参考訳（メタデータ） (2025-12-24T20:19:28Z)
• Chaos, Entanglement and Measurement: Field-Theoretic Perspectives on Quantum Information Dynamics [0.0]
  I study scrambling and pseudorandomness in the Brownian Sachdev-Ye-Kitaev model。 弱測定SYKクラスターに対する場の理論を構築する。 測定専用SYKクラスタのための高次再正規化グループを開発した。
  論文  参考訳（メタデータ） (2025-12-11T10:04:30Z)
• Mereological Quantum Phase Transitions [0.0]
  メレオロジー量子相転移(m-QPT)の概念を紹介する。 本稿では、量子コヒーレンスと演算子絡み込みを含む解析例を通して、この枠組みを説明する。
  論文  参考訳（メタデータ） (2025-10-07T19:12:31Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  リッジ回帰に関する最近の結果について統一的な視点を提示する。 我々は、物理とディープラーニングの背景を持つ読者を対象に、ランダム行列理論と自由確率の基本的なツールを使用する。 我々の結果は拡張され、初期のスケーリング法則のモデルについて統一的な視点を提供する。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
  この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。 本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。 学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
  論文  参考訳（メタデータ） (2024-01-10T02:38:21Z)
• DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained Diffusion [66.21290235237808]
  本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。 任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。 各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
  論文  参考訳（メタデータ） (2023-01-23T15:18:54Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Adding machine learning within Hamiltonians: Renormalization group transformations, symmetry breaking and restoration [0.0]
  我々は、位相分類のために設計されたニューラルネットワークの予測関数を、系のハミルトニアン内の外部磁場に結合した共役変数として含む。 結果は, 対称性を破り, 復元することで, 秩序相転移を誘導できることを示す。 機械学習と物理をブリッジする上で,この手法がいかに重要なステップを提供するかを論じる。
  論文  参考訳（メタデータ） (2020-09-30T18:44:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。