論文の概要: PAC-Bayes Beyond Parameter Space: Behavioral Equivalence, Z-Information, and Exact Complexity Decomposition

• arxiv url: http://arxiv.org/abs/2608.11465v1
• Date: Tue, 11 Aug 2026 22:09:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-13 19:07:54.394263
• Title: PAC-Bayes Beyond Parameter Space: Behavioral Equivalence, Z-Information, and Exact Complexity Decomposition
• Title（参考訳）: PAC-Bayes over Parameter Space: Behavioral Equivalence, Z-information, and Exact Complexity Decomposition
• Abstract要約: PAC-ベイズ理論は、選択された仮説表現に対するクルバック-リーブラ(KL)の発散を制御することによって一般化保証を提供する。 PAC-Bayes KLの発散は,行動等価化の変動から予測行動に対する不確かさを区別しないことを示す。 測定可能な振る舞いマップを用いて行動同値を定式化し, 構成空間上の確率測度を予測行動上の分布に分解する。
• 参考スコア（独自算出の注目度）: 14.573126997307916
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: PAC-Bayes theory provides generalization guarantees by controlling the Kullback--Leibler (KL) divergence between posterior and prior distributions over a chosen hypothesis representation. However, predictive risk depends only on the predictive behavior induced by a hypothesis, not on the particular internal realization that implements that behavior. In over-parameterized systems, many distinct configurations induce identical predictive behavior, yet the classical PAC-Bayes KL divergence does not distinguish uncertainty over predictive behavior from variation among behaviorally equivalent realizations. We show that this distinction induces an exact structural decomposition of classical PAC-Bayes complexity. We formalize behavioral equivalence through a measurable behavior map and use measure disintegration to decompose probability measures on the configuration space into a distribution over predictive behaviors and conditional distributions over behavioral fibers. This yields an exact decomposition of the classical PAC-Bayes KL divergence into a behavior-selection term and a realization-level term given by an expected conditional KL within fibers. We define Z-information as the negative of this realization-level contribution: the exact gap between the KL divergence and the complexity of uncertainty over predictive behavior alone. We further show that the behavior-selection term admits an exact variational characterization: it is the minimum KL divergence among all posteriors inducing the same distribution over predictive behaviors, attained by a canonical fiber-symmetrized representative. Finally, we show that symmetry, behavior-preserving directions, fiber geometry, and invariance under fiber-preserving perturbations arise naturally from the same behavior-map structure. Together, these results identify predictive behavior as the natural object of PAC-Bayes complexity.
• Abstract（参考訳）: PAC-ベイズ理論は、選択された仮説表現上の後方分布と先行分布の間のクルバック-リーブラ(KL)偏差を制御することによって一般化保証を提供する。 しかし、予測リスクは仮説によって引き起こされる予測行動にのみ依存し、その振る舞いを実装する特定の内部的実現には依存しない。 過パラメータ化系では、多くの異なる構成が同一の予測挙動を誘導するが、古典的なPAC-Bayes KLの発散は、振る舞い等価な実現の変動から予測挙動に対する不確実性を区別しない。 この区別は、古典的なPAC-Bayes複雑性の正確な構造的分解を引き起こすことを示す。 本研究では, 測定可能な挙動マップを用いて行動等価性を定式化し, 構成空間上の確率測度を, 挙動繊維上の予測挙動と条件分布の分布に分解する。 これにより、古典的なPAC-ベイズKLの偏差は、挙動選択項と、繊維内の期待条件付きKLによって与えられる実現レベル項に正確に分解される。 我々は、Z情報(Z-information)を、この実現レベル寄与の負の値として定義する: KLの発散と予測行動のみに対する不確実性の複雑さの正確なギャップである。 さらに、行動選択項は正確な変分的特徴を認めており、これは正準ファイバー対称性の代表によって達成された予測行動に対して同じ分布を誘導するすべての後部における最小KL分散であることを示す。 最後に, ファイバー保存摂動下での対称性, 挙動保存方向, 繊維幾何学, 不変性が, 同じ挙動マップ構造から自然に生じることを示す。 これらの結果は、予測行動がPAC-Bayes複雑性の自然な対象であることを示す。

関連論文リスト

• High-dimensional ridgeless least squares interpolation under spiked covariance structures [3.656751299156262]
  本稿では,高次元のリッジレス最小二乗推定器において,特徴量$p$とサンプルサイズ$n$が比例的に大きくなる場合のサンプル外予測リスクについて検討する。 遅延スパイク方向に沿って分布する信号エネルギーは、過適合が良性、誘惑的、破滅的な過適合につながるか否かを決定する。
  論文  参考訳（メタデータ） (2026-08-07T14:40:44Z)
• Smoothness-Based Derandomization of PAC-Bayes Bounds [48.06655334157014]
  滑らかな損失関数に対するPAC-Bayesデランドマイゼーションについて検討した。 我々は,ギブス予測器から後方平均における決定論的予測器への非有界通過に正確なコストがかかることを示した。 結果は線形予測器やスムーズなニューラルネットワークに特化する。
  論文  参考訳（メタデータ） (2026-06-17T14:17:44Z)
• On the Structural Non-Preservation of Epistemic Behaviour under Policy Transformation [51.56484100374058]
  このような情報条件の相互作用パターンを振る舞い依存として定式化する。 これにより、$$-behavioural equivalenceというプローブ相対的な概念と、政治内行動距離が導かれる。 その結果、共通政策変換の下でプローブ条件の挙動分離が保存されない構造条件が明らかになった。
  論文  参考訳（メタデータ） (2026-02-24T22:55:21Z)
• Credal Concept Bottleneck Models: Structural Separation of Epistemic and Aleatoric Uncertainty [38.040646841317965]
  本研究では,不確かさを予測分布の集合として表すクレダルセットの定式化を提案する。 我々はこのアイデアを2つの不整合不確実性ヘッドを持つ変分クレダル概念ボトルネックモデルでインスタンス化する。
  論文  参考訳（メタデータ） (2026-02-11T10:54:57Z)
• Counterfactual Realizability [52.85109506684737]
  本稿では, 正規化可能性の定義, 分布からサンプルを抽出する能力を導入し, 任意の反事実分布が実現可能であるかどうかを判定する完全アルゴリズムを開発する。 本稿では、因果的公正さと因果的強化学習のモチベーション例を用いて、この新たな反ファクト的データ収集フレームワークの意義を説明する。
  論文  参考訳（メタデータ） (2025-03-14T20:54:27Z)
• Causal vs. Anticausal merging of predictors [57.26526031579287]
  同じデータを用いて、因果方向と反因果方向の融合予測器から生じる差について検討した。 帰納的バイアスとしてCausal Maximum Entropy (CMAXENT) を用いて予測器をマージする。
  論文  参考訳（メタデータ） (2025-01-14T20:38:15Z)
• Learning Invariant Representations under General Interventions on the Response [2.725698729450241]
  線形構造因果モデル(SCM)に着目し、不変整合性(IMP)を導入する。 離散環境と連続環境の両方において,本手法の一般化誤差を解析する。
  論文  参考訳（メタデータ） (2022-08-22T03:09:17Z)
• Discovering Latent Causal Variables via Mechanism Sparsity: A New Principle for Nonlinear ICA [81.4991350761909]
  ICA(Independent component analysis)は、この目的を定式化し、実用的な応用のための推定手順を提供する手法の集合を指す。 潜伏変数は、潜伏機構をスパースに正則化すれば、置換まで復元可能であることを示す。
  論文  参考訳（メタデータ） (2021-07-21T14:22:14Z)
• Which Invariance Should We Transfer? A Causal Minimax Learning Approach [18.71316951734806]
  本稿では、因果的観点からの包括的ミニマックス分析について述べる。 最小の最悪のリスクを持つサブセットを探索する効率的なアルゴリズムを提案する。 本手法の有効性と有効性は, 合成データとアルツハイマー病の診断で実証された。
  論文  参考訳（メタデータ） (2021-07-05T09:07:29Z)
• The Hidden Uncertainty in a Neural Networks Activations [105.4223982696279]
  ニューラルネットワークの潜在表現の分布は、アウト・オブ・ディストリビューション(OOD)データの検出に成功している。 本研究は、この分布が、モデルの不確実性と相関しているかどうかを考察し、新しい入力に一般化する能力を示す。
  論文  参考訳（メタデータ） (2020-12-05T17:30:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。