論文の概要: An Asymptotic Equation Linking WAIC and WBIC in Singular Models

• arxiv url: http://arxiv.org/abs/2505.13902v2
• Date: Wed, 21 May 2025 04:10:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 13:19:52.346054
• Title: An Asymptotic Equation Linking WAIC and WBIC in Singular Models
• Title（参考訳）: 特異モデルにおける漸近方程式リンクWAICとWBIC
• Authors: Naoki Hayashi, Takuro Kutsuna, Sawa Takamuku,
• Abstract要約: 統計的学習において、モデルはパラメータから確率分布への写像が射影的であるかどうかによって、正規または特異に分類される。 階層構造や潜伏変数を持つほとんどのモデルは特異であり、従来の基準は確率と後部の正規近似の分解のために適用できない。 この理論的な貢献は、特異モデルにおけるモデル選択の計算効率における将来の発展の基礎となる。
• 参考スコア（独自算出の注目度）: 2.385046494466299
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In statistical learning, models are classified as regular or singular depending on whether the mapping from parameters to probability distributions is injective. Most models with hierarchical structures or latent variables are singular, for which conventional criteria such as the Akaike Information Criterion and the Bayesian Information Criterion are inapplicable due to the breakdown of normal approximations for the likelihood and posterior. To address this, the Widely Applicable Information Criterion (WAIC) and the Widely Applicable Bayesian Information Criterion (WBIC) have been proposed. Since WAIC and WBIC are computed using posterior distributions at different temperature settings, separate posterior sampling is generally required. In this paper, we theoretically derive an asymptotic equation that links WAIC and WBIC, despite their dependence on different posteriors. This equation yields an asymptotically unbiased expression of WAIC in terms of the posterior distribution used for WBIC. The result clarifies the structural relationship between these criteria within the framework of singular learning theory, and deepens understanding of their asymptotic behavior. This theoretical contribution provides a foundation for future developments in the computational efficiency of model selection in singular models.
• Abstract（参考訳）: 統計的学習において、モデルはパラメータから確率分布への写像が射影的であるかどうかによって、正規または特異に分類される。 階層構造や潜伏変数を持つほとんどのモデルは特異であり、赤池情報量規準やベイズ情報量規準のような従来の基準は、確率と後方の正規近似の分解により適用できない。 これを解決するために、ワイド・応用可能な情報基準(WAIC)とワイド・応用可能なベイズ情報基準(WBIC)が提案されている。 WAICとWBICは異なる温度設定で後続分布を用いて計算されるため、一般的に異なる後続サンプリングが必要である。 本稿では, WAIC と WBIC を結合する漸近方程式を理論的に導出する。 この方程式は、WBICに使用される後部分布の観点から、WAICの漸近的に偏りのない表現をもたらす。 この結果は、特異学習理論の枠組みにおけるこれらの基準間の構造的関係を明らかにし、それらの漸近的行動の理解を深める。 この理論的な貢献は、特異モデルにおけるモデル選択の計算効率における将来の発展の基礎となる。

関連論文リスト

• Generalized Criterion for Identifiability of Additive Noise Models Using Majorization [7.448620208767376]
  本稿では,有向非巡回グラフ(DAG)モデルに対する新しい識別可能性基準を提案する。 この基準が既存の識別可能性基準を拡張し、一般化することを実証する。 本稿では,変数のトポロジ的順序付けを学習するための新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-04-08T02:18:57Z)
• Statistical inference for pairwise comparison models [5.487882744996216]
  本稿では、ペアワイズ比較モデルの幅広いクラスにおいて、最大極大に対する準最適正規性を確立する。 鍵となる考え方は、フィッシャー情報行列を重み付きグラフラプラシアンとして同定することである。
  論文  参考訳（メタデータ） (2024-01-16T16:14:09Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Bayesian Renormalization [68.8204255655161]
  ベイズ統計的推論にインスパイアされた再正規化に対する完全情報理論的アプローチを提案する。 ベイズ再正規化の主な洞察は、フィッシャー計量が創発的RGスケールの役割を担う相関長を定義することである。 本研究では,ベイズ正規化方式が既存のデータ圧縮法やデータ生成法とどのように関係しているかを考察する。
  論文  参考訳（メタデータ） (2023-05-17T18:00:28Z)
• On the Foundations of Cycles in Bayesian Networks [4.312746668772342]
  本稿では,サイクルフリー設定を包括的かつ保守的に拡張したサイクリックBNのセマンティクスに関する基礎的研究を行う。 まず, BN上の完全関節分布の要件を局所的条件付き確率と独立性に整合させる制約に基づく意味論を提案する。 第二に、無限展開アプローチを形式化する2種類の極限意味論を導入し、マルコフ連鎖の構成によって計算可能であることを示した。
  論文  参考訳（メタデータ） (2023-01-20T14:40:17Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Optimal regularizations for data generation with probabilistic graphical models [0.0]
  経験的に、よく調和された正規化スキームは、推論されたモデルの品質を劇的に改善する。 生成的ペアワイドグラフィカルモデルの最大Aポストエリオーリ(MAP)推論におけるL2とL1の正規化について検討する。
  論文  参考訳（メタデータ） (2021-12-02T14:45:16Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• GANs with Conditional Independence Graphs: On Subadditivity of Probability Divergences [70.30467057209405]
  GAN(Generative Adversarial Networks)は、データセットの基盤となる分布を学習するための現代的な手法である。 GANは、基礎となるディストリビューションに関する追加情報がないモデルフリーで設計されている。 本稿では,ベイズネット/MRFの近傍に単純な識別器群を用いたモデルベースGANの設計を提案する。
  論文  参考訳（メタデータ） (2020-03-02T04:31:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。