論文の概要: Foundation of Calculating Normalized Maximum Likelihood for Continuous Probability Models

• arxiv url: http://arxiv.org/abs/2409.08387v1
• Date: Thu, 12 Sep 2024 20:34:03 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-16 18:27:26.915311
• Title: Foundation of Calculating Normalized Maximum Likelihood for Continuous Probability Models
• Title（参考訳）: 連続確率モデルのための正規化極大近似計算の基礎
• Authors: Atsushi Suzuki, Kota Fukuzawa, Kenji Yamanishi,
• Abstract要約: 正規化最大可能性 (NML) 符号長はモデル選択基準として広く使われている。 NML符号長を計算する一般的な方法は、関数の和(離散モデル)または積分(連続モデル)を使用することである。 本稿では,本手法が連続例に対しても正しいことを証明する。
• 参考スコア（独自算出の注目度）: 11.25900601697976
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The normalized maximum likelihood (NML) code length is widely used as a model selection criterion based on the minimum description length principle, where the model with the shortest NML code length is selected. A common method to calculate the NML code length is to use the sum (for a discrete model) or integral (for a continuous model) of a function defined by the distribution of the maximum likelihood estimator. While this method has been proven to correctly calculate the NML code length of discrete models, no proof has been provided for continuous cases. Consequently, it has remained unclear whether the method can accurately calculate the NML code length of continuous models. In this paper, we solve this problem affirmatively, proving that the method is also correct for continuous cases. Remarkably, completing the proof for continuous cases is non-trivial in that it cannot be achieved by merely replacing the sums in discrete cases with integrals, as the decomposition trick applied to sums in the discrete model case proof is not applicable to integrals in the continuous model case proof. To overcome this, we introduce a novel decomposition approach based on the coarea formula from geometric measure theory, which is essential to establishing our proof for continuous cases.
• Abstract（参考訳）: 最小記述長原理に基づくモデル選択基準として、最も短いNML符号長を持つモデルを選択するために、正規化最大可能性(NML)符号長が広く使用される。 NML符号長を計算する一般的な方法は、最大極大推定器の分布によって定義される関数の和(離散モデル)または積分(連続モデル)を使用することである。 この手法は離散モデルのNML符号長を正確に計算することが証明されているが、連続した場合の証明は得られていない。 その結果、連続モデルのNML符号長を正確に計算できるかどうかは不明である。 本稿では,本手法が連続例においても正しいことを証明することによって,この問題を肯定的に解決する。 注目すべきは、離散モデルケース証明の和に適用される分解トリックが連続モデルケース証明の積分には適用されないため、離散ケースの和を積分に置き換えるだけでは達成できないという点において、連続ケースの証明を完了することは自明ではないことである。 これを解決するために,幾何測度理論のコアレア式に基づく新しい分解手法を導入する。

関連論文リスト

• Sobolev Space Regularised Pre Density Models [51.558848491038916]
  本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。 この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
  論文  参考訳（メタデータ） (2023-07-25T18:47:53Z)
• Generalised Bayesian Inference for Discrete Intractable Likelihood [9.331721990371769]
  本稿では、離散的難易度に適した新しい一般化されたベイズ推論手法を開発する。 連続データに対する最近の方法論的な進歩にインスパイアされた主なアイデアは、離散的なフィッシャー分岐を用いてモデルパラメータに関する信念を更新することである。 結果は一般化された後部であり、マルコフ・モンテカルロのような標準的な計算ツールからサンプリングすることができる。
  論文  参考訳（メタデータ） (2022-06-16T19:36:17Z)
• Universal Inference Meets Random Projections: A Scalable Test for Log-concavity [30.073886309373226]
  任意の次元の有限標本で証明可能な対数凹凸の最初のテストを示す。 D次元試験問題を多くの一次元問題に変換するランダム・プロジェクション・アプローチは高出力が得られる。
  論文  参考訳（メタデータ） (2021-11-17T17:34:44Z)
• Mean-Square Analysis with An Application to Optimal Dimension Dependence of Langevin Monte Carlo [60.785586069299356]
  この研究は、2-ワッサーシュタイン距離におけるサンプリング誤差の非同相解析のための一般的な枠組みを提供する。 我々の理論解析は数値実験によってさらに検証される。
  論文  参考訳（メタデータ） (2021-09-08T18:00:05Z)
• Convergence bounds for nonlinear least squares and applications to tensor recovery [0.0]
  我々は、L2$-ノルムの重み付きモンテカルロ推定のみを計算できる場合、一般非線形部分集合である$L2$の関数を近似する問題を考える。 結果の批判的分析により、低ランクテンソルのモデル集合に対するサンプル効率の良いアルゴリズムを導出できる。
  論文  参考訳（メタデータ） (2021-08-11T14:14:02Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Breaking the Sample Size Barrier in Model-Based Reinforcement Learning with a Generative Model [50.38446482252857]
  本稿では、生成モデル(シミュレータ)へのアクセスを想定して、強化学習のサンプル効率について検討する。 最初に$gamma$-discounted infinite-horizon Markov decision process (MDPs) with state space $mathcalS$ and action space $mathcalA$を考える。 対象の精度を考慮すれば,モデルに基づく計画アルゴリズムが最小限のサンプルの複雑さを実現するのに十分であることを示す。
  論文  参考訳（メタデータ） (2020-05-26T17:53:18Z)
• Consistency of a Recurrent Language Model With Respect to Incomplete Decoding [67.54760086239514]
  逐次言語モデルから無限長のシーケンスを受信する問題について検討する。 不整合に対処する2つの対策として、トップkと核サンプリングの一貫性のある変種と、自己終端の繰り返し言語モデルを提案する。
  論文  参考訳（メタデータ） (2020-02-06T19:56:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。