論文の概要: The Normalized Maximum Likelihood for Regular Non-Smooth Models: Measure-Theoretic Foundations and Geometric Sampling

• arxiv url: http://arxiv.org/abs/2605.24477v1
• Date: Sat, 23 May 2026 08:57:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-26 19:50:18.076962
• Title: The Normalized Maximum Likelihood for Regular Non-Smooth Models: Measure-Theoretic Foundations and Geometric Sampling
• Title（参考訳）: 正則非滑らかモデルに対する正規化極大近似:測定理論の基礎と幾何サンプリング
• Authors: Trenton Lau, Gary P. T. Choi,
• Abstract要約: 非平滑モデルに対する正規化最大公約(NML)符号長を計算するための厳密なフレームワークを提供する。 古典的幾何測度理論を適用して、保守的ヤコビアンとコアレの公式をブリッジすることによって、非滑らかなモデルの複雑さがよく表されることを示す。 本研究は,非平滑モデルに対するNML符号長の理論解析の道を開くものである。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Normalized Maximum Likelihood (NML) codelength, or stochastic complexity, represents a principled criterion for universal coding. While recent coarea-based formulations provided a calculation method for smooth models, this framework collapses for the non-smooth estimators ubiquitous in modern machine learning (e.g., Lasso, Sparse SVMs). In this work, we provide a rigorous framework for computing the NML for regular path-differentiable Lipschitz (PDL) estimators. By applying classical geometric measure theory and bridging the coarea formula with conservative Jacobians, we prove that the stochastic complexity for non-smooth models is well-posed and theoretically consistent with the outputs of modern Automatic Differentiation. To compute this quantity exactly, we introduce the Propose-and-Project Metropolis-Hastings (PDL-PPMH) sampler, a geometric MCMC algorithm capable of traversing the non-differentiable level sets of the maximum likelihood estimator. We theoretically justify its components, including a stochastic tangent space proposal and a provably convergent non-smooth projection solver. We demonstrate the method's robustness by sampling from a high-dimensional Lasso posterior ($P=2000$), while simultaneously quantifying the computational scaling that governs the trade-off between exactness and mixing time. Crucially, we empirically demonstrate that our exact NML criterion provides a highly data-efficient alternative to cross-validation, achieving statistically indistinguishable predictive optima without requiring data splitting. Altogether, our work paves the way for the theoretical analysis of the NML codelength for regular non-smooth models.
• Abstract（参考訳）: 正規化最大公約数(NML)符号長(英: Normalized Maximum Likelihood)は、普遍符号化の原理的な基準である。 最近のcoareaベースの定式化はスムーズなモデルの計算方法を提供しているが、このフレームワークは現代の機械学習(Lasso、Sparse SVMsなど)でユビキタスな非滑らかな推定器で崩壊する。 本研究では,正規経路微分可能リプシッツ(PDL)推定器に対するNML計算のための厳密なフレームワークを提供する。 古典的幾何測度理論を適用し、コリア式を保守的ヤコビアンとブリッジすることで、非滑らかなモデルの確率的複雑性は、現代的自動微分の出力とよく似ており理論的に一致していることを示す。 そこで本研究では,PDL-PPMH(Propose-and-Project Metropolis-Hastings:プロポーション・アンド・プロジェクト・メトロポリス・ハスティングス:PDL-PPMH)サンプリングアルゴリズムを導入する。 理論的には、確率的接空間の提案と、証明可能な収束性非滑らか射影解法を含む、その成分を正当化する。 本研究では, 高次元ラッソ後方(P=2000$)からサンプリングし, 精度と混合時間とのトレードオフを規定する計算スケーリングを同時に定量化することにより, 手法のロバスト性を実証する。 重要なことは、我々の正確なNML基準が、データ分割を必要とせずに統計的に区別不能な予測最適化を達成し、クロスバリデーションに非常にデータ効率のよい代替手段を提供することを実証的に実証している。 また,本研究は,正規非平滑モデルに対するNML符号長の理論解析の道を開くものである。

関連論文リスト

• BOOOM: Loss-Function-Agnostic Black-Box Optimization over Orthonormal Manifolds for Machine Learning and Statistical Inference [0.0]
  我々は体系的な調査を行う。 対価のセット 直交円柱-直交円柱-直交円柱をaを通して脱出する。 データデータに適用されたノベル。 問題だ 対角最適化の枠組みを示す。 強力で低ランクな分解、独立的な分解分析。 環境下でのグローバルな収束です
  論文  参考訳（メタデータ） (2026-04-23T19:32:27Z)
• Provably Adaptive Linear Approximation for the Shapley Value and Beyond [73.0940890296463]
  基本的で長期にわたる課題は、その効率的な近似である。 一般に用いられるすべての半値に対して$P(|hatboldsymbol-boldsymbol|_2geq)leq$を必要とする線形空間アルゴリズムを開発する。 本アルゴリズムは,各ユーティリティ関数の平均二乗誤差の明示的最小化を可能にする。
  論文  参考訳（メタデータ） (2026-04-09T16:38:14Z)
• Model Selection and Parameter Estimation of Multi-dimensional Gaussian Mixture Model [5.917400794867873]
  多次元ガウス混合モデル(GMM)の学習問題について検討する。 まず、信頼性の高い選択に必要な情報理論の低いサンプルを確立する。 そこで我々は,経験的共分散行列のスペクトルギャップを評価するしきい値に基づく推定法を提案する。
  論文  参考訳（メタデータ） (2026-03-20T05:45:24Z)
• Exact and general decoupled solutions of the LMC Multitask Gaussian Process model [28.32223907511862]
  コリージョン化線形モデル(英: Linear Model of Co- Regionalization、LMC)は、回帰や分類のためのマルチタスクガウス過程の非常に一般的なモデルである。 最近の研究によると、ある条件下では、モデルの潜在過程は切り離され、そのプロセスの数でのみ線形となる複雑さが生じる。 ここでは、これらの結果を拡張し、LCCの効率的な正確な計算に必要な条件はノイズモデルに関する軽度の仮説である、という最も一般的な仮定から示している。
  論文  参考訳（メタデータ） (2023-10-18T15:16:24Z)
• SIGMA: Scale-Invariant Global Sparse Shape Matching [50.385414715675076]
  非剛体形状の正確なスパース対応を生成するための新しい混合整数プログラミング(MIP)法を提案する。 いくつかの挑戦的な3Dデータセットに対して,スパースな非剛性マッチングの最先端結果を示す。
  論文  参考訳（メタデータ） (2023-08-16T14:25:30Z)
• Faster One-Sample Stochastic Conditional Gradient Method for Composite Convex Minimization [61.26619639722804]
  滑らかで非滑らかな項の和として形成される凸有限サム目標を最小化するための条件勾配法(CGM)を提案する。 提案手法は, 平均勾配 (SAG) 推定器を備え, 1回に1回のサンプルしか必要としないが, より高度な分散低減技術と同等の高速収束速度を保証できる。
  論文  参考訳（メタデータ） (2022-02-26T19:10:48Z)
• A Proximal Algorithm for Sampling from Non-smooth Potentials [10.980294435643398]
  非滑らかなポテンシャルからのサンプリングのための新しいMCMCアルゴリズムを提案する。 本手法は, 近似バンドル法と交互サンプリングフレームワークに基づく。 この研究の重要な貢献は、任意の凸非滑らかポテンシャルに対して制限されたガウスオラクルを実現する高速アルゴリズムである。
  論文  参考訳（メタデータ） (2021-10-09T15:26:07Z)
• Amortized Conditional Normalized Maximum Likelihood: Reliable Out of Distribution Uncertainty Estimation [99.92568326314667]
  本研究では,不確実性推定のための拡張性のある汎用的アプローチとして,償却条件正規化最大値(ACNML)法を提案する。 提案アルゴリズムは条件付き正規化最大度(CNML)符号化方式に基づいており、最小記述長の原理に従って最小値の最適特性を持つ。 我々は、ACNMLが、分布外入力のキャリブレーションの観点から、不確実性推定のための多くの手法と好意的に比較することを示した。
  論文  参考訳（メタデータ） (2020-11-05T08:04:34Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。