論文の概要: Universal Bounds for Self-Normalized Kullback-Leibler Estimation

• arxiv url: http://arxiv.org/abs/2610.12851v1
• Date: Fri, 09 Oct 2026 01:20:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.338524
• Title: Universal Bounds for Self-Normalized Kullback-Leibler Estimation
• Title（参考訳）: 自己Normalized Kullback-Leibler推定のためのユニバーサル境界
• Abstract要約: Kullback-Leibler (KL) 分散のエントロピーに基づく推定器は、正規化重みから構築される。 我々は、任意のサンプルサイズに対して少なくとも$log 2$で、その期待がターゲット-プロポーサル KL の発散を超えることを示す普遍有限サンプル境界を証明した。 次に、重要度重み付け再サンプリングによる分布と提案とのKLの偏差を特徴付け、エントロピーに基づく推定器の期待値と目標確率KL偏差値の両方によって上界となることを示す。
• 参考スコア（独自算出の注目度）: 22.589726031958737
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This work studies an entropy-based estimator of Kullback-Leibler (KL) divergence constructed from normalized importance weights. We prove a universal finite-sample bound showing that its expectation can exceed the target-proposal KL divergence by at most $\log 2$ for any sample size. We then characterize the KL divergence between the distribution induced by importance-weighted resampling and the proposal, showing that it is upper bounded by both the expectation of the entropy-based estimator and the target-proposal KL divergence. Importantly, these bounds require neither bounded importance weights nor finite higher moments. We apply these results to test-time alignment of generative models via Soft Best-of-$N$ sampling, an importance-sampling-based scaling technique proposed by Verdun et al. (2025), and to relative entropy coding, obtaining finite-sample policy-divergence certificates and moment-free bounds on coding cost.
• Abstract（参考訳）: 本研究は、正規化重みから構築されたクルバック・リーブラー(KL)のエントロピーに基づく推定器について研究する。 我々は、任意のサンプルサイズに対して少なくとも$\log 2$ で、その期待値がターゲット-プロポーサル KL の発散を超えることができることを示す普遍有限サンプル境界を証明した。 次に、重要度重み付け再サンプリングによる分布と提案とのKLの偏差を特徴付け、エントロピーに基づく推定器の期待値と目標確率KL偏差値の両方によって上界となることを示す。 重要なことに、これらの境界は有界な重みも有限の高次モーメントも必要としない。 We apply these results to test-time alignment of generative model via Soft Best-of-N$ sample, a importance-sampling-based scaling technique by Verdun et al (2025) and to relative entropy coding, obtained finite-sample policy-divergence certificates and moment-free bounds on coding cost。

関連論文リスト

• Sample complexity of variance-reduced policy gradient: weaker assumptions and lower bounds [61.41272490044518]
  REINFORCEの分散還元バージョンは、$O(-3)$サンプルの複雑さを改善して$$-stationary点を求める。 本稿では, 従来の重みの分散を仮定することなく, 同一レートを達成できる, 防御重要度サンプリングに基づくアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2026-10-02T11:43:52Z)
• Sharp Convergence Rates for Masked Diffusion Models [53.117058231393834]
  制約を克服するオイラー法に対する全変分に基づく解析法を開発した。 その結果、スコア推定の仮定を緩和し、パラメータ依存性を改善し、収束保証を確立する。 全体としては,CTMC軌道に沿った直接テレビによる誤り分解と,FHSのためのデカップリングに基づく経路解析を導入している。
  論文  参考訳（メタデータ） (2026-02-26T00:47:51Z)
• Entropy-Based Dimension-Free Convergence and Loss-Adaptive Schedules for Diffusion Models [3.2091923314854416]
  学習スコア(またはデノイザー)によって駆動される逆時間ダイナミクスを離散化することで拡散生成モデルがサンプルを合成する 我々は、幾何学的仮定を避けるために、次元自由収束に対する情報理論的アプローチを開発する。 また、逆SDEの効率的な離散化のための損失適応スケジュール(LAS)を提案し、これは軽量であり、訓練損失のみに依存している。
  論文  参考訳（メタデータ） (2026-01-29T16:28:21Z)
• CLT and Edgeworth Expansion for m-out-of-n Bootstrap Estimators of The Studentized Median [5.267184810624153]
  m-out-of-nブートストラップはmサブサンプルをnサイズの元のサンプルから置き換えることなく繰り返し描画することで統計量の分布を近似する。 エコノメトリ、バイオ統計学、機械学習にまたがる幅広い適用性にもかかわらず、ブートストラップの音質に対する厳密なパラメータなし保証はいまだに解明されていない。 本稿では,n 個のデータセットの m-of-n 再サンプリングから得られたサンプル定量値の推定器を解析することにより,そのような保証を確立する。
  論文  参考訳（メタデータ） (2025-05-16T22:14:49Z)
• Tamed Langevin sampling under weaker conditions [27.872857402255775]
  ログコンケーブではなく,弱い散逸性しか持たない分布から抽出する問題について検討する。 そこで本研究では,対象分布の成長と崩壊特性に合わせたテイミング手法を提案する。 提案したサンプルに対して,Kulback-Leiblerの発散,全変動,ワッサーシュタイン距離といった条件で明確な非漸近保証を与える。
  論文  参考訳（メタデータ） (2024-05-27T23:00:40Z)
• KL Convergence Guarantees for Score diffusion models under minimal data assumptions [9.618473763561418]
  注目すべき課題は、包括的な定量的結果の欠如という形で続いている。 この記事では、Ornstein-Uhlenbeck半群とその運動論的対応から生じる一定のステップサイズを持つスコア拡散モデルに焦点を当てる。
  論文  参考訳（メタデータ） (2023-08-23T16:31:08Z)
• Adaptive Annealed Importance Sampling with Constant Rate Progress [68.8204255655161]
  Annealed Importance Smpling (AIS)は、抽出可能な分布から重み付けされたサンプルを合成する。 本稿では,alpha$-divergencesに対する定数レートAISアルゴリズムとその効率的な実装を提案する。
  論文  参考訳（メタデータ） (2023-06-27T08:15:28Z)
• Optimal Scaling for Locally Balanced Proposals in Discrete Spaces [65.14092237705476]
  離散空間におけるMetropolis-Hastings (M-H) アルゴリズムの効率は、対象分布に依存しない受容率によって特徴づけられることを示す。 最適受容率の知識は、連続空間におけるステップサイズ制御と直接的に類似して、離散空間における提案分布の近傍サイズを自動的に調整することを可能にする。
  論文  参考訳（メタデータ） (2022-09-16T22:09:53Z)
• Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
  変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。 重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。 近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
  論文  参考訳（メタデータ） (2021-06-30T11:00:24Z)
• Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
  確率分布が未知な分布の不確実性の下でBQOについて検討する。 標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。 この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
  論文  参考訳（メタデータ） (2020-01-19T12:00:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。