論文の概要: Approximating $f$-Divergences with Rank Statistics

• arxiv url: http://arxiv.org/abs/2601.22784v1
• Date: Fri, 30 Jan 2026 10:05:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-02 18:28:15.372649
• Title: Approximating $f$-Divergences with Rank Statistics
• Title（参考訳）: ランク統計による$f$-divergencesの近似
• Authors: Viktor Stein, José Manuel de Frutos,
• Abstract要約: ランクの分布を直接扱うことで、明示的な密度比推定を避けるために、$f$-divergencesのランク統計近似を導入する。 発散の結果として生じる推定量は、K$の単調であり、常に真$f$-発散の下位境界であることを示す。 ニューラルベースラインに対するベンチマークによるアプローチを実証的に検証し,生成モデル実験における学習目的としての利用を例証する。
• 参考スコア（独自算出の注目度）: 0.3222802562733787
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a rank-statistic approximation of $f$-divergences that avoids explicit density-ratio estimation by working directly with the distribution of ranks. For a resolution parameter $K$, we map the mismatch between two univariate distributions $μ$ and $ν$ to a rank histogram on $\{ 0, \ldots, K\}$ and measure its deviation from uniformity via a discrete $f$-divergence, yielding a rank-statistic divergence estimator. We prove that the resulting estimator of the divergence is monotone in $K$, is always a lower bound of the true $f$-divergence, and we establish quantitative convergence rates for $K\to\infty$ under mild regularity of the quantile-domain density ratio. To handle high-dimensional data, we define the sliced rank-statistic $f$-divergence by averaging the univariate construction over random projections, and we provide convergence results for the sliced limit as well. We also derive finite-sample deviation bounds along with asymptotic normality results for the estimator. Finally, we empirically validate the approach by benchmarking against neural baselines and illustrating its use as a learning objective in generative modelling experiments.
• Abstract（参考訳）: ランクの分布を直接扱うことで、明示的な密度比推定を避けるために、$f$-divergencesのランク統計近似を導入する。 分解パラメータ $K$ に対して、$μ$ と $ν$ の2つの単変数分布のミスマッチを $\{ 0, \ldots, K\}$ 上のランクヒストグラムにマッピングし、その偏差を離散的な$f$偏差で測定し、階数統計分数推定器を生成する。 我々は、発散の結果として生じる推定量は、常に真$f$-発散の低い境界である$K$のモノトンであることが証明され、量子-領域密度比の穏やかな規則性の下で、$K\to\infty$の定量的収束速度を確立する。 高次元データを扱うために、ランダムな射影に対する一変量構成を平均化することにより、スライスされた階数統計学の$f$-divergenceを定義し、スライスされた極限に対する収束結果も提供する。 また, 有限サンプル偏差境界と漸近正規化結果も導出する。 最後に、ニューラルベースラインに対してベンチマークを行い、生成モデル実験における学習目的としての使用を図示することで、アプローチを実証的に検証する。

関連論文リスト

• Faster Diffusion Models via Higher-Order Approximation [28.824924809206255]
  本稿では,d1+2/K varepsilon-1/K $$のスコア関数評価のみを必要とする,原則付き無トレーニングサンプリングアルゴリズムを提案する。 我々の理論はロバストなvis-a-vis不正確なスコア推定であり、スコア推定誤差が増加するにつれて優雅に劣化する。 より広範に、我々は高速サンプリングのための高次手法の有効性を理解するための理論的枠組みを開発した。
  論文  参考訳（メタデータ） (2025-06-30T16:49:03Z)
• Beyond likelihood ratio bias: Nested multi-time-scale stochastic approximation for likelihood-free parameter estimation [49.78792404811239]
  確率分析形式が不明なシミュレーションベースモデルにおける推論について検討する。 我々は、スコアを同時に追跡し、パラメータ更新を駆動する比率のないネスト型マルチタイムスケール近似(SA)手法を用いる。 我々のアルゴリズムは、オリジナルのバイアス$Obig(sqrtfrac1Nbig)$を排除し、収束率を$Obig(beta_k+sqrtfracalpha_kNbig)$から加速できることを示す。
  論文  参考訳（メタデータ） (2024-11-20T02:46:15Z)
• O(d/T) Convergence Theory for Diffusion Probabilistic Models under Minimal Assumptions [6.76974373198208]
  最小の仮定の下で,拡散確率モデル(DDPM)の高速収束理論を確立する。 収束率は$O(k/T)$に改善され、$k$は対象データ分布の内在次元であることを示す。 これはDDPMが未知の低次元構造に自動的に適応する能力を強調している。
  論文  参考訳（メタデータ） (2024-09-27T17:59:10Z)
• Non-asymptotic bounds for forward processes in denoising diffusions: Ornstein-Uhlenbeck is hard to beat [49.1574468325115]
  本稿では,全変動(TV)における前方拡散誤差の非漸近的境界について述べる。 我々は、R$からFarthestモードまでの距離でマルチモーダルデータ分布をパラメライズし、加法的および乗法的雑音による前方拡散を考察する。
  論文  参考訳（メタデータ） (2024-08-25T10:28:31Z)
• Variance Reduction for the Independent Metropolis Sampler [11.074080383657453]
  我々は、$pi$がKL分散の下で別の密度$q$に十分近い場合、$pi$からサンプルを得る独立したサンプリング器は、$pi$からサンプリングするi.d.よりも小さな分散を達成することを証明した。 提案手法は,KLの目標との偏差が低減されるように,提案密度に適応する適応型独立メトロポリスアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-06-25T16:38:53Z)
• Sampling and estimation on manifolds using the Langevin diffusion [45.57801520690309]
  離散化マルコフ過程に基づく$mu_phi $の線形汎函数の2つの推定器を検討する。 誤差境界は、本質的に定義されたランゲヴィン拡散の離散化を用いてサンプリングと推定のために導出される。
  論文  参考訳（メタデータ） (2023-12-22T18:01:11Z)
• TIC-TAC: A Framework for Improved Covariance Estimation in Deep Heteroscedastic Regression [109.69084997173196]
  奥行き回帰は、予測分布の平均と共分散を負の対数類似度を用いて共同最適化する。 近年の研究では, 共分散推定に伴う課題により, 準最適収束が生じる可能性が示唆されている。 1)予測共分散は予測平均のランダム性を真に捉えているか? その結果, TICは共分散を正確に学習するだけでなく, 負の対数類似性の収束性の向上も促進することがわかった。
  論文  参考訳（メタデータ） (2023-10-29T09:54:03Z)
• Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
  カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。 我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。 MRP のサブクラスに対する minimax の下位境界を証明する。
  論文  参考訳（メタデータ） (2021-09-24T14:48:20Z)
• Convergence Rates of Stochastic Gradient Descent under Infinite Noise Variance [14.06947898164194]
  ヘビーテールは様々なシナリオで勾配降下 (sgd) で現れる。 SGDの収束保証は、潜在的に無限のばらつきを持つ状態依存性および重尾ノイズ下で提供します。 その結果,SGDは無限に分散した重尾雑音下であっても,地球最適値に収束できることが示された。
  論文  参考訳（メタデータ） (2021-02-20T13:45:11Z)
• Optimal Sub-Gaussian Mean Estimation in $\mathbb{R}$ [5.457150493905064]
  ガウス下収束を考慮した新しい推定器を提案する。 我々の推定器はその分散に関する事前の知識を必要としない。 我々の推定器の構成と分析は、他の問題に一般化可能なフレームワークを提供する。
  論文  参考訳（メタデータ） (2020-11-17T02:47:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。