Fugu-MT 論文翻訳(概要): Minimax Optimal Estimation of KL Divergence for Continuous Distributions

論文の概要: Minimax Optimal Estimation of KL Divergence for Continuous Distributions

arxiv url: http://arxiv.org/abs/2002.11599v1
Date: Wed, 26 Feb 2020 16:37:37 GMT
ステータス: 処理完了
システム内更新日: 2022-12-28 15:46:37.852493
Title: Minimax Optimal Estimation of KL Divergence for Continuous Distributions
Title（参考訳）: 連続分布に対するkl発散のミニマックス最適推定
Authors: Puning Zhao, Lifeng Lai
Abstract要約: Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
参考スコア（独自算出の注目度）: 56.29748742084386
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Estimating Kullback-Leibler divergence from identical and independently distributed samples is an important problem in various domains. One simple and effective estimator is based on the k nearest neighbor distances between these samples. In this paper, we analyze the convergence rates of the bias and variance of this estimator. Furthermore, we derive a lower bound of the minimax mean square error and show that kNN method is asymptotically rate optimal.
Abstract（参考訳）: Kullback-Leiblerの同一および独立に分布するサンプルからの分岐を推定することは、様々な領域において重要な問題である。単純で効果的な推定器は、これらのサンプル間のk近傍距離に基づいている。本稿では,この推定器のバイアスと分散の収束率について解析する。さらに,極小平均二乗誤差の下位境界を導出し,kNN法が漸近的に最適であることを示す。

関連論文リスト

A Geometric Unification of Distributionally Robust Covariance Estimators: Shrinking the Spectrum by Inflating the Ambiguity Set [20.166217494056916]
制約的な仮定を課さずに共分散推定器を構築するための原理的手法を提案する。頑健な推定器は効率的に計算可能で一貫したものであることを示す。合成および実データに基づく数値実験により、我々の頑健な推定器は最先端の推定器と競合していることが示された。
論文参考訳（メタデータ） (2024-05-30T15:01:18Z)
Mean-Square Analysis of Discretized It\^o Diffusions for Heavy-tailed Sampling [17.415391025051434]
重み付きポインカーの不等式に関連する伊藤拡散の自然クラスを離散化することにより、重み付き分布のクラスからのサンプリングの複雑さを分析する。平均二乗解析に基づいて、ワッサーシュタイン2計量のターゲット分布に近い分布が$epsilon$のサンプルを得るための反復複雑性を確立する。
論文参考訳（メタデータ） (2023-03-01T15:16:03Z)
Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
論文参考訳（メタデータ） (2022-02-23T06:11:49Z)
Neural Estimation of Statistical Divergences [24.78742908726579]
ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。 NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
論文参考訳（メタデータ） (2021-10-07T17:42:44Z)
Near-optimal inference in adaptive linear regression [60.08422051718195]
最小二乗法のような単純な方法でさえ、データが適応的に収集されるときの非正規な振る舞いを示すことができる。我々は,これらの分布異常を少なくとも2乗推定で補正するオンラインデバイアス推定器のファミリーを提案する。我々は,マルチアームバンディット,自己回帰時系列推定,探索による能動的学習などの応用を通して,我々の理論の有用性を実証する。
論文参考訳（メタデータ） (2021-07-05T21:05:11Z)
Variational Refinement for Importance Sampling Using the Forward Kullback-Leibler Divergence [77.06203118175335]
変分推論(VI)はベイズ推論における正確なサンプリングの代替として人気がある。重要度サンプリング(IS)は、ベイズ近似推論手順の推定を微調整し、偏りを逸脱するためにしばしば用いられる。近似ベイズ推論のための最適化手法とサンプリング手法の新たな組み合わせを提案する。
論文参考訳（メタデータ） (2021-06-30T11:00:24Z)
Distributionally Robust Parametric Maximum Likelihood Estimation [13.09499764232737]
パラメトリックな名目分布に対して,最悪の場合のログロスを均一に最小化する,分布的に頑健な最大確率推定器を提案する。我々の新しい頑健な推定器は、統計的整合性も享受し、回帰と分類の両方に有望な実験結果を提供する。
論文参考訳（メタデータ） (2020-10-11T19:05:49Z)
Rao-Blackwellizing the Straight-Through Gumbel-Softmax Gradient Estimator [93.05919133288161]
一般的なGumbel-Softmax推定器のストレートスルー変量の分散は、ラオ・ブラックウェル化により減少できることを示す。これは平均二乗誤差を確実に減少させる。これは分散の低減、収束の高速化、および2つの教師なし潜在変数モデルの性能向上につながることを実証的に実証した。
論文参考訳（メタデータ） (2020-10-09T22:54:38Z)
Asymptotic Analysis of Sampling Estimators for Randomized Numerical Linear Algebra Algorithms [43.134933182911766]
最小二乗問題に対するRandNLAサンプリング推定器の分布を導出する解析法を開発した。 AAMSE(Asymptotic Mean Squared Error)とEAMSE(Asymsymotic Mean Squared Error)に基づく最適なサンプリング確率の同定を行った。提案手法は, サンプリングプロセスにおけるレバレッジの役割を明らかにするとともに, 実験により既存の手法よりも改善したことを示す。
論文参考訳（メタデータ） (2020-02-24T20:34:50Z)
Estimating Gradients for Discrete Random Variables by Sampling without Replacement [93.09326095997336]
我々は、置換のないサンプリングに基づいて、離散確率変数に対する期待値の偏りのない推定器を導出する。推定器は3つの異なる推定器のラオ・ブラックウェル化として導出可能であることを示す。
論文参考訳（メタデータ） (2020-02-14T14:15:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。