論文の概要: Estimating R\'enyi's $\alpha$-Cross-Entropies in a Matrix-Based Way
- arxiv url: http://arxiv.org/abs/2109.11737v1
- Date: Fri, 24 Sep 2021 04:11:47 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-28 01:22:33.943972
- Title: Estimating R\'enyi's $\alpha$-Cross-Entropies in a Matrix-Based Way
- Title（参考訳）: R\'enyiの$\alpha$-Cross-Entropiesを行列ベースで推定する
- Authors: Isaac J. Sledge and Jose C. Principe
- Abstract要約: 本稿では,関数に基づくクロスエントロピーの定式化について考察する。
我々は、R'enyiの$alpha$-cross-entropiesを、バイアスのない、非パラメトリックで、ミニマックス最適化的な方法で推定できることを証明した。
- 参考スコア（独自算出の注目度）: 12.716429755564821
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conventional information-theoretic quantities assume access to probability
distributions. Estimating such distributions is not trivial. Here, we consider
function-based formulations of cross entropy that sidesteps this a priori
estimation requirement. We propose three measures of R\'enyi's
$\alpha$-cross-entropies in the setting of reproducing-kernel Hilbert spaces.
Each measure has its appeals. We prove that we can estimate these measures in
an unbiased, non-parametric, and minimax-optimal way. We do this via
sample-constructed Gram matrices. This yields matrix-based estimators of
R\'enyi's $\alpha$-cross-entropies. These estimators satisfy all of the axioms
that R\'enyi established for divergences. Our cross-entropies can thus be used
for assessing distributional differences. They are also appropriate for
handling high-dimensional distributions, since the convergence rate of our
estimator is independent of the sample dimensionality.
Python code for implementing these measures can be found at
https://github.com/isledge/MBRCE
- Abstract（参考訳）: 従来の情報理論量は確率分布へのアクセスを仮定する。
そのような分布を推定するのは簡単ではない。
本稿では,これを回避するクロスエントロピーの関数に基づく定式化について考察する。
再現カーネルヒルベルト空間の設定において、R\'enyiの$\alpha$-cross-entropiesの3つの測度を提案する。
それぞれの手段には魅力がある。
我々は、これらの測度を偏りなく、非パラメトリックで、ミニマックス最適な方法で推定できることを証明できる。
サンプル構成のグラム行列を使ってこれを行う。
これにより、R\'enyi の$\alpha$-cross-entropies の行列ベースの推定値が得られる。
これらの推定子は、R\'enyiが発散のために確立した全ての公理を満たす。
したがって, 分布差を評価するために, クロスエントロピーを用いることができる。
また, 推定器の収束率はサンプル次元とは独立であるため, 高次元分布の取り扱いにも適している。
これらの尺度を実装するPythonコードはhttps://github.com/isledge/MBRCEで見ることができる。
関連論文リスト
- Distributional Matrix Completion via Nearest Neighbors in the Wasserstein Space [8.971989179518216]
わずかに観察された経験的分布の行列を考えると、観測された行列と観測されていない行列の両方に関連する真の分布をインプットしようと試みる。
最適輸送のツールを用いて、最も近い隣人法を分布設定に一般化する。
論文 参考訳（メタデータ） (2024-10-17T00:50:17Z) - Which exceptional low-dimensional projections of a Gaussian point cloud can be found in polynomial time? [8.74634652691576]
反復アルゴリズムのクラスで実現可能な分布のサブセット$mathscrF_m,alpha$について検討する。
統計物理学の非厳密な手法は、一般化されたパリの公式の言葉で$mathscrF_m,alpha$の間接的な特徴づけを与える。
論文 参考訳（メタデータ） (2024-06-05T05:54:56Z) - Transformer-based Parameter Estimation in Statistics [0.0]
パラメータ推定のための変換器に基づく手法を提案する。
数値法で必要とされる確率密度関数を知る必要さえない。
提案手法は,平均二乗誤差で測定した手法と類似あるいは良好な精度を達成できることが示されている。
論文 参考訳（メタデータ） (2024-02-28T04:30:41Z) - Sparse PCA with Oracle Property [115.72363972222622]
新規な正規化を伴うスパースPCAの半定緩和に基づく推定器群を提案する。
我々は、家族内の別の推定器が、スパースPCAの標準半定緩和よりも、より急激な収束率を達成することを証明した。
論文 参考訳（メタデータ） (2023-12-28T02:52:54Z) - Intrinsic Bayesian Cramér-Rao Bound with an Application to Covariance Matrix Estimation [49.67011673289242]
本稿では, 推定パラメータが滑らかな多様体内にある推定問題に対して, 新たな性能境界を提案する。
これはパラメータ多様体の幾何学と推定誤差測度の本質的な概念を誘導する。
論文 参考訳（メタデータ） (2023-11-08T15:17:13Z) - Optimal policy evaluation using kernel-based temporal difference methods [78.83926562536791]
カーネルヒルベルト空間を用いて、無限水平割引マルコフ報酬過程の値関数を推定する。
我々は、関連するカーネル演算子の固有値に明示的に依存した誤差の非漸近上界を導出する。
MRP のサブクラスに対する minimax の下位境界を証明する。
論文 参考訳（メタデータ） (2021-09-24T14:48:20Z) - A unified view of likelihood ratio and reparameterization gradients [91.4645013545015]
我々は、LRとRPが確率質量の運動を追跡する代替方法であることを示すために、第一原理のアプローチを用いる。
LRとRPを組み合わせた全ての可能な推定器の空間は、流れ場によって完全にパラメータ化可能であることを示す。
したがって、より優れたモンテカルロ勾配推定器をどこに探すべきかを明確にする。
論文 参考訳（メタデータ） (2021-05-31T11:53:08Z) - Linear Time Sinkhorn Divergences using Positive Features [51.50788603386766]
エントロピー正則化で最適な輸送を解くには、ベクトルに繰り返し適用される$ntimes n$ kernel matrixを計算する必要がある。
代わりに、$c(x,y)=-logdotpvarphi(x)varphi(y)$ ここで$varphi$は、地上空間から正のorthant $RRr_+$への写像であり、$rll n$である。
論文 参考訳（メタデータ） (2020-06-12T10:21:40Z) - Generalized Bayesian Cram\'{e}r-Rao Inequality via Information Geometry
of Relative $\alpha$-Entropy [17.746238062801293]
相対$alpha$-エントロピーは相対エントロピーのR'enyiアナログである。
この量に関する最近の情報幾何学的な研究により、クラムラー・ラオの不等式が一般化された。
エントロピー次数がユニティに近づく極限の場合、この枠組みは従来のベイズ的クラム・ラオ不等式に還元される。
論文 参考訳（メタデータ） (2020-02-11T23:38:01Z) - Distributionally Robust Bayesian Quadrature Optimization [60.383252534861136]
確率分布が未知な分布の不確実性の下でBQOについて検討する。
標準的なBQOアプローチは、固定されたサンプル集合が与えられたときの真の期待目標のモンテカルロ推定を最大化する。
この目的のために,新しい後方サンプリングに基づくアルゴリズム,すなわち分布的に堅牢なBQO(DRBQO)を提案する。
論文 参考訳（メタデータ） (2020-01-19T12:00:33Z) - Cram\'er-Rao Lower Bounds Arising from Generalized Csisz\'ar Divergences [17.746238062801293]
我々は Csisz'ar $f$-divergences の一般化された族に対する確率分布の幾何学について研究する。
これらの定式化が, 護衛モデルの偏りのない, 効率的な推定手法の発見に繋がることを示す。
論文 参考訳（メタデータ） (2020-01-14T13:41:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。