論文の概要: Neural Estimation of Statistical Divergences
- arxiv url: http://arxiv.org/abs/2110.03652v1
- Date: Thu, 7 Oct 2021 17:42:44 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-08 15:28:32.634228
- Title: Neural Estimation of Statistical Divergences
- Title（参考訳）: 統計的多様性の神経的推定
- Authors: Sreejith Sreekumar and Ziv Goldfeld
- Abstract要約: ニューラルネットワーク(NN)による経験的変動形態のパラメトリゼーションによる統計的発散推定の一手法
特に、近似と経験的推定という2つのエラー源の間には、根本的なトレードオフがある。
NN成長速度がわずかに異なる神経推定器は、最小値の最適値に近づき、パラメトリック収束率を対数因子まで達成できることを示す。
- 参考スコア（独自算出の注目度）: 24.78742908726579
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Statistical divergences (SDs), which quantify the dissimilarity between
probability distributions, are a basic constituent of statistical inference and
machine learning. A modern method for estimating those divergences relies on
parametrizing an empirical variational form by a neural network (NN) and
optimizing over parameter space. Such neural estimators are abundantly used in
practice, but corresponding performance guarantees are partial and call for
further exploration. In particular, there is a fundamental tradeoff between the
two sources of error involved: approximation and empirical estimation. While
the former needs the NN class to be rich and expressive, the latter relies on
controlling complexity. We explore this tradeoff for an estimator based on a
shallow NN by means of non-asymptotic error bounds, focusing on four popular
$\mathsf{f}$-divergences -- Kullback-Leibler, chi-squared, squared Hellinger,
and total variation. Our analysis relies on non-asymptotic function
approximation theorems and tools from empirical process theory. The bounds
reveal the tension between the NN size and the number of samples, and enable to
characterize scaling rates thereof that ensure consistency. For compactly
supported distributions, we further show that neural estimators with a slightly
different NN growth-rate are near minimax rate-optimal, achieving the
parametric convergence rate up to logarithmic factors.
- Abstract（参考訳）: 確率分布の相違を定量化する統計分散(SD)は、統計的推論と機械学習の基本的な構成要素である。
これらの発散を推定する現代的な手法は、ニューラルネットワーク(NN)による経験的変動形のパラメータ化とパラメータ空間の最適化に依存している。
このような神経推定器は実際は多用されているが、それに対応する性能保証は部分的であり、さらなる探索が必要である。
特に、2つのエラー源の間には、近似と経験的推定という根本的なトレードオフがある。
前者はリッチで表現力のあるNNクラスを必要とするが、後者は複雑さを制御することに依存する。
非漸近誤差境界による浅いNNに基づく推定器に対するこのトレードオフについて検討し、一般的な4つの$\mathsf{f}$-divergences -- Kullback-Leibler, chi-squared, squared Hellinger,および全変動に着目した。
この解析は非漸近的関数近似定理と経験的過程論からのツールに依存する。
境界はNNサイズとサンプル数の間の緊張関係を明らかにし、一貫性を確保するためのスケーリングレートを特徴付けることができる。
コンパクトに支持された分布に対しては, nn成長速度が若干異なる神経推定器が最小の速度最適化に近く, パラメトリック収束率を対数因子まで達成できることを示した。
関連論文リスト
- Bias-Reduced Neural Networks for Parameter Estimation in Quantitative MRI [0.13654846342364307]
ニューラルネットワーク(NN)に基づく定量的MRIパラメータ推定器を開発した。
論文 参考訳（メタデータ） (2023-11-13T20:41:48Z) - Structured Radial Basis Function Network: Modelling Diversity for
Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。
構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。
この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文 参考訳（メタデータ） (2023-09-02T01:27:53Z) - Kernel-based off-policy estimation without overlap: Instance optimality
beyond semiparametric efficiency [53.90687548731265]
本研究では,観測データに基づいて線形関数を推定するための最適手順について検討する。
任意の凸および対称函数クラス $mathcalF$ に対して、平均二乗誤差で有界な非漸近局所ミニマックスを導出する。
論文 参考訳（メタデータ） (2023-01-16T02:57:37Z) - Learning Low Dimensional State Spaces with Overparameterized Recurrent
Neural Nets [57.06026574261203]
我々は、長期記憶をモデル化できる低次元状態空間を学習するための理論的証拠を提供する。
実験は、線形RNNと非線形RNNの両方で低次元状態空間を学習することで、我々の理論を裏付けるものである。
論文 参考訳（メタデータ） (2022-10-25T14:45:15Z) - Learning Distributions by Generative Adversarial Networks: Approximation
and Generalization [0.6768558752130311]
本研究では,これらのモデルの収束速度を解析することにより,有限サンプルから生成逆数ネットワークがいかによく学習するかを考察する。
我々の分析は、GANの推定誤差を判別器とジェネレータの近似誤差に分解する新しい不等式オラクルに基づいている。
生成元近似誤差に対して、ニューラルネットワークは、およそ低次元のソース分布を高次元のターゲット分布に変換することができることを示す。
論文 参考訳（メタデータ） (2022-05-25T09:26:17Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳（メタデータ） (2021-03-15T16:16:18Z) - Non-Asymptotic Performance Guarantees for Neural Estimation of
$\mathsf{f}$-Divergences [22.496696555768846]
統計的距離は確率分布の相似性を定量化する。
このようなデータからの距離を推定する現代的な方法は、ニューラルネットワーク(NN)による変動形態のパラメータ化と最適化に依存する。
本稿では,このトレードオフを非漸近誤差境界を用いて検討し,SDの3つの一般的な選択に焦点をあてる。
論文 参考訳（メタデータ） (2021-03-11T19:47:30Z) - Advantage of Deep Neural Networks for Estimating Functions with
Singularity on Hypersurfaces [23.21591478556582]
我々は、ディープニューラルネットワーク(DNN)が他の標準手法よりも優れている理由を説明するために、ミニマックスレート分析を開発する。
本研究では,超曲面上の特異点を持つ非滑らか関数のクラスを推定することにより,このギャップを埋めようとしている。
論文 参考訳（メタデータ） (2020-11-04T12:51:14Z) - Provably Efficient Neural Estimation of Structural Equation Model: An
Adversarial Approach [144.21892195917758]
一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。
線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。
提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
論文 参考訳（メタデータ） (2020-07-02T17:55:47Z) - Nonconvex sparse regularization for deep neural networks and its
optimality [1.9798034349981162]
ディープニューラルネットワーク(DNN)推定器は、回帰と分類問題に対して最適な収束率を得ることができる。
スパースDNNに対する新たなペナル化推定法を提案する。
スパースペンタライズされた推定器は、様々な非パラメトリック回帰問題に対する最小収束率を適応的に達成できることを示す。
論文 参考訳（メタデータ） (2020-03-26T07:15:28Z) - Minimax Optimal Estimation of KL Divergence for Continuous Distributions [56.29748742084386]
Kullback-Leibler の同一および独立に分布するサンプルからの発散は、様々な領域において重要な問題である。
単純で効果的な推定器の1つは、これらのサンプル間の近辺 k に基づいている。
論文 参考訳（メタデータ） (2020-02-26T16:37:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。