論文の概要: Estimating Divergences in High Dimensions
- arxiv url: http://arxiv.org/abs/2112.04583v1
- Date: Wed, 8 Dec 2021 20:37:28 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-10 15:31:03.948332
- Title: Estimating Divergences in High Dimensions
- Title(参考訳): 高次元における発散量の推定
- Authors: Loong Kuan Lee, Nico Piatkowski, Fran\c{c}ois Petitjean, Geoffrey I.
Webb
- Abstract要約: 本研究では,高次元データにおける分散度推定のための分解可能なモデルを提案する。
これにより、高次元分布の推定密度を低次元関数の積に分解することができる。
最大極大推定器から分解可能なモデルを用いてクルバック・リーブラーの発散を推定すると,既存の発散推定法よりも優れることを示す。
- 参考スコア(独自算出の注目度): 6.172809837529207
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The problem of estimating the divergence between 2 high dimensional
distributions with limited samples is an important problem in various fields
such as machine learning. Although previous methods perform well with moderate
dimensional data, their accuracy starts to degrade in situations with 100s of
binary variables. Therefore, we propose the use of decomposable models for
estimating divergences in high dimensional data. These allow us to factorize
the estimated density of the high-dimensional distribution into a product of
lower dimensional functions. We conduct formal and experimental analyses to
explore the properties of using decomposable models in the context of
divergence estimation. To this end, we show empirically that estimating the
Kullback-Leibler divergence using decomposable models from a maximum likelihood
estimator outperforms existing methods for divergence estimation in situations
where dimensionality is high and useful decomposable models can be learnt from
the available data.
- Abstract(参考訳): 限られたサンプルで2つの高次元分布のばらつきを推定する問題は、機械学習などの様々な分野において重要な問題である。
従来の手法は適度な次元データでうまく機能するが、その精度は100のバイナリ変数の場合に低下し始める。
そこで,本稿では,高次元データにおける発散推定のための非可逆モデルの利用を提案する。
これにより、高次元分布の推定密度を低次元関数の積に分解することができる。
発散推定の文脈で分解性モデルを用いる場合の特性を検討するため,形式的および実験的解析を行う。
そこで本研究では,最大確率推定器からの分解可能モデルを用いたkullback-leiblerの発散推定が,次元が高い場合の既存の発散推定方法よりも優れており,利用可能なデータから有用な分解可能モデルを学ぶことができることを示す。
関連論文リスト
- Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。
我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文 参考訳(メタデータ) (2023-10-30T21:27:53Z) - Score Approximation, Estimation and Distribution Recovery of Diffusion
Models on Low-Dimensional Data [68.62134204367668]
本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。
適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。
推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
論文 参考訳(メタデータ) (2023-02-14T17:02:35Z) - High-dimensional Measurement Error Models for Lipschitz Loss [2.6415509201394283]
リプシッツ損失関数のクラスに対する高次元計測誤差モデルを開発する。
我々の推定器は、適切な実現可能な集合に属するすべての推定器の中で、$L_1$ノルムを最小化するように設計されている。
有限標本統計誤差境界と符号の整合性の観点から理論的な保証を導出する。
論文 参考訳(メタデータ) (2022-10-26T20:06:05Z) - Featurized Density Ratio Estimation [82.40706152910292]
本研究では,2つの分布を推定前の共通特徴空間にマッピングするために,可逆生成モデルを活用することを提案する。
この偉業化は、学習された入力空間の密度比が任意に不正確な場合、潜在空間において密度が密接な関係をもたらす。
同時に、特徴写像の可逆性は、特徴空間で計算された比が入力空間で計算された比と同値であることを保証する。
論文 参考訳(メタデータ) (2021-07-05T18:30:26Z) - Meta-Learning for Relative Density-Ratio Estimation [59.75321498170363]
相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。
本稿では,関係データセットの知識を用いて,相対密度比を数例から推定する,相対DREのメタラーニング手法を提案する。
提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。
論文 参考訳(メタデータ) (2021-07-02T02:13:45Z) - A likelihood approach to nonparametric estimation of a singular
distribution using deep generative models [4.329951775163721]
深部生成モデルを用いた特異分布の非パラメトリック推定の可能性について検討する。
我々は、インスタンスノイズでデータを摂動することで、新しい効果的な解が存在することを証明した。
また、より深い生成モデルにより効率的に推定できる分布のクラスを特徴付ける。
論文 参考訳(メタデータ) (2021-05-09T23:13:58Z) - High-Dimensional Non-Parametric Density Estimation in Mixed Smooth
Sobolev Spaces [31.663702435594825]
密度推定は、機械学習、統計的推測、可視化において多くのタスクにおいて重要な役割を果たす。
高次元密度推定の主なボトルネックは計算コストの禁止と収束速度の低下である。
適応型双曲交叉密度推定器(Adaptive hyperbolic cross density estimator)と呼ばれる高次元非パラメトリック密度推定のための新しい推定器を提案する。
論文 参考訳(メタデータ) (2020-06-05T21:27:59Z) - Machine learning for causal inference: on the use of cross-fit
estimators [77.34726150561087]
より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。
平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。
機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
論文 参考訳(メタデータ) (2020-04-21T23:09:55Z) - Posterior Ratio Estimation of Latent Variables [14.619879849533662]
いくつかのアプリケーションでは、観測から無視される確率変数の分布を比較したい。
潜在変数の2つの後続確率密度関数の比を推定する問題について検討する。
論文 参考訳(メタデータ) (2020-02-15T16:46:42Z) - Fast approximations in the homogeneous Ising model for use in scene
analysis [61.0951285821105]
我々は、推論に必要な量を数値計算できる正確な近似を提供する。
近似式はスケーラブルでマルコフランダム場の大きさに満足できないことを示す。
機能的磁気共鳴イメージングアクティベーション検出実験においてベイズ推論を行い, ピスタチオ樹収量の年次増加の空間パターンにおける異方性に対する確率比試験を行った。
論文 参考訳(メタデータ) (2017-12-06T14:24:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。