論文の概要: Tensor-Train Density Estimation
- arxiv url: http://arxiv.org/abs/2108.00089v1
- Date: Fri, 30 Jul 2021 21:51:12 GMT
- ステータス: 処理完了
- システム内更新日: 2021-08-03 15:41:43.029047
- Title: Tensor-Train Density Estimation
- Title(参考訳): テンソルトレイン密度推定
- Authors: Georgii S. Novikov, Maxim E. Panov, Ivan V. Oseledets
- Abstract要約: 密度推定(TTDE)のための高効率テンソルトレインモデルを提案する。
このような密度パラメトリゼーションは、正確なサンプリング、累積および限界密度関数の計算、および分割関数を可能にする。
TTDEは,トレーニング速度において競技者よりも有意に優れていた。
- 参考スコア(独自算出の注目度): 16.414910030716555
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Estimation of probability density function from samples is one of the central
problems in statistics and machine learning. Modern neural network-based models
can learn high dimensional distributions but have problems with hyperparameter
selection and are often prone to instabilities during training and inference.
We propose a new efficient tensor train-based model for density estimation
(TTDE). Such density parametrization allows exact sampling, calculation of
cumulative and marginal density functions, and partition function. It also has
very intuitive hyperparameters. We develop an efficient non-adversarial
training procedure for TTDE based on the Riemannian optimization. Experimental
results demonstrate the competitive performance of the proposed method in
density estimation and sampling tasks, while TTDE significantly outperforms
competitors in training speed.
- Abstract(参考訳): サンプルから確率密度関数を推定することは統計学と機械学習の中心的な問題の一つである。
現代のニューラルネットワークベースのモデルは高次元分布を学習するが、ハイパーパラメータ選択に問題があるため、トレーニングや推論中に不安定になりがちである。
密度推定(TTDE)のための高効率テンソルトレインモデルを提案する。
このような密度パラメトリゼーションは、正確なサンプリング、累積および限界密度関数の計算、分割関数を可能にする。
また、非常に直感的なハイパーパラメータを持つ。
我々は,リーマン最適化に基づくTTDEの非逆法訓練手法を開発した。
実験結果から,提案手法の高密度推定およびサンプリング作業における競合性能を示す一方,TTDEはトレーニング速度において競合よりも優れていた。
関連論文リスト
- Equation Discovery with Bayesian Spike-and-Slab Priors and Efficient
Kernels [60.35011738807833]
ケルネル学習とBayesian Spike-and-Slab pres (KBASS)に基づく新しい方程式探索法を提案する。
カーネルレグレッションを用いてターゲット関数を推定する。これはフレキシブルで表現力があり、データ空間やノイズに対してより堅牢である。
我々は、ベンチマークODEとPDE発見タスクのリストにおいて、KBASSの顕著な利点を示す。
論文 参考訳(メタデータ) (2023-10-09T03:55:09Z) - Adaptive learning of density ratios in RKHS [3.047411947074805]
有限個の観測から2つの確率密度の比を推定することは、機械学習と統計学における中心的な問題である。
我々は、再生カーネルヒルベルト空間における真の密度比とモデルの間の正規化ブレグマン偏差を最小化する大規模な密度比推定法を分析する。
論文 参考訳(メタデータ) (2023-07-30T08:18:39Z) - Monte Carlo Neural PDE Solver for Learning PDEs via Probabilistic
Representation [62.017505017414564]
教師なしの方法でニューラルソルバを訓練することが不可欠である。
既存の手法は妥当な精度を達成し、重要な計算課題と不正確なシミュレーションをもたらす。
PDEの確率的表現を用いて教師なしニューラルソルバを訓練するためのモンテカルロPDEソルバを提案する。
対流拡散, アレン・カーン, ナヴィエ・ストークス方程式に関する実験により, 精度と効率が著しく向上した。
論文 参考訳(メタデータ) (2023-02-10T08:05:19Z) - Quantum Adaptive Fourier Features for Neural Density Estimation [0.0]
本稿では,カーネル密度推定の一種とみなすニューラル密度推定法を提案する。
この方法は密度行列、量子力学で使われる形式主義、適応フーリエ特徴に基づいている。
本手法は, 異なる合成および実データを用いて評価し, その性能を最先端のニューラル密度推定法と比較した。
論文 参考訳(メタデータ) (2022-08-01T01:39:11Z) - TAKDE: Temporal Adaptive Kernel Density Estimator for Real-Time Dynamic
Density Estimation [16.45003200150227]
時間適応型カーネル密度推定器(TAKDE)と命名する。
TAKDEは最悪のAMISEの点で理論的に最適である。
合成および実世界のデータセットを用いて数値実験を行い、TAKDEが他の最先端の動的密度推定器より優れていることを示す。
論文 参考訳(メタデータ) (2022-03-15T23:38:32Z) - A Non-Classical Parameterization for Density Estimation Using Sample
Moments [0.0]
サンプルモーメントを用いた密度推定のための非古典的パラメトリゼーションを提案する。
提案した推定器は、任意の偶数列までのパワーモーメントがサンプルモーメントと正確に一致する文献で最初のものである。
論文 参考訳(メタデータ) (2022-01-13T04:28:52Z) - Density-Based Clustering with Kernel Diffusion [59.4179549482505]
単位$d$次元ユークリッド球のインジケータ関数に対応するナイーブ密度は、密度に基づくクラスタリングアルゴリズムで一般的に使用される。
局所分布特性と滑らかさの異なるデータに適応する新しいカーネル拡散密度関数を提案する。
論文 参考訳(メタデータ) (2021-10-11T09:00:33Z) - Efficient training of lightweight neural networks using Online
Self-Acquired Knowledge Distillation [51.66271681532262]
オンライン自己獲得知識蒸留(OSAKD)は、ディープニューラルネットワークの性能をオンライン的に向上することを目的としている。
出力特徴空間におけるデータサンプルの未知確率分布を推定するために、k-nnノンパラメトリック密度推定手法を用いる。
論文 参考訳(メタデータ) (2021-08-26T14:01:04Z) - Meta-Learning for Relative Density-Ratio Estimation [59.75321498170363]
相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。
本稿では,関係データセットの知識を用いて,相対密度比を数例から推定する,相対DREのメタラーニング手法を提案する。
提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。
論文 参考訳(メタデータ) (2021-07-02T02:13:45Z) - Sampling-free Variational Inference for Neural Networks with
Multiplicative Activation Noise [51.080620762639434]
サンプリングフリー変動推論のための後方近似のより効率的なパラメータ化を提案する。
提案手法は,標準回帰問題に対する競合的な結果をもたらし,大規模画像分類タスクに適している。
論文 参考訳(メタデータ) (2021-03-15T16:16:18Z) - Learning Generative Models using Denoising Density Estimators [29.068491722778827]
縮退密度推定器(DDE)に基づく新しい生成モデルを提案する。
我々の主な貢献は、KL分割を直接最小化することで生成モデルを得る新しい技術である。
実験結果から, 生成モデル学習における密度推定と競争性能が大幅に向上した。
論文 参考訳(メタデータ) (2020-01-08T20:30:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。