論文の概要: Gaussian Process Tilted Nonparametric Density Estimation using Fisher Divergence Score Matching
- arxiv url: http://arxiv.org/abs/2504.03485v1
- Date: Fri, 04 Apr 2025 14:41:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-07 14:47:38.103914
- Title: Gaussian Process Tilted Nonparametric Density Estimation using Fisher Divergence Score Matching
- Title（参考訳）: 魚の多様性スコアマッチングを用いたガウス過程の非パラメトリック密度推定
- Authors: John Paisley, Wei Zhang, Brian Barr,
- Abstract要約: ガウス過程(GP)に基づくスコアモデルを学習するための3つのフィッシャー分岐(FD)アルゴリズムを提案する。
すべての学習問題をクローズドな形で解けることを示す。
我々は,3つの学習アルゴリズムとMAPベースラインアルゴリズムを,いくつかの低次元密度推定問題で実証した。
- 参考スコア（独自算出の注目度）: 3.7969209746164325
- License:
- Abstract: We present three Fisher divergence (FD) minimization algorithms for learning Gaussian process (GP) based score models for lower dimensional density estimation problems. The density is formed by multiplying a base multivariate normal distribution with an exponentiated GP refinement, and so we refer to it as a GP-tilted nonparametric density. By representing the GP part of the score as a linear function using the random Fourier feature (RFF) approximation, we show that all learning problems can be solved in closed form. This includes the basic and noise conditional versions of the Fisher divergence, as well as a novel alternative to noise conditional FD models based on variational inference (VI). Here, we propose using an ELBO-like optimization of the approximate posterior with which we derive a Fisher variational predictive distribution. The RFF representation of the GP, which is functionally equivalent to a single layer neural network score model with cosine activation, provides a unique linear form for which all expectations are in closed form. The Gaussian base also helps with tractability of the VI approximation. We demonstrate our three learning algorithms, as well as a MAP baseline algorithm, on several low dimensional density estimation problems. The closed-form nature of the learning problem removes the reliance on iterative algorithms, making this technique particularly well-suited to large data sets.
- Abstract（参考訳）: 低次元密度推定問題に対するガウス過程(GP)に基づくスコアモデル学習のための3つのフィッシャー分岐(FD)最小化アルゴリズムを提案する。
この密度は基底多変量正規分布を指数化GP精製に乗じて形成するので、GPチルト非パラメトリック密度と呼ぶ。
スコアのGP部分をランダムフーリエ特徴(RFF)近似を用いて線形関数として表現することにより、すべての学習問題をクローズドな形で解くことができることを示す。
これには、Fisher divergenceの基本およびノイズ条件バージョンと、変分推論(VI)に基づくノイズ条件FDモデルに代わる新しい選択肢が含まれる。
そこで本研究では,魚の変分予測分布を導出する近似後部をELBO風に最適化する手法を提案する。
GPのRFF表現は、コサイン活性化を伴う単一層ニューラルネットワークスコアモデルと機能的に等価であり、全ての期待が閉じた形でユニークな線形形式を提供する。
ガウス基底は、VI近似のトラクタビリティにも寄与する。
我々は,3つの学習アルゴリズムとMAPベースラインアルゴリズムを,いくつかの低次元密度推定問題で実証した。
学習問題のクローズドフォームの性質は反復アルゴリズムへの依存を排除し、このテクニックは特に大規模なデータセットに適している。
関連論文リスト
- GP-FL: Model-Based Hessian Estimation for Second-Order Over-the-Air Federated Learning [52.295563400314094]
2次法は学習アルゴリズムの収束率を改善するために広く採用されている。
本稿では,無線チャネルに適した新しい2次FLフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-05T04:27:41Z) - Graph Laplacian-based Bayesian Multi-fidelity Modeling [1.383698759122035]
低忠実度データから構築されたグラフラプラシアンを用いて、多変量ガウス事前密度を定義する。
共役可能性項を構築するために高忠実度データポイントはほとんど使われない。
その結果、少数の高忠実度データを利用することで、多忠実度アプローチは大量の低忠実度データポイントの精度を大幅に向上させることができることを示した。
論文 参考訳（メタデータ） (2024-09-12T16:51:55Z) - Sparse Inducing Points in Deep Gaussian Processes: Enhancing Modeling with Denoising Diffusion Variational Inference [6.37512592611305]
深いガウス過程(DGP)では、モデルの後部分布を近似するために誘導点と呼ばれるスパース積分位置が選択される。
後部近似に対する従来の変分推論アプローチは、しばしば大きなバイアスを引き起こす。
本稿では、微分微分方程式(SDE)を用いて誘導変数の後続サンプルを生成するDDVI(Denoising Diffusion Variational Inference)という方法を提案する。
論文 参考訳（メタデータ） (2024-07-24T06:39:58Z) - Closed-form Filtering for Non-linear Systems [83.91296397912218]
我々は密度近似と計算効率の面でいくつかの利点を提供するガウスPSDモデルに基づく新しいフィルタのクラスを提案する。
本研究では,遷移や観測がガウスPSDモデルである場合,フィルタリングを効率的にクローズド形式で行うことができることを示す。
提案する推定器は, 近似の精度に依存し, 遷移確率の正則性に適応する推定誤差を伴って, 高い理論的保証を享受する。
論文 参考訳（メタデータ） (2024-02-15T08:51:49Z) - Projecting basis functions with tensor networks for Gaussian process
regression [5.482420806459269]
我々は,指数的計算複雑性を伴わない指数的基底関数を利用できるアプローチを開発した。
結果の重みを元の空間に投影してGP予測を行う。
18次元のベンチマークデータセットを用いた実験では,逆動力学問題に対する本手法の適用性を示す。
論文 参考訳（メタデータ） (2023-10-31T16:59:07Z) - Neural Operator Variational Inference based on Regularized Stein
Discrepancy for Deep Gaussian Processes [23.87733307119697]
本稿では,深いガウス過程に対するニューラル演算子変分推論(NOVI)を提案する。
NOVIは、ニューラルジェネレータを使用してサンプリング装置を取得し、生成された分布と真の後部の間のL2空間における正規化スタインの離散性を最小化する。
提案手法が提案するバイアスは定数で発散を乗算することで制御可能であることを示す。
論文 参考訳（メタデータ） (2023-09-22T06:56:35Z) - Sobolev Space Regularised Pre Density Models [51.558848491038916]
本研究では,ソボレフ法則の正則化に基づく非パラメトリック密度推定法を提案する。
この方法は統計的に一貫したものであり、帰納的検証モデルを明確かつ一貫したものにしている。
論文 参考訳（メタデータ） (2023-07-25T18:47:53Z) - Score-based Diffusion Models in Function Space [137.70916238028306]
拡散モデルは、最近、生成モデリングの強力なフレームワークとして登場した。
この研究は、関数空間における拡散モデルをトレーニングするためのDDO(Denoising Diffusion Operators)と呼ばれる数学的に厳密なフレームワークを導入する。
データ解像度に依存しない固定コストで、対応する離散化アルゴリズムが正確なサンプルを生成することを示す。
論文 参考訳（メタデータ） (2023-02-14T23:50:53Z) - Adaptive deep density approximation for fractional Fokker-Planck
equations [6.066542157374599]
本稿では,フローベース深層生成モデルKRnetによって誘導される明示的なPDFモデルについて述べる。
分数ラプラシアンを近似する2つの方法を考える。
これらの2種類のラプラシアン近似法に基づいて、定常FPEと時間依存FPEを近似するために、MCNFとGRBFNFの2つのモデルを提案する。
論文 参考訳（メタデータ） (2022-10-26T00:58:17Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳（メタデータ） (2021-12-07T11:26:41Z) - Hybrid Trilinear and Bilinear Programming for Aligning Partially
Overlapping Point Sets [85.71360365315128]
多くの応用において、部分重なり合う点集合が対応するRPMアルゴリズムに不変であるようなアルゴリズムが必要である。
まず、目的が立方体有界関数であることを示し、次に、三線型および双線型単相変換の凸エンベロープを用いて、その下界を導出する。
次に、変換変数上の分岐のみを効率よく実行するブランチ・アンド・バウンド(BnB)アルゴリズムを開発する。
論文 参考訳（メタデータ） (2021-01-19T04:24:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。