論文の概要: Sequential transport maps using SoS density estimation and
$\alpha$-divergences
- arxiv url: http://arxiv.org/abs/2402.17943v1
- Date: Tue, 27 Feb 2024 23:52:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 16:57:10.261191
- Title: Sequential transport maps using SoS density estimation and
$\alpha$-divergences
- Title（参考訳）: SoS密度推定と$\alpha$-divergencesを用いた逐次輸送マップ
- Authors: Benjamin Zanger, Tiangang Cui, Martin Schreiber, Olivier Zahm
- Abstract要約: 輸送ベース密度推定法は, 近似密度から試料を効率よく生成できるため, 関心が高まりつつある。
我々は、合成されたKnothe-Rosenblatt (KR) マップの列の上に構築し、中間密度を近似する Sum-of-Squareimats (SoS) 密度と$alpha$-divergences の利用を探索する。
ベイジアン推論問題や教師なし学習タスクなど,いくつかのベンチマークで数値的に手法を実証する。
- 参考スコア（独自算出の注目度）: 0.6554326244334866
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Transport-based density estimation methods are receiving growing interest
because of their ability to efficiently generate samples from the approximated
density. We further invertigate the sequential transport maps framework
proposed from arXiv:2106.04170 arXiv:2303.02554, which builds on a sequence of
composed Knothe-Rosenblatt (KR) maps. Each of those maps are built by first
estimating an intermediate density of moderate complexity, and then by
computing the exact KR map from a reference density to the precomputed
approximate density. In our work, we explore the use of Sum-of-Squares (SoS)
densities and $\alpha$-divergences for approximating the intermediate
densities. Combining SoS densities with $\alpha$-divergence interestingly
yields convex optimization problems which can be efficiently solved using
semidefinite programming. The main advantage of $\alpha$-divergences is to
enable working with unnormalized densities, which provides benefits both
numerically and theoretically. In particular, we provide two new convergence
analyses of the sequential transport maps: one based on a triangle-like
inequality and the second on information geometric properties of
$\alpha$-divergences for unnormalizied densities. The choice of intermediate
densities is also crucial for the efficiency of the method. While tempered (or
annealed) densities are the state-of-the-art, we introduce diffusion-based
intermediate densities which permits to approximate densities known from
samples only. Such intermediate densities are well-established in machine
learning for generative modeling. Finally we propose and try different
low-dimensional maps (or lazy maps) for dealing with high-dimensional problems
and numerically demonstrate our methods on several benchmarks, including
Bayesian inference problems and unsupervised learning task.
- Abstract（参考訳）: 輸送ベース密度推定法は, 近似密度から試料を効率よく生成できるため, 関心が高まりつつある。
arxiv:2106.04170 arxiv:2303.02554 から提案されたシーケンシャルトランスポートマップフレームワークをさらに反転させ、knothe-rosenblatt (kr) マップの配列を構築した。
これらのマップは、まず中程度の複雑さの中間密度を推定し、次に基準密度から予め計算された近似密度まで正確なkrマップを計算することによって構築される。
本研究では,中間密度の近似に Sum-of-Squares (SoS) 密度と$\alpha$-divergences を用いることを検討した。
SoS密度と$\alpha$-divergenceを組み合わせることで、半定値プログラミングで効率的に解ける凸最適化問題が得られる。
$\alpha$-divergencesの主な利点は、非正規化密度での作業を可能にすることである。
特に、逐次輸送写像の2つの新しい収束解析(三角形的不等式に基づくものと、非正規化密度に対する$\alpha$-divergencesの情報幾何学的性質に基づくもの)を提供する。
中間密度の選択は, 方法の効率性にも重要である。
テンパー密度(またはアニール密度)は最先端の密度であるが,試料からのみ得られる密度を近似できる拡散型中間密度を導入する。
このような中間密度は、生成モデリングのための機械学習においてよく確立されている。
最後に,高次元問題を扱うための異なる低次元写像(あるいは遅延写像)を提案し,その手法をベイズ推論問題や教師なし学習タスクなど,いくつかのベンチマークで数値的に示す。
関連論文リスト
- Alignment of Density Maps in Wasserstein Distance [8.140400570642438]
本研究では,3次元物体を密度マップとして表現するアルゴリズムを提案する。
このアルゴリズムは、剛性変換後の密度写像間の1-ワッサーシュタイン距離を最小化することに基づいている。
論文 参考訳（メタデータ） (2023-05-21T01:13:43Z) - Linearized Wasserstein dimensionality reduction with approximation
guarantees [65.16758672591365]
LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。
我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。
また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
論文 参考訳（メタデータ） (2023-02-14T22:12:16Z) - Gaussian process regression and conditional Karhunen-Lo\'{e}ve models
for data assimilation in inverse problems [68.8204255655161]
偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。
CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
論文 参考訳（メタデータ） (2023-01-26T18:14:12Z) - Rethinking Spatial Invariance of Convolutional Networks for Object
Counting [119.83017534355842]
局所連結ガウス核を用いて元の畳み込みフィルタを置き換え、密度写像の空間位置を推定する。
従来の研究から着想を得て,大規模なガウス畳み込みの近似を好意的に実装するために,翻訳不変性を伴う低ランク近似を提案する。
提案手法は,他の最先端手法を著しく上回り,物体の空間的位置の有望な学習を実現する。
論文 参考訳（メタデータ） (2022-06-10T17:51:25Z) - Near-optimal estimation of smooth transport maps with kernel
sums-of-squares [81.02564078640275]
滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。
生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。
そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-12-03T13:45:36Z) - Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。
モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。
提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
論文 参考訳（メタデータ） (2021-11-22T06:26:29Z) - Density-Based Clustering with Kernel Diffusion [59.4179549482505]
単位$d$次元ユークリッド球のインジケータ関数に対応するナイーブ密度は、密度に基づくクラスタリングアルゴリズムで一般的に使用される。
局所分布特性と滑らかさの異なるデータに適応する新しいカーネル拡散密度関数を提案する。
論文 参考訳（メタデータ） (2021-10-11T09:00:33Z) - Generative Learning With Euler Particle Transport [14.557451744544592]
生成学習のためのユーラー粒子輸送(EPT)手法を提案する。
提案手法は, 基準分布から目標分布への最適輸送マップの探索の問題に動機付けられている。
提案する密度比(差分)推定器は,データが低次元多様体上で支持されている場合,「次元の曲線」に支障を来さないことを示す。
論文 参考訳（メタデータ） (2020-12-11T03:10:53Z) - Nearest Neighbor Dirichlet Mixtures [3.3194866396158]
計算上の欠点を伴わずにベイズ的アプローチの強みのほとんどを維持するために、近傍のディリクレ混合のクラスを提案する。
単純で恥ずかしい並列なモンテカルロアルゴリズムが提案され、結果の擬似ポストから未知の密度をサンプリングする。
論文 参考訳（メタデータ） (2020-03-17T21:39:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。