論文の概要: Sequential transport maps using SoS density estimation and $α$-divergences

• arxiv url: http://arxiv.org/abs/2402.17943v2
• Date: Wed, 02 Oct 2024 14:37:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-03 15:18:18.577963
• Title: Sequential transport maps using SoS density estimation and $α$-divergences
• Title（参考訳）: SoS密度推定と$α$-divergencesを用いたシークエンシャルトランスポートマップ
• Authors: Benjamin Zanger, Olivier Zahm, Tiangang Cui, Martin Schreiber,
• Abstract要約: 輸送型密度推定法は, 近似密度から試料を効率よく生成できるため, 関心が高まりつつある。 本稿では,$alpha$-divergencesの情報幾何学的性質に基づいて,シーケンシャルトランスポートマップの新たな収束解析を行う。 本研究では,ベイズ推論問題と教師なし学習課題について数値解析を行った。
• 参考スコア（独自算出の注目度）: 0.5999777817331317
• License:
• Abstract: Transport-based density estimation methods are receiving growing interest because of their ability to efficiently generate samples from the approximated density. We further invertigate the sequential transport maps framework proposed from arXiv:2106.04170 arXiv:2303.02554, which builds on a sequence of composed Knothe-Rosenblatt (KR) maps. Each of those maps are built by first estimating an intermediate density of moderate complexity, and then by computing the exact KR map from a reference density to the precomputed approximate density. In our work, we explore the use of Sum-of-Squares (SoS) densities and $\alpha$-divergences for approximating the intermediate densities. Combining SoS densities with $\alpha$-divergence interestingly yields convex optimization problems which can be efficiently solved using semidefinite programming. The main advantage of $\alpha$-divergences is to enable working with unnormalized densities, which provides benefits both numerically and theoretically. In particular, we provide a new convergence analyses of the sequential transport maps based on information geometric properties of $\alpha$-divergences. The choice of intermediate densities is also crucial for the efficiency of the method. While tempered (or annealed) densities are the state-of-the-art, we introduce diffusion-based intermediate densities which permits to approximate densities known from samples only. Such intermediate densities are well-established in machine learning for generative modeling. Finally we propose low-dimensional maps (or lazy maps) for dealing with high-dimensional problems and numerically demonstrate our methods on Bayesian inference problems and unsupervised learning tasks.
• Abstract（参考訳）: 輸送ベース密度推定法は, 近似密度から試料を効率よく生成できるため, 関心が高まりつつある。 我々はさらに、合成されたKnothe-Rosenblatt (KR) マップの列の上に構築されたarXiv:2106.04170 arXiv:2303.02554から提案されるシーケンシャルトランスポートマップフレームワークを反転させる。 それぞれの写像は、まず中程度の複雑性の中間密度を推定し、次に基準密度から事前計算された近似密度への正確なKR写像を計算することによって構築される。 本研究では,中間密度を近似するための Sum-of-Squares (SoS) 密度と$\alpha$-divergences の利用について検討する。 SoS密度と$\alpha$-divergenceを組み合わせることで、半定値プログラミングで効率的に解ける凸最適化問題が得られる。 $\alpha$-divergencesの主な利点は、非正規化密度での作業を可能にすることである。 特に、$\alpha$-divergencesの情報幾何学的性質に基づいて、シーケンシャルトランスポートマップの新たな収束解析を行う。 中間密度の選択は, 方法の効率性にも不可欠である。 焼鈍された(または焼鈍された)密度が最先端である一方で、拡散に基づく中間密度を導入し、サンプルからのみ知られている密度を近似する。 このような中間密度は、生成モデリングのための機械学習において十分に確立されている。 最後に、高次元問題を扱うための低次元マップ(または遅延マップ)を提案し、ベイズ推論問題や教師なし学習タスクについて数値的な手法を実証する。

関連論文リスト

• Alignment of Density Maps in Wasserstein Distance [8.140400570642438]
  本研究では,3次元物体を密度マップとして表現するアルゴリズムを提案する。 このアルゴリズムは、剛性変換後の密度写像間の1-ワッサーシュタイン距離を最小化することに基づいている。
  論文  参考訳（メタデータ） (2023-05-21T01:13:43Z)
• Linearized Wasserstein dimensionality reduction with approximation guarantees [65.16758672591365]
  LOT Wassmap は、ワーッサーシュタイン空間の低次元構造を明らかにするための計算可能なアルゴリズムである。 我々は,LOT Wassmapが正しい埋め込みを実現し,サンプルサイズの増加とともに品質が向上することを示す。 また、LOT Wassmapがペア距離計算に依存するアルゴリズムと比較して計算コストを大幅に削減することを示す。
  論文  参考訳（メタデータ） (2023-02-14T22:12:16Z)
• Gaussian process regression and conditional Karhunen-Lo\'{e}ve models for data assimilation in inverse problems [68.8204255655161]
  偏微分方程式モデルにおけるデータ同化とパラメータ推定のためのモデル逆アルゴリズムCKLEMAPを提案する。 CKLEMAP法は標準的なMAP法に比べてスケーラビリティがよい。
  論文  参考訳（メタデータ） (2023-01-26T18:14:12Z)
• Rethinking Spatial Invariance of Convolutional Networks for Object Counting [119.83017534355842]
  局所連結ガウス核を用いて元の畳み込みフィルタを置き換え、密度写像の空間位置を推定する。 従来の研究から着想を得て,大規模なガウス畳み込みの近似を好意的に実装するために,翻訳不変性を伴う低ランク近似を提案する。 提案手法は,他の最先端手法を著しく上回り,物体の空間的位置の有望な学習を実現する。
  論文  参考訳（メタデータ） (2022-06-10T17:51:25Z)
• Near-optimal estimation of smooth transport maps with kernel sums-of-squares [81.02564078640275]
  滑らかな条件下では、2つの分布の間の正方形ワッサーシュタイン距離は、魅力的な統計的誤差上界で効率的に計算できる。 生成的モデリングのような応用への関心の対象は、基礎となる最適輸送写像である。 そこで本研究では,地図上の統計的誤差であるL2$が,既存のミニマックス下限値とほぼ一致し,スムーズな地図推定が可能となる最初のトラクタブルアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-12-03T13:45:36Z)
• Density Ratio Estimation via Infinitesimal Classification [85.08255198145304]
  そこで我々は, DRE-inftyを提案する。 DRE-inftyは, 密度比推定(DRE)を, より簡単なサブプロブレムに還元する手法である。 モンテカルロ法にインスパイアされ、中間ブリッジ分布の無限連続体を介して2つの分布の間を滑らかに補間する。 提案手法は,複雑な高次元データセット上での相互情報推定やエネルギーベースモデリングなどの下流タスクにおいて良好に動作することを示す。
  論文  参考訳（メタデータ） (2021-11-22T06:26:29Z)
• Density-Based Clustering with Kernel Diffusion [59.4179549482505]
  単位$d$次元ユークリッド球のインジケータ関数に対応するナイーブ密度は、密度に基づくクラスタリングアルゴリズムで一般的に使用される。 局所分布特性と滑らかさの異なるデータに適応する新しいカーネル拡散密度関数を提案する。
  論文  参考訳（メタデータ） (2021-10-11T09:00:33Z)
• Generative Learning With Euler Particle Transport [14.557451744544592]
  生成学習のためのユーラー粒子輸送(EPT)手法を提案する。 提案手法は, 基準分布から目標分布への最適輸送マップの探索の問題に動機付けられている。 提案する密度比(差分)推定器は,データが低次元多様体上で支持されている場合,「次元の曲線」に支障を来さないことを示す。
  論文  参考訳（メタデータ） (2020-12-11T03:10:53Z)
• Nearest Neighbor Dirichlet Mixtures [3.3194866396158]
  計算上の欠点を伴わずにベイズ的アプローチの強みのほとんどを維持するために、近傍のディリクレ混合のクラスを提案する。 単純で恥ずかしい並列なモンテカルロアルゴリズムが提案され、結果の擬似ポストから未知の密度をサンプリングする。
  論文  参考訳（メタデータ） (2020-03-17T21:39:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。