論文の概要: Learning Distances from Data with Normalizing Flows and Score Matching
- arxiv url: http://arxiv.org/abs/2407.09297v1
- Date: Fri, 12 Jul 2024 14:30:41 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-15 23:18:28.523140
- Title: Learning Distances from Data with Normalizing Flows and Score Matching
- Title(参考訳): 正規化フローとスコアマッチングを用いたデータからの距離学習
- Authors: Peter Sorrenson, Daniel Behrend-Uriarte, Christoph Schnörr, Ullrich Köthe,
- Abstract要約: 密度に基づく距離は、メートル法学習の問題に対するエレガントな解決策を提供する。
我々は,フェルマー距離を推定する既存の手法が,低次元と高次元の両方において収束不良に悩まされていることを示す。
我々の研究は、特に高次元空間における密度に基づく距離の実践的利用の道を開いた。
- 参考スコア(独自算出の注目度): 9.605001452209867
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Density-based distances (DBDs) offer an elegant solution to the problem of metric learning. By defining a Riemannian metric which increases with decreasing probability density, shortest paths naturally follow the data manifold and points are clustered according to the modes of the data. We show that existing methods to estimate Fermat distances, a particular choice of DBD, suffer from poor convergence in both low and high dimensions due to i) inaccurate density estimates and ii) reliance on graph-based paths which are increasingly rough in high dimensions. To address these issues, we propose learning the densities using a normalizing flow, a generative model with tractable density estimation, and employing a smooth relaxation method using a score model initialized from a graph-based proposal. Additionally, we introduce a dimension-adapted Fermat distance that exhibits more intuitive behavior when scaled to high dimensions and offers better numerical properties. Our work paves the way for practical use of density-based distances, especially in high-dimensional spaces.
- Abstract(参考訳): 密度ベース距離(DBD)は、計量学習の問題に対するエレガントな解決策を提供する。
確率密度の減少に伴って増加するリーマン計量を定義することにより、最短経路は自然にデータ多様体に従い、点はデータのモードに応じてクラスタ化される。
我々は,DBDの特定の選択であるフェルマー距離を推定する既存の手法が,低次元と高次元の両方の収束不良に悩まされていることを示す。
一 不正確な密度推定及び不正確な密度推定
二 高次元においてますます粗いグラフベースの経路に依存していること。
これらの問題に対処するために, 正規化フロー, トラクタブル密度推定付き生成モデルを用いて密度を学習し, グラフベース提案から初期化したスコアモデルを用いて円滑な緩和法を採用することを提案する。
さらに,次元適応型ファーマー距離を導入し,高次元にスケールするとより直感的な挙動を示し,より優れた数値特性を提供する。
我々の研究は、特に高次元空間における密度に基づく距離の実践的利用の道を開いた。
関連論文リスト
- Density Estimation via Binless Multidimensional Integration [45.21975243399607]
非パラメトリック、ロバスト、およびデータ効率の高い密度推定のためのBinless Multidimensional Thermodynamic Integration (BMTI)法を提案する。
BMTIは、近隣のデータポイント間の対数密度差を計算し、その密度の対数を推定する。
この方法は様々な複雑な合成高次元データセットでテストされ、化学物理学の文献から現実的なデータセットでベンチマークされる。
論文 参考訳(メタデータ) (2024-07-10T23:45:20Z) - SPARE: Symmetrized Point-to-Plane Distance for Robust Non-Rigid Registration [76.40993825836222]
本研究では,SPAREを提案する。SPAREは,非剛性登録のための対称化点-平面間距離を用いた新しい定式化である。
提案手法は, 厳密でない登録問題の精度を大幅に向上し, 比較的高い解効率を維持する。
論文 参考訳(メタデータ) (2024-05-30T15:55:04Z) - Scaling Riemannian Diffusion Models [68.52820280448991]
非自明な多様体上の高次元タスクにスケールできることを示す。
我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
論文 参考訳(メタデータ) (2023-10-30T21:27:53Z) - Your diffusion model secretly knows the dimension of the data manifold [0.0]
拡散モデルは、様々なレベルの汚損に対する目標分布のノイズ崩壊バージョンにおけるログ密度の勾配を近似する。
データを高次元の周囲空間に埋め込まれた多様体の周りに集中させると、腐敗のレベルが低下するにつれて、スコア関数は多様体へ向けられる。
論文 参考訳(メタデータ) (2022-12-23T23:15:14Z) - GraphFit: Learning Multi-scale Graph-Convolutional Representation for
Point Cloud Normal Estimation [31.40738037512243]
本研究では,非構造3次元点雲の高精度かつ効率的な正規推定法を提案する。
我々は、より局所的な近傍幾何学を強調する正規推定のためのグラフ畳み込み特徴表現を学習する。
提案手法は,様々なベンチマークデータセットにおいて,最先端の精度で競合より優れる。
論文 参考訳(メタデータ) (2022-07-23T10:29:26Z) - LIDL: Local Intrinsic Dimension Estimation Using Approximate Likelihood [10.35315334180936]
この問題に対する新しいアプローチを提案する: 近似的類似度(LIDL)を用いた局所固有次元推定
本手法は, 任意の密度推定法をサブルーチンとして用い, 次元の挑戦をサイドステップしようと試みる。
LIDLは,この問題の標準ベンチマークで競合する結果を得るとともに,数千次元まで拡張可能であることを示す。
論文 参考訳(メタデータ) (2022-06-29T19:47:46Z) - Meta-Learning for Relative Density-Ratio Estimation [59.75321498170363]
相対密度比推定(DRE)の既存の方法は、両方の密度から多くのインスタンスを必要とする。
本稿では,関係データセットの知識を用いて,相対密度比を数例から推定する,相対DREのメタラーニング手法を提案する。
提案手法の有効性を,相対的DRE,データセット比較,外乱検出の3つの問題を用いて実証的に実証した。
論文 参考訳(メタデータ) (2021-07-02T02:13:45Z) - Learning Optical Flow from a Few Matches [67.83633948984954]
密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。
実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
論文 参考訳(メタデータ) (2021-04-05T21:44:00Z) - Nonparametric Density Estimation from Markov Chains [68.8204255655161]
我々はマルコフ・チェインにインスパイアされた新しい非パラメトリック密度推定器を導入し、よく知られたケルネル密度推定器を一般化する。
我々の推定器は, 通常のものに対していくつかの利点を示し, 全密度アルゴリズムの基盤として容易に利用できる。
論文 参考訳(メタデータ) (2020-09-08T18:33:42Z) - Variable Skipping for Autoregressive Range Density Estimation [84.60428050170687]
深部自己回帰モデルを用いた距離密度推定を高速化する手法である可変スキップについて述べる。
可変スキップは、10-100$timesの効率向上をもたらすことを示す。
論文 参考訳(メタデータ) (2020-07-10T19:01:40Z) - Unsupervised Discretization by Two-dimensional MDL-based Histogram [0.0]
教師なしの離散化は多くの知識発見タスクにおいて重要なステップである。
本稿では,2次元データのより柔軟な分割を可能にする表現型モデルクラスを提案する。
本稿では,各次元を交互に分割し,隣接する領域をマージするPALMというアルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-06-02T19:19:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。