論文の概要: Canonical normalizing flows for manifold learning

• arxiv url: http://arxiv.org/abs/2310.12743v2
• Date: Tue, 31 Oct 2023 16:24:18 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 22:12:43.006144
• Title: Canonical normalizing flows for manifold learning
• Title（参考訳）: 多様体学習のための正準正規化フロー
• Authors: Kyriakos Flouris and Ender Konukoglu
• Abstract要約: そこで本研究では,新しい目的によって変換行列を強制し,顕著で非退化的な基底関数をほとんど持たない正準多様体学習フロー法を提案する。 正準多様体の流れは潜在空間をより効率的に利用し、データを表現するために顕著で異なる次元を自動生成する。
• 参考スコア（独自算出の注目度）: 14.377143992248222
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Manifold learning flows are a class of generative modelling techniques that assume a low-dimensional manifold description of the data. The embedding of such a manifold into the high-dimensional space of the data is achieved via learnable invertible transformations. Therefore, once the manifold is properly aligned via a reconstruction loss, the probability density is tractable on the manifold and maximum likelihood can be used to optimize the network parameters. Naturally, the lower-dimensional representation of the data requires an injective-mapping. Recent approaches were able to enforce that the density aligns with the modelled manifold, while efficiently calculating the density volume-change term when embedding to the higher-dimensional space. However, unless the injective-mapping is analytically predefined, the learned manifold is not necessarily an efficient representation of the data. Namely, the latent dimensions of such models frequently learn an entangled intrinsic basis, with degenerate information being stored in each dimension. Alternatively, if a locally orthogonal and/or sparse basis is to be learned, here coined canonical intrinsic basis, it can serve in learning a more compact latent space representation. Toward this end, we propose a canonical manifold learning flow method, where a novel optimization objective enforces the transformation matrix to have few prominent and non-degenerate basis functions. We demonstrate that by minimizing the off-diagonal manifold metric elements $\ell_1$-norm, we can achieve such a basis, which is simultaneously sparse and/or orthogonal. Canonical manifold flow yields a more efficient use of the latent space, automatically generating fewer prominent and distinct dimensions to represent data, and a better approximation of target distributions than other manifold flow methods in most experiments we conducted, resulting in lower FID scores.
• Abstract（参考訳）: 多様体学習フローは、データの低次元多様体記述を仮定した生成的モデリング手法のクラスである。 データの高次元空間へのそのような多様体の埋め込みは、学習可能な可逆変換によって達成される。 したがって、この多様体が再構成損失によって適切に整列されると、確率密度は多様体上で移動可能であり、ネットワークパラメータの最適化には最大確率を用いることができる。 当然、データの低次元表現は射影マッピングを必要とする。 近年のアプローチでは、密度はモデル付き多様体と一致し、高次元空間に埋め込まれた場合の密度体積変化項を効率的に計算することができる。 しかし、インジェクティブ・マッピングが解析的に事前定義されない限り、学習多様体は必ずしもデータの効率的な表現ではない。 すなわち、そのようなモデルの潜在次元は、縮退した情報を各次元に格納して、絡み合った本質基底をしばしば学習する。 あるいは、局所直交基底および/またはスパース基底が学習される場合、ここで、標準内在基底を造った場合、よりコンパクトな潜在空間表現を学ぶのに役立つ。 この目的を達成するために,新しい最適化対象が変換行列を強制し,非退化基底関数をほとんど持たない正準多様体学習フロー法を提案する。 我々は、非対角多様体計量元 $\ell_1$-norm を最小化することにより、そのような基底を達成できることを示した。 正準多様体フローは、遅延空間をより効率的に利用し、データを表現するために顕著で異なる次元を自動生成し、多くの実験で行った他の多様体フロー法よりも目標分布の近似が良くなり、その結果、FIDスコアが低下する。

関連論文リスト

• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Implicit Manifold Gaussian Process Regression [49.0787777751317]
  ガウス過程の回帰は、よく校正された不確実性推定を提供するために広く用いられている。 これは、データが実際に存在する暗黙の低次元多様体のため、高次元データに苦しむ。 本稿では,データ(ラベル付きおよびラベルなし)から直接暗黙構造を完全に微分可能な方法で推定できる手法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T09:52:48Z)
• Convolutional Filtering on Sampled Manifolds [122.06927400759021]
  サンプル多様体上の畳み込みフィルタリングは連続多様体フィルタリングに収束することを示す。 本研究は,ナビゲーション制御の問題点を実証的に明らかにした。
  論文  参考訳（メタデータ） (2022-11-20T19:09:50Z)
• The Manifold Scattering Transform for High-Dimensional Point Cloud Data [16.500568323161563]
  本稿では,自然システムにおけるデータセットへの多様体散乱変換の実装のための実践的スキームを提案する。 本手法は信号の分類や多様体の分類に有効であることを示す。
  論文  参考訳（メタデータ） (2022-06-21T02:15:00Z)
• Joint Manifold Learning and Density Estimation Using Normalizing Flows [4.939777212813711]
  問題に答えるために,1ピクセルあたりのペナル化と階層的トレーニングという2つのアプローチを導入する。 そこで本稿では,変換された空間をアンタングル化することで,共同多様体学習と密度推定を行う一段階法を提案する。 その結果, 共用多様体学習と密度推定において, 提案手法の優位性を検証した。
  論文  参考訳（メタデータ） (2022-06-07T13:35:14Z)
• Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
  アイソメトリーを用いて、多様体学習と密度推定を分離する。 また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
  論文  参考訳（メタデータ） (2022-03-08T08:57:43Z)
• Rectangular Flows for Manifold Learning [38.63646804834534]
  正規化フローは、トラクタブル・オブ・ボリューム項を持つ可逆ニューラルネットワークである。 興味のあるデータは、通常、高次元の周囲空間に埋め込まれたいくつかの(しばしば未知の)低次元多様体に生きていると仮定される。 本稿では,モデルのパラメータに関して,この項の勾配を抽出可能な2つの手法を提案する。
  論文  参考訳（メタデータ） (2021-06-02T18:30:39Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)
• Normalizing Flows Across Dimensions [10.21537170623373]
  我々は、次元をまたぐことができる正規化フローの一般化であるノイズ注入流(NIF)を導入する。 NIF は射影変換を用いて高次元データ空間内の学習可能な多様体にラテント空間を明示的にマッピングする。 実験により,本手法を既存のフローアーキテクチャに適用することにより,サンプルの品質を著しく向上し,分離可能なデータ埋め込みが得られることを示す。
  論文  参考訳（メタデータ） (2020-06-23T14:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。