論文の概要: Rectangular Flows for Manifold Learning

• arxiv url: http://arxiv.org/abs/2106.01413v1
• Date: Wed, 2 Jun 2021 18:30:39 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-04 12:17:17.051847
• Title: Rectangular Flows for Manifold Learning
• Title（参考訳）: 多様体学習のための矩形流れ
• Authors: Anthony L. Caterini, Gabriel Loaiza-Ganem, Geoff Pleiss, John P. Cunningham
• Abstract要約: 正規化フローは、トラクタブル・オブ・ボリューム項を持つ可逆ニューラルネットワークである。 興味のあるデータは、通常、高次元の周囲空間に埋め込まれたいくつかの(しばしば未知の)低次元多様体に生きていると仮定される。 本稿では,モデルのパラメータに関して,この項の勾配を抽出可能な2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 38.63646804834534
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Normalizing flows are invertible neural networks with tractable change-of-volume terms, which allows optimization of their parameters to be efficiently performed via maximum likelihood. However, data of interest is typically assumed to live in some (often unknown) low-dimensional manifold embedded in high-dimensional ambient space. The result is a modelling mismatch since -- by construction -- the invertibility requirement implies high-dimensional support of the learned distribution. Injective flows, mapping from low- to high-dimensional space, aim to fix this discrepancy by learning distributions on manifolds, but the resulting volume-change term becomes more challenging to evaluate. Current approaches either avoid computing this term entirely using various heuristics, or assume the manifold is known beforehand and therefore are not widely applicable. Instead, we propose two methods to tractably calculate the gradient of this term with respect to the parameters of the model, relying on careful use of automatic differentiation and techniques from numerical linear algebra. Both approaches perform end-to-end nonlinear manifold learning and density estimation for data projected onto this manifold. We study the trade-offs between our proposed methods, empirically verify that we outperform approaches ignoring the volume-change term by more accurately learning manifolds and the corresponding distributions on them, and show promising results on out-of-distribution detection.
• Abstract（参考訳）: フローの正規化は可逆的なニューラルネットワークであり、容量の移動可能な変更項を持ち、パラメータの最適化を最大確率で効率的に行うことができる。 しかし、興味のあるデータは一般に、高次元の環境空間に埋め込まれた(しばしば未知の)低次元多様体に存在すると仮定される。 構成上、可逆性要求は学習された分布の高次元的サポートを意味するため、結果はモデリングミスマッチとなる。 低次元空間から高次元空間への写像である射出流は、多様体上の分布を学習することでこの矛盾を解消しようとするが、結果として得られる体積変化項は評価が難しくなる。 現在のアプローチでは、この項を完全に様々なヒューリスティックを使って計算するのを避けるか、多様体が事前に知られていると仮定する。 代わりに, 数値線形代数から自動微分法や手法を注意深く利用して, モデルのパラメータに関して, この項の勾配を気軽に計算する方法を2つ提案する。 どちらの手法も、この多様体上に投影されたデータのエンドツーエンドの非線形多様体学習と密度推定を行う。 提案手法のトレードオフを実証的に検証し, 体積変化項を無視するアプローチを, 多様体とそれに対応する分布をより正確に学習し, アウト・オブ・ディストリビューション検出の有望な結果を示す。

関連論文リスト

• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Canonical normalizing flows for manifold learning [14.377143992248222]
  そこで本研究では,新しい目的によって変換行列を強制し,顕著で非退化的な基底関数をほとんど持たない正準多様体学習フロー法を提案する。 正準多様体の流れは潜在空間をより効率的に利用し、データを表現するために顕著で異なる次元を自動生成する。
  論文  参考訳（メタデータ） (2023-10-19T13:48:05Z)
• Generative Modeling on Manifolds Through Mixture of Riemannian Diffusion Processes [57.396578974401734]
  一般多様体上に生成拡散過程を構築するための原理的枠組みを導入する。 従来の拡散モデルの認知的アプローチに従う代わりに、橋梁プロセスの混合を用いて拡散過程を構築する。 混合過程を幾何学的に理解し,データ点への接する方向の重み付け平均としてドリフトを導出する。
  論文  参考訳（メタデータ） (2023-10-11T06:04:40Z)
• Out-of-distribution detection using normalizing flows on the data manifold [3.725042082196983]
  本研究では,正規化フローを用いた多様体学習が分布外検出に及ぼす影響について検討した。 本研究では,正規化フローとして知られる確率ベースモデルの分布外検出能力を,多様体学習により向上させることを示す。
  論文  参考訳（メタデータ） (2023-08-26T07:35:16Z)
• Joint Manifold Learning and Density Estimation Using Normalizing Flows [4.939777212813711]
  問題に答えるために,1ピクセルあたりのペナル化と階層的トレーニングという2つのアプローチを導入する。 そこで本稿では,変換された空間をアンタングル化することで,共同多様体学習と密度推定を行う一段階法を提案する。 その結果, 共用多様体学習と密度推定において, 提案手法の優位性を検証した。
  論文  参考訳（メタデータ） (2022-06-07T13:35:14Z)
• Improving Diffusion Models for Inverse Problems using Manifold Constraints [55.91148172752894]
  我々は,現在の解法がデータ多様体からサンプルパスを逸脱し,エラーが蓄積することを示す。 この問題に対処するため、多様体の制約に着想を得た追加の補正項を提案する。 本手法は理論上も経験上も従来の方法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-02T09:06:10Z)
• Diagnosing and Fixing Manifold Overfitting in Deep Generative Models [11.82509693248749]
  ニューラルネットワークを使ってフレキシブルな高次元密度を構築する。 観測データは高次元空間に埋め込まれた低次元多様体上に存在することを示す。 そこで本研究では,次元削減ステップと最大線密度推定を併用した2段階の手順のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-14T18:00:03Z)
• Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
  アイソメトリーを用いて、多様体学習と密度推定を分離する。 また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
  論文  参考訳（メタデータ） (2022-03-08T08:57:43Z)
• Manifold Learning via Manifold Deflation [105.7418091051558]
  次元削減法は、高次元データの可視化と解釈に有用な手段を提供する。 多くの一般的な手法は単純な2次元のマニフォールドでも劇的に失敗する。 本稿では,グローバルな構造を座標として組み込んだ,新しいインクリメンタルな空間推定器の埋め込み手法を提案する。 実験により,本アルゴリズムは実世界および合成データセットに新規で興味深い埋め込みを復元することを示した。
  論文  参考訳（メタデータ） (2020-07-07T10:04:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。