論文の概要: The Union of Manifolds Hypothesis and its Implications for Deep Generative Modelling

• arxiv url: http://arxiv.org/abs/2207.02862v1
• Date: Wed, 6 Jul 2022 18:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-09 07:16:12.747947
• Title: The Union of Manifolds Hypothesis and its Implications for Deep Generative Modelling
• Title（参考訳）: マニフォールド仮説の融合とその深部生成モデルへの応用
• Authors: Bradley C.A. Brown, Anthony L. Caterini, Brendan Leigh Ross, Jesse C. Cresswell, Gabriel Loaiza-Ganem
• Abstract要約: 多様体仮説は、データが低内在次元の未知の多様体上にあることを述べる。 我々は、この仮説が典型的にデータに存在する低次元構造を適切に捉えていないと論じる。 内在次元の高いクラスは分類が困難であること,また,この知見が分類精度の向上にどのように役立つかを示す。
• 参考スコア（独自算出の注目度）: 10.82459914543525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning has had tremendous success at learning low-dimensional representations of high-dimensional data. This success would be impossible if there was no hidden low-dimensional structure in data of interest; this existence is posited by the manifold hypothesis, which states that the data lies on an unknown manifold of low intrinsic dimension. In this paper, we argue that this hypothesis does not properly capture the low-dimensional structure typically present in data. Assuming the data lies on a single manifold implies intrinsic dimension is identical across the entire data space, and does not allow for subregions of this space to have a different number of factors of variation. To address this deficiency, we put forth the union of manifolds hypothesis, which accommodates the existence of non-constant intrinsic dimensions. We empirically verify this hypothesis on commonly-used image datasets, finding that indeed, intrinsic dimension should be allowed to vary. We also show that classes with higher intrinsic dimensions are harder to classify, and how this insight can be used to improve classification accuracy. We then turn our attention to the impact of this hypothesis in the context of deep generative models (DGMs). Most current DGMs struggle to model datasets with several connected components and/or varying intrinsic dimensions. To tackle these shortcomings, we propose clustered DGMs, where we first cluster the data and then train a DGM on each cluster. We show that clustered DGMs can model multiple connected components with different intrinsic dimensions, and empirically outperform their non-clustered counterparts without increasing computational requirements.
• Abstract（参考訳）: ディープラーニングは、高次元データの低次元表現を学習することに成功した。 この成功は、興味のあるデータに隠れた低次元構造がなければ不可能であり、この存在は、そのデータが低内在次元の未知多様体上にあることを示す多様体仮説によって仮定される。 本稿では,この仮説が典型的にデータに存在する低次元構造を適切に捉えていないことを論じる。 データが単一の多様体上に存在すると仮定すると、内在次元はデータ空間全体にわたって同一であり、この空間の部分領域が異なる数の変動因子を持つことは許されない。 この欠損に対処するため、我々は非コンスタントな内在次元の存在を許容する多様体仮説の統一を提唱した。 我々は、この仮説を一般的な画像データセット上で実証的に検証し、実際、内在的な次元は変更可能であるべきであることを見出した。 また,本質的次元の大きいクラスでは分類が困難であり,この知見が分類精度の向上にどのように役立つかを示す。 次に、深部生成モデル(DGM)の文脈におけるこの仮説の影響に注目します。 現在のdgmの多くは、いくつかの接続されたコンポーネントと/またはさまざまな固有次元を持つデータセットのモデル化に苦労している。 これらの欠点に対処するために、まずデータをクラスタ化し、次に各クラスタ上でDGMをトレーニングするクラスタ化されたDGMを提案する。 クラスタ化されたdgmは,異なる固有次元の複数の接続コンポーネントをモデル化でき,計算量要求を増加させることなく,その非クラスタコンポーネントを実証的に上回ることができる。

関連論文リスト

• Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks [7.958528596692594]
  我々は、潜伏ワッサーシュタインガン(LWGAN)と呼ばれる新しい枠組みを提案する。 ワッサーシュタイン自己エンコーダとワッサーシュタイン GANを融合させ、データ多様体の内在次元を適応的に学習できるようにする。 我々は,LWGANが複数のシナリオにおいて,正しい固有次元を識別可能であることを示す。
  論文  参考訳（メタデータ） (2024-09-27T01:25:22Z)
• Generalization of Graph Neural Networks is Robust to Model Mismatch [84.01980526069075]
  グラフニューラルネットワーク(GNN)は、その一般化能力によってサポートされている様々なタスクにおいて、その効果を実証している。 本稿では,多様体モデルから生成される幾何グラフで動作するGNNについて検討する。 本稿では,そのようなモデルミスマッチの存在下でのGNN一般化の堅牢性を明らかにする。
  論文  参考訳（メタデータ） (2024-08-25T16:00:44Z)
• Deep Generative Models through the Lens of the Manifold Hypothesis: A Survey and New Connections [15.191007332508198]
  本研究では,低内在次元のデータモデリングにおいて,高周囲次元の確率の数値的不安定性は避けられないことを示す。 次に、オートエンコーダの学習表現上のDGMは、ワッサーシュタイン距離をほぼ最小化するものとして解釈できることを示す。
  論文  参考訳（メタデータ） (2024-04-03T18:00:00Z)
• Distributional Reduction: Unifying Dimensionality Reduction and Clustering with Gromov-Wasserstein [56.62376364594194]
  教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。 本研究では、最適輸送のレンズの下でこれらのアプローチを再検討し、Gromov-Wasserstein問題と関係を示す。 これにより、分散還元と呼ばれる新しい一般的なフレームワークが公開され、DRとクラスタリングを特別なケースとして回復し、単一の最適化問題内でそれらに共同で対処することができる。
  論文  参考訳（メタデータ） (2024-02-03T19:00:19Z)
• Scaling Riemannian Diffusion Models [68.52820280448991]
  非自明な多様体上の高次元タスクにスケールできることを示す。 我々は、$SU(n)$格子上のQCD密度と高次元超球面上の対照的に学習された埋め込みをモデル化する。
  論文  参考訳（メタデータ） (2023-10-30T21:27:53Z)
• Relative intrinsic dimensionality is intrinsic to learning [49.5738281105287]
  本稿では,データ分布の固有次元の概念を導入し,データの分離性特性を正確に把握する。 この本質的な次元に対して、上の親指の規則は法則となり、高本質的な次元は高度に分離可能なデータを保証する。 本稿では,2進分類問題における学習と一般化の確率について,上界と下界の両方に相対固有次元を与えることを示す。
  論文  参考訳（メタデータ） (2023-10-10T10:41:45Z)
• Intrinsic dimension estimation for discrete metrics [65.5438227932088]
  本稿では,離散空間に埋め込まれたデータセットの内在次元(ID)を推定するアルゴリズムを提案する。 我々は,その精度をベンチマークデータセットで示すとともに,種鑑定のためのメダゲノミクスデータセットの分析に応用する。 このことは、列の空間の高次元性にもかかわらず、蒸発圧が低次元多様体に作用することを示唆している。
  論文  参考訳（メタデータ） (2022-07-20T06:38:36Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Atlas Generative Models and Geodesic Interpolation [0.20305676256390928]
  我々は,Atlas Generative Models (AGMs) の一般クラスを定義する。 グラフに基づく測地線のアルゴリズムをAGMの設定に一般化してこれを実証し、その性能を実験的に検証する。
  論文  参考訳（メタデータ） (2021-01-30T16:35:25Z)
• Geometry-Aware Hamiltonian Variational Auto-Encoder [0.0]
  変分自己エンコーダ(VAE)は、データよりもはるかに小さな次元空間にある潜在変数を抽出することにより、次元削減を行うのに適したツールであることが証明されている。 しかし、そのような生成モデルは、医学のような多くの現実の分野に豊富に存在する小さなデータセットで訓練すると、性能が低下する可能性がある。 このような潜在空間モデリングは、より意味のある、よりリアルなデータ生成、より信頼性の高いクラスタリングに繋がる基盤構造に関する有用な情報を提供する、と我々は主張する。
  論文  参考訳（メタデータ） (2020-10-22T08:26:46Z)
• Estimate of the Neural Network Dimension using Algebraic Topology and Lie Theory [0.0]
  本稿では,ニューラルネットワークの層内のニューロンの最小数を決定する手法を提案する。 必要な次元を正確に指定し、データが位置するあるいはその近傍に滑らかな多様体が存在することを仮定する。 我々はこの理論を導出し、おもちゃのデータセットで実験的に検証する。
  論文  参考訳（メタデータ） (2020-04-06T14:15:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。