論文の概要: Flow Based Models For Manifold Data
- arxiv url: http://arxiv.org/abs/2109.14216v1
- Date: Wed, 29 Sep 2021 06:48:01 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-30 15:00:54.571545
- Title: Flow Based Models For Manifold Data
- Title(参考訳): 多様体データのフローベースモデル
- Authors: Mingtian Zhang and Yitong Sun and Steven McDonagh and Chen Zhang
- Abstract要約: フローベース生成モデルは一般に、観測空間と同一の次元を持つ潜在空間を定義する。
多くの問題において、データはそれらが常駐する全周囲データ空間を浮き彫りにせず、むしろ低次元多様体である。
サンプル生成と表現品質の両方に利益をもたらす多様体を事前に学習することを提案する。
- 参考スコア(独自算出の注目度): 11.344428134774475
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Flow-based generative models typically define a latent space with
dimensionality identical to the observational space. In many problems, however,
the data does not populate the full ambient data-space that they natively
reside in, rather inhabiting a lower-dimensional manifold. In such scenarios,
flow-based models are unable to represent data structures exactly as their
density will always have support off the data manifold, potentially resulting
in degradation of model performance. In addition, the requirement for equal
latent and data space dimensionality can unnecessarily increase complexity for
contemporary flow models. Towards addressing these problems, we propose to
learn a manifold prior that affords benefits to both sample generation and
representation quality. An auxiliary benefit of our approach is the ability to
identify the intrinsic dimension of the data distribution.
- Abstract(参考訳): フローに基づく生成モデルは通常、観測空間と同一の次元を持つ潜在空間を定義する。
しかし、多くの問題では、データは、彼らがネイティブに居住する完全なアンビエントデータ空間ではなく、より低次元の多様体に居住する。
このようなシナリオでは、フローベースのモデルは、その密度が常にデータ多様体からサポートされるため、データ構造を正確に表現することはできない。
さらに、同じ潜在性とデータ空間の次元の要求は、現代のフローモデルの複雑さを不要に増やすことができる。
これらの問題に対処するために,我々は,サンプル生成と表現品質の両方に利点を与える多様体を事前に学習することを提案する。
我々のアプローチの補助的な利点は、データ分布の本質的な次元を識別する能力である。
関連論文リスト
- Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。
DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
論文 参考訳(メタデータ) (2024-03-11T14:07:53Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳(メタデータ) (2023-04-03T13:13:19Z) - Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning [112.69497636932955]
フェデレートラーニングは、プライバシを考慮したデータ共有を必要とせずに、さまざまなクライアントでモデルをトレーニングすることを目的としている。
本研究では,データの不均一性がグローバル集約モデルの表現に与える影響について検討する。
フェデレーション学習における次元的崩壊を効果的に緩和する新しい手法である sc FedDecorr を提案する。
論文 参考訳(メタデータ) (2022-10-01T09:04:17Z) - ManiFlow: Implicitly Representing Manifolds with Normalizing Flows [145.9820993054072]
正規化フロー(NF)は、複雑な実世界のデータ分布を正確にモデル化することが示されているフレキシブルな明示的な生成モデルである。
摂動分布から標本を与えられた多様体上の最も可能性の高い点を復元する最適化目的を提案する。
最後に、NFsの明示的な性質、すなわち、ログのような勾配とログのような勾配から抽出された表面正規化を利用する3次元点雲に焦点を当てる。
論文 参考訳(メタデータ) (2022-08-18T16:07:59Z) - RENs: Relevance Encoding Networks [0.0]
本稿では,遅延空間に先行する自動相対性決定(ARD)を用いて,データ固有のボトルネック次元を学習する新しい確率的VOEベースのフレームワークであるrelevance encoding network (RENs)を提案する。
提案モデルは,サンプルの表現や生成品質を損なうことなく,関連性のあるボトルネック次元を学習することを示す。
論文 参考訳(メタデータ) (2022-05-25T21:53:48Z) - Learning from few examples with nonlinear feature maps [68.8204255655161]
我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。
本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
論文 参考訳(メタデータ) (2022-03-31T10:36:50Z) - Nonlinear Isometric Manifold Learning for Injective Normalizing Flows [58.720142291102135]
アイソメトリーを用いて、多様体学習と密度推定を分離する。
また、確率分布を歪ませない明示的な逆数を持つ埋め込みを設計するためにオートエンコーダを用いる。
論文 参考訳(メタデータ) (2022-03-08T08:57:43Z) - Normalizing Flows Across Dimensions [10.21537170623373]
我々は、次元をまたぐことができる正規化フローの一般化であるノイズ注入流(NIF)を導入する。
NIF は射影変換を用いて高次元データ空間内の学習可能な多様体にラテント空間を明示的にマッピングする。
実験により,本手法を既存のフローアーキテクチャに適用することにより,サンプルの品質を著しく向上し,分離可能なデータ埋め込みが得られることを示す。
論文 参考訳(メタデータ) (2020-06-23T14:47:18Z) - Variational Autoencoder with Learned Latent Structure [4.41370484305827]
学習潜在構造を持つ変分オートエンコーダ(VAELLS)について紹介する。
VAELLS は、学習可能な多様体モデルを VAE の潜在空間に組み込む。
我々は、既知の潜在構造を持つ実例でモデルを検証し、実世界のデータセット上でその能力を実証する。
論文 参考訳(メタデータ) (2020-06-18T14:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。