論文の概要: Learning Manifold Dimensions with Conditional Variational Autoencoders
- arxiv url: http://arxiv.org/abs/2302.11756v2
- Date: Tue, 13 Jun 2023 18:50:18 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-17 02:06:35.451470
- Title: Learning Manifold Dimensions with Conditional Variational Autoencoders
- Title（参考訳）: 条件付き変分オートエンコーダによる多様体次元の学習
- Authors: Yijia Zheng, Tong He, Yixuan Qiu, David Wipf
- Abstract要約: 可変オートエンコーダ(VAE)とその条件拡張(CVAE)は、複数の領域にわたる最先端の結果を出力することができる。
VAE大域ミニマは、正しい多様体次元を復元できることを示す。
次に、この結果をより一般的なCVAEに拡張し、実用的なシナリオを実証する。
- 参考スコア（独自算出の注目度）: 22.539599695796014
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Although the variational autoencoder (VAE) and its conditional extension
(CVAE) are capable of state-of-the-art results across multiple domains, their
precise behavior is still not fully understood, particularly in the context of
data (like images) that lie on or near a low-dimensional manifold. For example,
while prior work has suggested that the globally optimal VAE solution can learn
the correct manifold dimension, a necessary (but not sufficient) condition for
producing samples from the true data distribution, this has never been
rigorously proven. Moreover, it remains unclear how such considerations would
change when various types of conditioning variables are introduced, or when the
data support is extended to a union of manifolds (e.g., as is likely the case
for MNIST digits and related). In this work, we address these points by first
proving that VAE global minima are indeed capable of recovering the correct
manifold dimension. We then extend this result to more general CVAEs,
demonstrating practical scenarios whereby the conditioning variables allow the
model to adaptively learn manifolds of varying dimension across samples. Our
analyses, which have practical implications for various CVAE design choices,
are also supported by numerical results on both synthetic and real-world
datasets.
- Abstract（参考訳）: 可変オートエンコーダ (VAE) とその条件拡張 (CVAE) は、複数の領域にわたる最先端の結果が得られるが、その正確な振る舞いは、特に低次元多様体上または近辺にあるデータ(画像など)の文脈において、完全には理解されていない。
例えば、先行研究は、グローバル最適vae解が正しい多様体次元を学習できることを示唆しているが、真のデータ分布からサンプルを生成するのに必要な(しかし十分ではない)条件は、厳密に証明されていない。
さらに、様々な種類の条件変数が導入された場合や、データサポートが多様体の和に拡張された場合(例えば、mnist の桁や関連する場合)、そのような考慮がどう変化するかは、まだ不明である。
本稿では,まずvae大域的ミニマが正しい多様体次元を回復できることを証明し,これらの点について考察する。
次に、この結果をより一般的なCVAEに拡張し、条件変数によってモデルがサンプル間で異なる次元の多様体を適応的に学習できるような実践的なシナリオを示す。
CVAE設計選択の実践的意味を持つ本分析は,合成データセットと実世界のデータセットの数値結果からも裏付けられる。
関連論文リスト
- Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks [7.958528596692594]
我々は、潜伏ワッサーシュタインガン(LWGAN)と呼ばれる新しい枠組みを提案する。
ワッサーシュタイン自己エンコーダとワッサーシュタイン GANを融合させ、データ多様体の内在次元を適応的に学習できるようにする。
我々は,LWGANが複数のシナリオにおいて,正しい固有次元を識別可能であることを示す。
論文 参考訳（メタデータ） (2024-09-27T01:25:22Z) - A Framework for Feasible Counterfactual Exploration incorporating Causality, Sparsity and Density [1.1782896991259]
機械学習モデルを対実的(CF)説明で解釈する緊急の必要性は、研究コミュニティで注目されている。
この研究は、異なるベンチマークデータセットを使用して、元の入力にわずかな変更を加えてCFサンプルを生成できるかどうかを調べる。
論文 参考訳（メタデータ） (2024-04-20T22:05:48Z) - VTAE: Variational Transformer Autoencoder with Manifolds Learning [144.0546653941249]
深層生成モデルは、多くの潜伏変数を通して非線形データ分布の学習に成功している。
ジェネレータの非線形性は、潜在空間がデータ空間の不満足な射影を示し、表現学習が不十分になることを意味する。
本研究では、測地学と正確な計算により、深部生成モデルの性能を大幅に向上させることができることを示す。
論文 参考訳（メタデータ） (2023-04-03T13:13:19Z) - Convolutional Filtering on Sampled Manifolds [122.06927400759021]
サンプル多様体上の畳み込みフィルタリングは連続多様体フィルタリングに収束することを示す。
本研究は,ナビゲーション制御の問題点を実証的に明らかにした。
論文 参考訳（メタデータ） (2022-11-20T19:09:50Z) - PAC Generalization via Invariant Representations [41.02828564338047]
有限標本集合における$epsilon$-approximate不変性の概念を考える。
PAC学習にインスパイアされ、有限サンプルのアウト・オブ・ディストリビューション一般化保証を得る。
この結果から, 介入部位が非次境界ノードの一定サイズの部分集合内にある場合に, 周囲次元でスケールしない境界を示す。
論文 参考訳（メタデータ） (2022-05-30T15:50:14Z) - Measuring dissimilarity with diffeomorphism invariance [94.02751799024684]
DID(DID)は、幅広いデータ空間に適用可能なペアワイズな相似性尺度である。
我々は、DIDが理論的研究と実用に関係のある特性を享受していることを証明する。
論文 参考訳（メタデータ） (2022-02-11T13:51:30Z) - Hard-label Manifolds: Unexpected Advantages of Query Efficiency for
Finding On-manifold Adversarial Examples [67.23103682776049]
画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。
最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。
雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
論文 参考訳（メタデータ） (2021-03-04T20:53:06Z) - Exploring Complementary Strengths of Invariant and Equivariant
Representations for Few-Shot Learning [96.75889543560497]
多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。
少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。
幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
論文 参考訳（メタデータ） (2021-03-01T21:14:33Z) - Fork or Fail: Cycle-Consistent Training with Many-to-One Mappings [67.11712279612583]
サイクル一貫性トレーニングは、2つの関心領域間の前方および逆マッピングの学習に広く用いられている。
我々は条件付き変分オートエンコーダ(cvae)アプローチを開発し、これは全射写像を暗黙の単射に変換するものと見なすことができる。
私たちのパイプラインは、グラフからテキストへの多様性を促進しながら、サイクルトレーニング中に多くのマッピングをキャプチャできます。
論文 参考訳（メタデータ） (2020-12-14T10:59:59Z) - Geometry-Aware Hamiltonian Variational Auto-Encoder [0.0]
変分自己エンコーダ(VAE)は、データよりもはるかに小さな次元空間にある潜在変数を抽出することにより、次元削減を行うのに適したツールであることが証明されている。
しかし、そのような生成モデルは、医学のような多くの現実の分野に豊富に存在する小さなデータセットで訓練すると、性能が低下する可能性がある。
このような潜在空間モデリングは、より意味のある、よりリアルなデータ生成、より信頼性の高いクラスタリングに繋がる基盤構造に関する有用な情報を提供する、と我々は主張する。
論文 参考訳（メタデータ） (2020-10-22T08:26:46Z) - Variational Autoencoder with Learned Latent Structure [4.41370484305827]
学習潜在構造を持つ変分オートエンコーダ(VAELLS)について紹介する。
VAELLS は、学習可能な多様体モデルを VAE の潜在空間に組み込む。
我々は、既知の潜在構造を持つ実例でモデルを検証し、実世界のデータセット上でその能力を実証する。
論文 参考訳（メタデータ） (2020-06-18T14:59:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。