論文の概要: A Deep Generative Approach to Stratified Learning
- arxiv url: http://arxiv.org/abs/2604.10650v1
- Date: Sun, 12 Apr 2026 13:56:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-14 20:13:16.151202
- Title: A Deep Generative Approach to Stratified Learning
- Title(参考訳): 階層型学習への深層的アプローチ
- Authors: Randy Martinez, Rong Tang, Lizhen Lin,
- Abstract要約: 階層的学習は、様々な次元性、特異点、効率的なモデルの欠如のために困難である。
成層空間上の分布を学習するための2つの生成フレームワークを開発する。
- 参考スコア(独自算出の注目度): 3.235435741494221
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While the manifold hypothesis is widely adopted in modern machine learning, complex data is often better modeled as stratified spaces -- unions of manifolds (strata) of varying dimensions. Stratified learning is challenging due to varying dimensionality, intersection singularities, and lack of efficient models in learning the underlying distributions. We provide a deep generative approach to stratified learning by developing two generative frameworks for learning distributions on stratified spaces. The first is a sieve maximum likelihood approach realized via a dimension-aware mixture of variational autoencoders. The second is a diffusion-based framework that explores the score field structure of a mixture. We establish the convergence rates for learning both the ambient and intrinsic distributions, which are shown to be dependent on the intrinsic dimensions and smoothness of the underlying strata. Utilizing the geometry of the score field, we also establish consistency for estimating the intrinsic dimension of each stratum and propose an algorithm that consistently estimates both the number of strata and their dimensions. Theoretical results for both frameworks provide fundamental insights into the interplay of the underlying geometry, the ambient noise level, and deep generative models. Extensive simulations and real dataset applications, such as molecular dynamics, demonstrate the effectiveness of our methods.
- Abstract(参考訳): 多様体仮説は現代の機械学習において広く採用されているが、複素データは様々な次元の多様体(層)の結合である成層空間としてモデル化されることが多い。
階層的学習は、様々な次元性、交叉特異点、基礎となる分布の学習における効率的なモデルの欠如により困難である。
成層空間上の分布を学習するための2つの生成フレームワークを開発することにより、成層学習に対する深い生成的アプローチを提供する。
1つ目は、変分オートエンコーダの次元認識混合により実現されたシーブ最大可能性アプローチである。
2つ目は拡散に基づくフレームワークで、混合物のスコアフィールド構造を探索する。
内在的次元と下層の滑らかさに依存することが示される環境分布と内在的分布の両方を学ぶための収束速度を確立する。
スコア場の幾何を利用して,各層の固有次元を推定するための一貫性を確立し,層数とそれらの次元を連続的に推定するアルゴリズムを提案する。
両フレームワークの理論的結果は、基礎となる幾何学、環境騒音レベル、および深層生成モデルとの相互作用に関する基本的な洞察を提供する。
分子動力学などの大規模なシミュレーションと実際のデータセット応用は,本手法の有効性を実証する。
関連論文リスト
- Automated Manifold Learning for Reduced Order Modeling [1.1126342180866644]
本研究では,時空間データからシステムダイナミクスを探索するための幾何学的表現学習法について検討する。
本研究では,このようなデータの類似性構造を空間的近接グラフにエンコードする。
そこで本研究では,古典的および深層学習に基づく多様体学習手法を応用し,次数の減少を学習する。
論文 参考訳(メタデータ) (2025-06-02T14:49:55Z) - Manifold Learning with Normalizing Flows: Towards Regularity, Expressivity and Iso-Riemannian Geometry [8.020732438595905]
この研究は、マルチモーダル設定で発生する歪みやモデリングエラーに対処することに焦点を当てている。
本稿では,合成データと実データの両方を用いた数値実験において,提案手法の相乗効果を示す。
論文 参考訳(メタデータ) (2025-05-12T21:44:42Z) - Unraveling the Localized Latents: Learning Stratified Manifold Structures in LLM Embedding Space with Sparse Mixture-of-Experts [3.9426000822656224]
大規模な言語モデルでは、埋め込みは入力データの難易度や領域によって異なる次元の局所多様体構造に存在していると推測する。
注意に基づくソフトゲーティングネットワークを組み込むことで,我々のモデルは入力データソースのアンサンブルのために,特別なサブマニフォールドを学習することを確認した。
論文 参考訳(メタデータ) (2025-02-19T09:33:16Z) - Distributionally Robust Model-based Reinforcement Learning with Large
State Spaces [55.14361269378122]
強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。
広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。
本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
論文 参考訳(メタデータ) (2023-09-05T13:42:11Z) - DIFFormer: Scalable (Graph) Transformers Induced by Energy Constrained
Diffusion [66.21290235237808]
本稿では,データセットからのインスタンスのバッチを進化状態にエンコードするエネルギー制約拡散モデルを提案する。
任意のインスタンス対間の対拡散強度に対する閉形式最適推定を示唆する厳密な理論を提供する。
各種タスクにおいて優れた性能を有する汎用エンコーダバックボーンとして,本モデルの適用性を示す実験を行った。
論文 参考訳(メタデータ) (2023-01-23T15:18:54Z) - Model-Based Deep Learning: On the Intersection of Deep Learning and
Optimization [101.32332941117271]
決定アルゴリズムは様々なアプリケーションで使われている。
数理モデルに頼らずにデータから調整された高度パラメトリックアーキテクチャを使用するディープラーニングアプローチが、ますます人気が高まっている。
モデルに基づく最適化とデータ中心のディープラーニングは、しばしば異なる規律とみなされる。
論文 参考訳(メタデータ) (2022-05-05T13:40:08Z) - Learning Gaussian Graphical Models with Latent Confounders [74.72998362041088]
我々は、グラフィカルモデルにおける推論のための2つの戦略を、潜伏した共同創設者と比較し、対比する。
これら2つのアプローチは、類似した目標を持っているが、それらは共起に関する異なる仮定によって動機付けられている。
これら2つのアプローチの強みを組み合わせた新しい手法を提案する。
論文 参考訳(メタデータ) (2021-05-14T00:53:03Z) - Unsupervised Embedding of Hierarchical Structure in Euclidean Space [30.507049058838025]
我々は、集約アルゴリズムによって生成される階層的クラスタリングを改善する方法として、ユークリッド空間にデータの非線形埋め込みを学習することを検討する。
遅延空間埋め込みの再スケーリングはデンドログラムの純度とモーゼリー・ワングのコスト関数の改善をもたらすことを示す。
論文 参考訳(メタデータ) (2020-10-30T03:57:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。