論文の概要: Neural Implicit Manifold Learning for Topology-Aware Density Estimation
- arxiv url: http://arxiv.org/abs/2206.11267v2
- Date: Thu, 21 Dec 2023 19:00:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-25 19:04:14.721915
- Title: Neural Implicit Manifold Learning for Topology-Aware Density Estimation
- Title（参考訳）: トポロジ対応密度推定のためのニューラルインプリシトマニフォールド学習
- Authors: Brendan Leigh Ross, Gabriel Loaiza-Ganem, Anthony L. Caterini, Jesse
C. Cresswell
- Abstract要約: 現在の生成モデルは、ニューラルネットワークを介して$m$次元の潜在変数をマッピングすることで、$mathcalM$を学ぶ。
我々のモデルは、プッシュフォワードモデルよりも複雑なトポロジーを持つ多様体支持分布を正確に学習できることが示される。
- 参考スコア（独自算出の注目度）: 15.878635603835063
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural data observed in $\mathbb{R}^n$ is often constrained to an
$m$-dimensional manifold $\mathcal{M}$, where $m < n$. This work focuses on the
task of building theoretically principled generative models for such data.
Current generative models learn $\mathcal{M}$ by mapping an $m$-dimensional
latent variable through a neural network $f_\theta: \mathbb{R}^m \to
\mathbb{R}^n$. These procedures, which we call pushforward models, incur a
straightforward limitation: manifolds cannot in general be represented with a
single parameterization, meaning that attempts to do so will incur either
computational instability or the inability to learn probability densities
within the manifold. To remedy this problem, we propose to model $\mathcal{M}$
as a neural implicit manifold: the set of zeros of a neural network. We then
learn the probability density within $\mathcal{M}$ with a constrained
energy-based model, which employs a constrained variant of Langevin dynamics to
train and sample from the learned manifold. In experiments on synthetic and
natural data, we show that our model can learn manifold-supported distributions
with complex topologies more accurately than pushforward models.
- Abstract（参考訳）: $\mathbb{R}^n$ で観測される自然データは、$m < n$ であるような $m$-次元多様体 $\mathcal{M}$ に制約されることが多い。
この研究は、理論的に原理化されたデータ生成モデルを構築することに焦点を当てている。
現在の生成モデルは、$m$-次元潜在変数をニューラルネットワーク$f_\theta: \mathbb{R}^m \to \mathbb{R}^n$にマッピングすることで、$\mathcal{M}$を学ぶ。
多様体は一般に単一のパラメータ化では表現できない、つまりそのような試みは、計算不安定性または多様体内の確率密度を学習できないのいずれかを引き起こす。
この問題を解決するために、ニューラルネットワークの零点の集合である神経暗黙多様体として$\mathcal{m}$をモデル化する。
次に、制約付きエネルギーベースモデルを用いて$\mathcal{M}$内の確率密度を学習し、ランゲヴィン力学の制約付き変種を用いて学習多様体から学習およびサンプルを訓練する。
合成データおよび自然データ実験において,本モデルはプッシュフォワードモデルよりも複雑な位相をもつ多様体支援分布を学習できることを示した。
関連論文リスト
- Scaling Laws in Linear Regression: Compute, Parameters, and Data [86.48154162485712]
無限次元線形回帰セットアップにおけるスケーリング法則の理論について検討する。
テストエラーの再現可能な部分は$Theta(-(a-1) + N-(a-1)/a)$であることを示す。
我々の理論は経験的ニューラルスケーリング法則と一致し、数値シミュレーションによって検証される。
論文 参考訳（メタデータ） (2024-06-12T17:53:29Z) - Distribution learning via neural differential equations: a nonparametric
statistical perspective [1.4436965372953483]
この研究は、確率変換によって訓練されたODEモデルによる分布学習のための最初の一般統計収束解析を確立する。
後者はクラス $mathcal F$ の$C1$-metric entropy で定量化できることを示す。
次に、この一般フレームワークを$Ck$-smoothターゲット密度の設定に適用し、関連する2つの速度場クラスに対する最小最適収束率を$mathcal F$:$Ck$関数とニューラルネットワークに設定する。
論文 参考訳（メタデータ） (2023-09-03T00:21:37Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳（メタデータ） (2023-06-15T16:30:08Z) - Storage and Learning phase transitions in the Random-Features Hopfield
Model [9.489398590336643]
ホップフィールドモデル(Hopfield model)は、統計物理学、神経科学、機械学習のコミュニティで数十年にわたって分析されてきたニューラルネットワークのパラダイムモデルである。
機械学習における多様体仮説に着想を得て、ランダム・フィーチャース・ホップフィールドモデル(Random-Features Hopfield Model)と呼ぶ標準設定の一般化を提案し、検討する。
論文 参考訳（メタデータ） (2023-03-29T17:39:21Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳（メタデータ） (2021-11-15T09:08:27Z) - Fundamental tradeoffs between memorization and robustness in random
features and neural tangent regimes [15.76663241036412]
モデルがトレーニングのごく一部を記憶している場合、そのソボレフ・セミノルムは低い有界であることを示す。
実験によって初めて、(iv)ミンノルム補間器の堅牢性における多重発色現象が明らかになった。
論文 参考訳（メタデータ） (2021-06-04T17:52:50Z) - A Neural Scaling Law from the Dimension of the Data Manifold [8.656787568717252]
データが豊富であれば、よく訓練されたニューラルネットワークによって達成される損失は、ネットワークパラメータの数でN-alpha$のパワーロープロットとしてスケールする。
スケーリングの法則は、ニューラルモデルが本質的に内在次元$d$のデータ多様体上で回帰を行えば説明できる。
この単純な理論は、スケーリング指数が、クロスエントロピーと平均二乗誤差損失に対して$alpha approx 4/d$となることを予測している。
論文 参考訳（メタデータ） (2020-04-22T19:16:06Z) - Neural Bayes: A Generic Parameterization Method for Unsupervised
Representation Learning [175.34232468746245]
本稿ではニューラルベイズと呼ばれるパラメータ化手法を提案する。
これは一般に計算が難しい統計量の計算を可能にする。
このパラメータ化のための2つの独立したユースケースを示す。
論文 参考訳（メタデータ） (2020-02-20T22:28:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。