論文の概要: Score-based generative models learn manifold-like structures with constrained mixing

• arxiv url: http://arxiv.org/abs/2311.09952v1
• Date: Thu, 16 Nov 2023 15:15:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-17 13:54:48.942753
• Title: Score-based generative models learn manifold-like structures with constrained mixing
• Title（参考訳）: スコアベース生成モデルは制約混合による多様体様構造を学習する
• Authors: Li Kevin Wenliang, Ben Moran
• Abstract要約: スコアベース生成モデルは低次元多様体上でのデータ分布をどうやって学習するか? 本研究では, 局所特徴ベクトルによる線形近似と部分空間を用いて, 訓練されたSBMのスコアモデルについて検討する。 学習されたベクトル場は、多様体内の非保存的場によってサンプルを混合するが、非多様体方向のエネルギー関数が存在するかのように通常の射影と調和する。
• 参考スコア（独自算出の注目度）: 2.843124313496295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How do score-based generative models (SBMs) learn the data distribution supported on a low-dimensional manifold? We investigate the score model of a trained SBM through its linear approximations and subspaces spanned by local feature vectors. During diffusion as the noise decreases, the local dimensionality increases and becomes more varied between different sample sequences. Importantly, we find that the learned vector field mixes samples by a non-conservative field within the manifold, although it denoises with normal projections as if there is an energy function in off-manifold directions. At each noise level, the subspace spanned by the local features overlap with an effective density function. These observations suggest that SBMs can flexibly mix samples with the learned score field while carefully maintaining a manifold-like structure of the data distribution.
• Abstract（参考訳）: スコアベース生成モデル(SBM)は低次元多様体上でのデータ分布をどうやって学習するか? 局所的特徴ベクトルによる線形近似と部分空間による訓練SBMのスコアモデルについて検討する。 拡散の間、ノイズが減少するにつれて、局所的な次元は増大し、異なるサンプルシーケンス間でより変化する。 重要なことに、学習されたベクトル場は多様体内の非保存場によってサンプルを混合するが、通常の射影はオフ多様体の方向にエネルギー関数が存在するかのように記述する。 各ノイズレベルにおいて、局所的な特徴にまたがる部分空間は、有効密度関数と重なり合う。 これらの結果から,SBMはデータ分布の多様体的構造を注意深く維持しつつ,サンプルと学習スコア場を柔軟に混合できることが示唆された。

関連論文リスト

• Reconstructing Galaxy Cluster Mass Maps using Score-based Generative Modeling [9.386611764730791]
  本稿では,銀河団のガス・ダークマター投影密度マップをスコアベース生成モデルを用いて再構成する手法を提案する。 拡散モデルでは, 模擬SZおよびX線像を条件付き観測として捉え, 学習データ後部からのサンプリングにより, 対応するガスおよびダークマターマップの実現を図っている。
  論文  参考訳（メタデータ） (2024-10-03T18:00:03Z)
• Understanding the Local Geometry of Generative Model Manifolds [14.191548577311904]
  学習多様体のテクスト局所幾何学と下流生成の関係について検討する。 所与の潜伏者に対して、局所記述子は世代美学、アーティファクト、不確実性、暗記などと相関していることを示す定量的かつ定性的な証拠を提供する。
  論文  参考訳（メタデータ） (2024-08-15T17:59:06Z)
• Theoretical Insights for Diffusion Guidance: A Case Study for Gaussian Mixture Models [59.331993845831946]
  拡散モデルは、所望の特性に向けてサンプル生成を操るために、スコア関数にタスク固有の情報を注入することの恩恵を受ける。 本稿では,ガウス混合モデルの文脈における拡散モデルに対する誘導の影響を理解するための最初の理論的研究を提供する。
  論文  参考訳（メタデータ） (2024-03-03T23:15:48Z)
• Diffusion map particle systems for generative modeling [0.0]
  拡散写像とラプラシアン調整ワッサーシュタイン勾配勾配(LAWGD)に基づく新しい拡散写像粒子システム(DMPS)を提案する。 拡散写像は、サンプルから対応するランゲヴィン拡散過程の生成元を近似し、基礎となるデータ生成多様体を学習するために用いられる。LAWGDは、核の適切な選択を条件として、対象分布からの効率的なサンプリングを可能にする。 本手法では、オフライントレーニングや最小限のチューニングは必要とせず、適度な次元のデータセットにおいて、他の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-04-01T02:07:08Z)
• Score Approximation, Estimation and Distribution Recovery of Diffusion Models on Low-Dimensional Data [68.62134204367668]
  本稿では,未知の低次元線形部分空間上でデータをサポートする場合の拡散モデルのスコア近似,推定,分布回復について検討する。 適切に選択されたニューラルネットワークアーキテクチャでは、スコア関数を正確に近似し、効率的に推定することができる。 推定スコア関数に基づいて生成された分布は、データ幾何学構造を捕捉し、データ分布の近傍に収束する。
  論文  参考訳（メタデータ） (2023-02-14T17:02:35Z)
• Unsupervised Learning of Sampling Distributions for Particle Filters [80.6716888175925]
  観測結果からサンプリング分布を学習する4つの方法を提案する。 実験により、学習されたサンプリング分布は、設計された最小縮退サンプリング分布よりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2023-02-02T15:50:21Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• Reweighted Manifold Learning of Collective Variables from Enhanced Sampling Simulations [2.6009298669020477]
  多様体学習のための異方性拡散写像に基づくフレームワークを提供する。 この枠組みは平衡密度を正確に記述したCVを生じるバイアス効果を逆転させることを示す。 標準および改良されたサンプリングシミュレーションから得られたデータについて,多くの多様体学習手法で利用できることを示す。
  論文  参考訳（メタデータ） (2022-07-29T08:59:56Z)
• Contrastive Neighborhood Alignment [81.65103777329874]
  本稿では,学習特徴のトポロジを維持するための多様体学習手法であるContrastive Neighborhood Alignment(CNA)を提案する。 対象モデルは、対照的な損失を用いて、ソース表現空間の局所構造を模倣することを目的としている。 CNAは3つのシナリオで説明される: 多様体学習、モデルが元のデータの局所的なトポロジーを次元還元された空間で維持する、モデル蒸留、小さな学生モデルがより大きな教師を模倣するために訓練される、レガシーモデル更新、より強力なモデルに置き換えられる、という3つのシナリオである。
  論文  参考訳（メタデータ） (2022-01-06T04:58:31Z)
• Sampling in Combinatorial Spaces with SurVAE Flow Augmented MCMC [83.48593305367523]
  ハイブリッドモンテカルロ(Hybrid Monte Carlo)は、複素連続分布からサンプリングする強力なマルコフ連鎖モンテカルロ法である。 本稿では,SurVAEフローを用いたモンテカルロ法の拡張に基づく新しい手法を提案する。 本稿では,統計学,計算物理学,機械学習など,様々な分野におけるアルゴリズムの有効性を実証し,代替アルゴリズムと比較した改良点を考察する。
  論文  参考訳（メタデータ） (2021-02-04T02:21:08Z)
• Flows for simultaneous manifold learning and density estimation [12.451050883955071]
  多様体学習フロー(M-flow)は、多様体構造を持つデータセットをより忠実に表現する。 M-フローはデータ多様体を学習し、周囲のデータ空間の標準フローよりも優れた推論を可能にする。
  論文  参考訳（メタデータ） (2020-03-31T02:07:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。