論文の概要: SPD-DDPM: Denoising Diffusion Probabilistic Models in the Symmetric
Positive Definite Space
- arxiv url: http://arxiv.org/abs/2312.08200v1
- Date: Wed, 13 Dec 2023 15:08:54 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-14 14:59:53.824297
- Title: SPD-DDPM: Denoising Diffusion Probabilistic Models in the Symmetric
Positive Definite Space
- Title(参考訳): SPD-DDPM:対称正定値空間における拡散確率モデル
- Authors: Yunchen Li, Zhou Yu, Gaoqi He, Yunhang Shen, Ke Li, Xing Sun, Shaohui
Lin
- Abstract要約: 本研究では,大規模データを扱う新しい生成モデルであるSPD-DDPMを提案する。
我々のモデルは、$y$を与えることなく、無条件で柔軟に$p(X)$を見積もることができる。
おもちゃのデータと実際のタクシーデータによる実験結果から、我々のモデルは無条件と無条件の両方のデータ分布に効果的に適合することが示された。
- 参考スコア(独自算出の注目度): 47.65912121120524
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Symmetric positive definite~(SPD) matrices have shown important value and
applications in statistics and machine learning, such as FMRI analysis and
traffic prediction. Previous works on SPD matrices mostly focus on
discriminative models, where predictions are made directly on $E(X|y)$, where
$y$ is a vector and $X$ is an SPD matrix. However, these methods are
challenging to handle for large-scale data, as they need to access and process
the whole data. In this paper, inspired by denoising diffusion probabilistic
model~(DDPM), we propose a novel generative model, termed SPD-DDPM, by
introducing Gaussian distribution in the SPD space to estimate $E(X|y)$.
Moreover, our model is able to estimate $p(X)$ unconditionally and flexibly
without giving $y$. On the one hand, the model conditionally learns $p(X|y)$
and utilizes the mean of samples to obtain $E(X|y)$ as a prediction. On the
other hand, the model unconditionally learns the probability distribution of
the data $p(X)$ and generates samples that conform to this distribution.
Furthermore, we propose a new SPD net which is much deeper than the previous
networks and allows for the inclusion of conditional factors. Experiment
results on toy data and real taxi data demonstrate that our models effectively
fit the data distribution both unconditionally and unconditionally and provide
accurate predictions.
- Abstract(参考訳): 対称正定値~(SPD)行列は、統計学や機械学習、例えばFMRI分析や交通予測において重要な価値と応用を示している。
以前のSPD行列の研究は主に差別モデルに焦点を当てており、予測は$E(X|y)$で直接行われ、$y$はベクトル、$X$はSPD行列である。
しかし、これらの手法はデータ全体にアクセスし処理する必要があるため、大規模なデータを扱うのが難しい。
本稿では,拡散確率モデル~(DDPM)に着想を得て,SPD空間にガウス分布を導入して$E(X|y)$を推定することにより,SPD-DDPMと呼ばれる新しい生成モデルを提案する。
さらに、我々のモデルは$y$を与えることなく、無条件で柔軟に$p(X)$を推定することができる。
一方、モデルは条件付きで$p(X|y)$を学習し、サンプルの平均を利用して予測として$E(X|y)$を得る。
一方、モデルは無条件にデータ$p(x)$の確率分布を学習し、この分布に準拠したサンプルを生成する。
さらに,従来のネットワークよりもはるかに深く,条件要因を組み込むことのできる新しいSPDネットを提案する。
おもちゃのデータと実際のタクシーデータによる実験結果から,モデルが無条件と無条件の両方でデータ分布に効果的に適合し,正確な予測が得られた。
関連論文リスト
- Stable Training of Probabilistic Models Using the Leave-One-Out Maximum Log-Likelihood Objective [0.7373617024876725]
カーネル密度推定(KDE)に基づくモデルは、このタスクの一般的な選択であるが、密度の異なるデータ領域に適応できない。
適応的なKDEモデルを用いてこれを回避し、モデル内の各カーネルは個別の帯域幅を持つ。
最適化速度を確実に高速化するために改良された期待最大化アルゴリズムを用いる。
論文 参考訳(メタデータ) (2023-10-05T14:08:42Z) - Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative
Models [49.81937966106691]
我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。
従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
論文 参考訳(メタデータ) (2023-06-15T16:30:08Z) - Lookahead Diffusion Probabilistic Models for Refining Mean Estimation [23.424045204296437]
本研究では,拡散確率モデル(DPM)における後続の時間ステップよりも深部ニューラルネットワーク(DNN)の出力の相関性を利用するLA-DPMを提案する。
典型的なDPMは、最新の$boldsymbolz_i$とindex $i$をDNNモデルに入力することで、最初に元のデータサンプル$boldsymbolx$の推定値を取得する。
我々は$boldsymbolx$の2つの推定値に対して$boldsymbolx$を供給して得られる外挿を行うことにより、より正確な$boldsymbolx$の推定値を計算することを提案する。
論文 参考訳(メタデータ) (2023-04-22T03:58:08Z) - Marich: A Query-efficient Distributionally Equivalent Model Extraction
Attack using Public Data [10.377650972462654]
Black-boxモデル抽出攻撃は、公開データセットから予測APIを通じてターゲットMLモデルに最小限のクエリを送信することができる。
我々は,アクティブサンプリングに基づくクエリ選択アルゴリズムであるMarichを用いて,情報的かつ分布的に等価なターゲットのレプリカを作成する。
Marich氏は、真のモデルの精度を60-95%で達成したモデルを抽出し、公開データセットから$sim 1,000 - 8,500$クエリを使用する。
論文 参考訳(メタデータ) (2023-02-16T18:20:27Z) - CARD: Classification and Regression Diffusion Models [51.0421331214229]
本稿では,条件生成モデルと事前学習条件平均推定器を組み合わせた分類と回帰拡散(CARD)モデルを提案する。
おもちゃの例と実世界のデータセットを用いて条件分布予測におけるCARDの卓越した能力を示す。
論文 参考訳(メタデータ) (2022-06-15T03:30:38Z) - $p$-Generalized Probit Regression and Scalable Maximum Likelihood
Estimation via Sketching and Coresets [74.37849422071206]
本稿では, 2次応答に対する一般化線形モデルである,$p$一般化プロビット回帰モデルについて検討する。
p$の一般化されたプロビット回帰に対する最大可能性推定器は、大容量データ上で$(1+varepsilon)$の係数まで効率的に近似できることを示す。
論文 参考訳(メタデータ) (2022-03-25T10:54:41Z) - Datamodels: Predicting Predictions from Training Data [86.66720175866415]
本稿では,モデルクラスの振る舞いを学習データの観点から分析するための概念的枠組みであるデータモデリングについて述べる。
単純な線形データモデルであっても、モデル出力をうまく予測できることが示される。
論文 参考訳(メタデータ) (2022-02-01T18:15:24Z) - Inverting brain grey matter models with likelihood-free inference: a
tool for trustable cytoarchitecture measurements [62.997667081978825]
脳の灰白質細胞構造の特徴は、体密度と体積に定量的に敏感であり、dMRIでは未解決の課題である。
我々は新しいフォワードモデル、特に新しい方程式系を提案し、比較的スパースなb殻を必要とする。
次に,提案手法を逆転させるため,確率自由推論 (LFI) として知られるベイズ解析から最新のツールを適用した。
論文 参考訳(メタデータ) (2021-11-15T09:08:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。