論文の概要: Score Matching Model for Unbounded Data Score
- arxiv url: http://arxiv.org/abs/2106.05527v1
- Date: Thu, 10 Jun 2021 06:30:16 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-11 14:44:57.527871
- Title: Score Matching Model for Unbounded Data Score
- Title（参考訳）: 非有界データスコアのスコアマッチングモデル
- Authors: Dongjun Kim, Seungjae Shin, Kyungwoo Song, Wanmo Kang, Il-Chul Moon
- Abstract要約: 実際のデータセットでは、摂動ノイズ(sigma$)が0に減少するにつれてスコア関数は分岐する。
スコア問題を解消するunbounded noise Score Network (UNCSN)を導入する。
また、新しいタイプのSDEを導入し、新たに提案したSDEから正確なログ確率を計算する。
- 参考スコア（独自算出の注目度）: 23.708122045184695
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent advance in score-based models incorporates the stochastic differential
equation (SDE), which brings the state-of-the art performance on image
generation tasks. This paper improves such score-based models by analyzing the
model at the zero perturbation noise. In real datasets, the score function
diverges as the perturbation noise ($\sigma$) decreases to zero, and this
observation leads an argument that the score estimation fails at $\sigma=0$
with any neural network structure. Subsequently, we introduce Unbounded Noise
Conditional Score Network (UNCSN) that resolves the score diverging problem
with an easily applicable modification to any noise conditional score-based
models. Additionally, we introduce a new type of SDE, so the exact log
likelihood can be calculated from the newly suggested SDE. On top of that, the
associated loss function mitigates the loss imbalance issue in a mini-batch,
and we present a theoretic analysis on the proposed loss to uncover the behind
mechanism of the data distribution modeling by the score-based models.
- Abstract（参考訳）: スコアベースモデルの最近の進歩は、確率微分方程式(SDE)を取り入れ、画像生成タスクにおける最先端技術性能をもたらす。
本稿では,ゼロ摂動雑音におけるモデルを解析することで,スコアベースモデルを改善する。
実際のデータセットでは、摂動ノイズ(\sigma$)がゼロになるにつれてスコア関数が分岐し、この観測は、どのニューラルネットワーク構造でもスコア推定は$\sigma=0$で失敗するという議論を導く。
次に, ノイズ条件付きスコアネットワーク(UNCSN)を導入し, ノイズ条件付きスコアベースモデルに容易に適用可能な変更を加えることで, スコアのばらつきを解消する。
さらに,新しいタイプのSDEを導入し,新たに提案したSDEから正確なログ確率を計算する。
さらに,ミニバッチにおける損失不均衡問題を軽減するとともに,提案する損失に関する理論的解析を行い,スコアベースモデルによるデータ分散モデリングの背後にあるメカニズムを明らかにする。
関連論文リスト
- Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。
推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。
我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
論文 参考訳（メタデータ） (2024-11-02T07:06:53Z) - Noise in the reverse process improves the approximation capabilities of
diffusion models [27.65800389807353]
生成モデリングにおける最先端技術であるスコアベース生成モデリング(SGM)では、リバースプロセスは決定論的手法よりも優れた性能を発揮することが知られている。
本稿では,ニューラル常微分方程式 (ODE) とニューラルディメンション方程式 (SDE) を逆過程として比較し,この現象の核となる。
我々は、Fokker-Planck方程式の軌跡を近似するニューラルSDEの能力を解析し、ニューラルティの利点を明らかにする。
論文 参考訳（メタデータ） (2023-12-13T02:39:10Z) - Sample Complexity Bounds for Score-Matching: Causal Discovery and
Generative Modeling [82.36856860383291]
我々は,標準深部ReLUニューラルネットワークをトレーニングすることにより,スコア関数の正確な推定が可能であることを実証した。
スコアマッチングに基づく因果発見手法を用いて因果関係の回復の誤差率の限界を確立する。
論文 参考訳（メタデータ） (2023-10-27T13:09:56Z) - Neural Stochastic Differential Equations for Robust and Explainable
Analysis of Electromagnetic Unintended Radiated Emissions [25.174139739860657]
本稿では,意図しない排出(Unintendeded emission, URE)分類におけるResNetのようなモデルの堅牢性と説明可能性について,包括的に評価する。
本稿では,URE分類モデル構築のためのニューラルSDEの新たな応用法を提案する。
論文 参考訳（メタデータ） (2023-09-27T03:37:16Z) - Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。
条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。
提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
論文 参考訳（メタデータ） (2022-11-30T05:33:29Z) - FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the
Underlying Score Fokker-Planck Equation [72.19198763459448]
雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。
これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。
我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
論文 参考訳（メタデータ） (2022-10-09T16:27:25Z) - A Unified View of Stochastic Hamiltonian Sampling [18.300078015845262]
この研究は、後続サンプリングのためのハミルトン微分方程式(SDE)の理論的性質を再考する。
数値SDEシミュレーションから生じる2種類の誤差について検討し, 離散化誤差と雑音勾配推定による誤差について検討した。
論文 参考訳（メタデータ） (2021-06-30T16:50:11Z) - Score-Based Generative Modeling through Stochastic Differential
Equations [114.39209003111723]
複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。
対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。
スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。
スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
論文 参考訳（メタデータ） (2020-11-26T19:39:10Z) - Sparsely constrained neural networks for model discovery of PDEs [0.0]
本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。
異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
論文 参考訳（メタデータ） (2020-11-09T11:02:40Z) - Autoregressive Score Matching [113.4502004812927]
自動回帰条件スコアモデル(AR-CSM)を提案する。
AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。
本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
論文 参考訳（メタデータ） (2020-10-24T07:01:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。