論文の概要: Score Matching Model for Unbounded Data Score

• arxiv url: http://arxiv.org/abs/2106.05527v1
• Date: Thu, 10 Jun 2021 06:30:16 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-11 14:44:57.527871
• Title: Score Matching Model for Unbounded Data Score
• Title（参考訳）: 非有界データスコアのスコアマッチングモデル
• Authors: Dongjun Kim, Seungjae Shin, Kyungwoo Song, Wanmo Kang, Il-Chul Moon
• Abstract要約: 実際のデータセットでは、摂動ノイズ(sigma$)が0に減少するにつれてスコア関数は分岐する。 スコア問題を解消するunbounded noise Score Network (UNCSN)を導入する。 また、新しいタイプのSDEを導入し、新たに提案したSDEから正確なログ確率を計算する。
• 参考スコア（独自算出の注目度）: 23.708122045184695
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advance in score-based models incorporates the stochastic differential equation (SDE), which brings the state-of-the art performance on image generation tasks. This paper improves such score-based models by analyzing the model at the zero perturbation noise. In real datasets, the score function diverges as the perturbation noise ($\sigma$) decreases to zero, and this observation leads an argument that the score estimation fails at $\sigma=0$ with any neural network structure. Subsequently, we introduce Unbounded Noise Conditional Score Network (UNCSN) that resolves the score diverging problem with an easily applicable modification to any noise conditional score-based models. Additionally, we introduce a new type of SDE, so the exact log likelihood can be calculated from the newly suggested SDE. On top of that, the associated loss function mitigates the loss imbalance issue in a mini-batch, and we present a theoretic analysis on the proposed loss to uncover the behind mechanism of the data distribution modeling by the score-based models.
• Abstract（参考訳）: スコアベースモデルの最近の進歩は、確率微分方程式(SDE)を取り入れ、画像生成タスクにおける最先端技術性能をもたらす。 本稿では,ゼロ摂動雑音におけるモデルを解析することで,スコアベースモデルを改善する。 実際のデータセットでは、摂動ノイズ(\sigma$)がゼロになるにつれてスコア関数が分岐し、この観測は、どのニューラルネットワーク構造でもスコア推定は$\sigma=0$で失敗するという議論を導く。 次に, ノイズ条件付きスコアネットワーク(UNCSN)を導入し, ノイズ条件付きスコアベースモデルに容易に適用可能な変更を加えることで, スコアのばらつきを解消する。 さらに,新しいタイプのSDEを導入し,新たに提案したSDEから正確なログ確率を計算する。 さらに,ミニバッチにおける損失不均衡問題を軽減するとともに,提案する損失に関する理論的解析を行い,スコアベースモデルによるデータ分散モデリングの背後にあるメカニズムを明らかにする。

関連論文リスト

• Improving the Noise Estimation of Latent Neural Stochastic Differential Equations [4.64982780843177]
  SDE(Latent Neural differential equations)は、最近時系列データから生成モデルを学習するための有望なアプローチとして登場した。 本稿では, この過小評価を詳細に検討し, 損失関数に付加的な雑音正規化を加えることで, 簡単な解法を提案する。 我々はデータの拡散成分を正確に捉えるモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2024-12-23T11:56:35Z)
• Sample Complexity Bounds for Score-Matching: Causal Discovery and Generative Modeling [82.36856860383291]
  我々は,標準深部ReLUニューラルネットワークをトレーニングすることにより,スコア関数の正確な推定が可能であることを実証した。 スコアマッチングに基づく因果発見手法を用いて因果関係の回復の誤差率の限界を確立する。
  論文  参考訳（メタデータ） (2023-10-27T13:09:56Z)
• Neural Stochastic Differential Equations for Robust and Explainable Analysis of Electromagnetic Unintended Radiated Emissions [25.174139739860657]
  本稿では,意図しない排出(Unintendeded emission, URE)分類におけるResNetのようなモデルの堅牢性と説明可能性について,包括的に評価する。 本稿では,URE分類モデル構築のためのニューラルSDEの新たな応用法を提案する。
  論文  参考訳（メタデータ） (2023-09-27T03:37:16Z)
• Score-based Continuous-time Discrete Diffusion Models [102.65769839899315]
  連続時間マルコフ連鎖を介して逆過程が認知されるマルコフジャンププロセスを導入することにより、拡散モデルを離散変数に拡張する。 条件境界分布の単純なマッチングにより、偏りのない推定器が得られることを示す。 提案手法の有効性を,合成および実世界の音楽と画像のベンチマークで示す。
  論文  参考訳（メタデータ） (2022-11-30T05:33:29Z)
• FP-Diffusion: Improving Score-based Diffusion Models by Enforcing the Underlying Score Fokker-Planck Equation [72.19198763459448]
  雑音が増大する傾向にあるデータ密度に対応する雑音条件スコア関数の族を学習する。 これらの摂動データ密度は、密度の時空間進化を管理する偏微分方程式(PDE)であるフォッカー・プランク方程式(Fokker-Planck equation, FPE)によって結合される。 我々は、摂動データ密度の雑音条件スコアを特徴付けるスコアFPEと呼ばれる対応する方程式を導出する。
  論文  参考訳（メタデータ） (2022-10-09T16:27:25Z)
• A Unified View of Stochastic Hamiltonian Sampling [18.300078015845262]
  この研究は、後続サンプリングのためのハミルトン微分方程式(SDE)の理論的性質を再考する。 数値SDEシミュレーションから生じる2種類の誤差について検討し, 離散化誤差と雑音勾配推定による誤差について検討した。
  論文  参考訳（メタデータ） (2021-06-30T16:50:11Z)
• Closed-form Continuous-Depth Models [99.40335716948101]
  連続深度ニューラルモデルは高度な数値微分方程式解法に依存している。 我々は,CfCネットワークと呼ばれる,記述が簡単で,少なくとも1桁高速な新しいモデル群を提示する。
  論文  参考訳（メタデータ） (2021-06-25T22:08:51Z)
• Score-Based Generative Modeling through Stochastic Differential Equations [114.39209003111723]
  複素データ分布を雑音を注入することによって既知の事前分布に変換する微分方程式を提案する。 対応する逆時間SDEは、ノイズを緩やかに除去し、先行分布をデータ分布に戻す。 スコアベース生成モデリングの進歩を活用することで、これらのスコアをニューラルネットワークで正確に推定することができる。 スコアベース生成モデルから1024×1024画像の高忠実度生成を初めて示す。
  論文  参考訳（メタデータ） (2020-11-26T19:39:10Z)
• Sparsely constrained neural networks for model discovery of PDEs [0.0]
  本稿では,任意のスパース回帰手法を用いて,ディープラーニングに基づくサロゲートのスパースパターンを決定するモジュラーフレームワークを提案する。 異なるネットワークアーキテクチャと疎度推定器がモデル発見精度と収束性を,いくつかのベンチマーク例でどのように改善するかを示す。
  論文  参考訳（メタデータ） (2020-11-09T11:02:40Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。