論文の概要: Denoising Deep Generative Models

• arxiv url: http://arxiv.org/abs/2212.01265v1
• Date: Wed, 30 Nov 2022 19:00:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-05 16:03:06.227362
• Title: Denoising Deep Generative Models
• Title（参考訳）: デノジング深部生成モデル
• Authors: Gabriel Loaiza-Ganem, Brendan Leigh Ross, Luhuan Wu, John P. Cunningham, Jesse C. Cresswell, Anthony L. Caterini
• Abstract要約: 様相に基づく深層生成モデルは、多様体仮説の下での病理学的挙動を示すことが示されている。 この問題に対処するための2つの手法を提案する。
• 参考スコア（独自算出の注目度）: 23.19427801594478
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Likelihood-based deep generative models have recently been shown to exhibit pathological behaviour under the manifold hypothesis as a consequence of using high-dimensional densities to model data with low-dimensional structure. In this paper we propose two methodologies aimed at addressing this problem. Both are based on adding Gaussian noise to the data to remove the dimensionality mismatch during training, and both provide a denoising mechanism whose goal is to sample from the model as though no noise had been added to the data. Our first approach is based on Tweedie's formula, and the second on models which take the variance of added noise as a conditional input. We show that surprisingly, while well motivated, these approaches only sporadically improve performance over not adding noise, and that other methods of addressing the dimensionality mismatch are more empirically adequate.
• Abstract（参考訳）: 類似性に基づく深層生成モデルは最近、低次元構造を持つモデルデータに高次元密度を用いた結果、多様体仮説の下での病理学的挙動を示すことが示されている。 本稿では,この問題に対処するための2つの手法を提案する。 どちらも、トレーニング中に次元ミスマッチを取り除くためにデータにガウスノイズを追加することに基づいており、どちらも、データにノイズが加えられていないかのようにモデルからサンプリングすることを目的としている。 第1のアプローチはツイーディの公式に基づいており、第2のアプローチは付加雑音の分散を条件入力とするモデルである。 これらの手法は, ノイズを伴わないことよりも, 散発的に性能を向上させるだけであり, 次元ミスマッチに対処する他の方法の方が経験的に適切であることを示す。

関連論文リスト

• Iso-Diffusion: Improving Diffusion Probabilistic Models Using the Isotropy of the Additive Gaussian Noise [0.0]
  加算音と予測音との平均二乗誤差を最小化することは、予測音に等方性を持つような制約を課すものではない。 我々は、DDPMの忠実度を高めるために、目的関数の制約として添加音の等方性を利用する。
  論文  参考訳（メタデータ） (2024-03-25T14:05:52Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• One More Step: A Versatile Plug-and-Play Module for Rectifying Diffusion Schedule Flaws and Enhancing Low-Frequency Controls [77.42510898755037]
  One More Step (OMS) は、推論中に単純だが効果的なステップを付加したコンパクトネットワークである。 OMSは画像の忠実度を高め、トレーニングと推論の二分法を調和させ、元のモデルパラメータを保存する。 トレーニングが完了すると、同じ潜在ドメインを持つ様々な事前訓練された拡散モデルが同じOMSモジュールを共有することができる。
  論文  参考訳（メタデータ） (2023-11-27T12:02:42Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• From Denoising Diffusions to Denoising Markov Models [38.33676858989955]
  デノイング拡散は、顕著な経験的性能を示す最先端の生成モデルである。 本稿では、この手法を広い範囲に一般化し、スコアマッチングのオリジナル拡張につながる統一フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-07T14:34:27Z)
• Score-based Denoising Diffusion with Non-Isotropic Gaussian Noise Models [3.136861161060886]
  基礎となる非等方的ガウス雑音モデルを用いて,非等方的拡散モデルを生成するための重要な数学的導出について述べる。 また、このより一般的なモデリング手法が高品質なサンプルを生成できるかどうかを検証するための初期実験も提供する。
  論文  参考訳（メタデータ） (2022-10-21T21:16:46Z)
• Noise Distribution Adaptive Self-Supervised Image Denoising using Tweedie Distribution and Score Matching [29.97769511276935]
  本研究では,現代の深層学習においてTweedie分布が重要な役割を担っていることを示す。 具体的には、最近のNoss2Score自己教師型画像復調法とTweedie分布のサドル点近似を組み合わせることで、一般の閉形式復調式を提供することができる。 提案手法は, ノイズモデルとパラメータを正確に推定し, ベンチマークデータセットと実世界のデータセットで, 最先端の自己教師付き画像復調性能を提供する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:08Z)
• Estimating High Order Gradients of the Data Distribution by Denoising [81.24581325617552]
  スコアマッチングを復調することにより、データ密度の第1次微分を効率的に推定することができる。 サンプルからデータ密度の高次微分(スコア)を直接推定する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-08T18:59:23Z)
• A Bayesian Approach with Type-2 Student-tMembership Function for T-S Model Identification [47.25472624305589]
  2型ファジィセットに基づくファジィック回帰クラスタリングは,非スパースデータに対して顕著な結果を示した。 ファジック回帰モデルのための革新的アーキテクチャを示し、スパースデータモデリングのために設計された新しい学生分布に基づく会員関数を提案する。
  論文  参考訳（メタデータ） (2020-09-02T05:10:13Z)
• Learning Noise-Aware Encoder-Decoder from Noisy Labels by Alternating Back-Propagation for Saliency Detection [54.98042023365694]
  本稿では,ノイズを考慮したエンコーダ・デコーダ・フレームワークを提案する。 提案モデルはニューラルネットワークによってパラメータ化された2つのサブモデルから構成される。
  論文  参考訳（メタデータ） (2020-07-23T18:47:36Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。