論文の概要: Optimal Denoising in Score-Based Generative Models: The Role of Data Regularity

• arxiv url: http://arxiv.org/abs/2503.12966v1
• Date: Mon, 17 Mar 2025 09:22:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-18 12:35:37.648193
• Title: Optimal Denoising in Score-Based Generative Models: The Role of Data Regularity
• Title（参考訳）: スコアベース生成モデルにおける最適Denoising:データ規則性の役割
• Authors: Eliot Beyler, Francis Bach,
• Abstract要約: ハーフデノジングは十分な密度のフルデノジングよりも優れていることを示す。 フルデノジングは線型多様体仮説の下で次元性の呪いを軽減することができることを証明している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Score-based generative models achieve state-of-the-art sampling performance by denoising a distribution perturbed by Gaussian noise. In this paper, we focus on a single deterministic denoising step, and compare the optimal denoiser for the quadratic loss, we name ''full-denoising'', to the alternative ''half-denoising'' introduced by Hyv{\"a}rinen (2024). We show that looking at the performances in term of distance between distribution tells a more nuanced story, with different assumptions on the data leading to very different conclusions.We prove that half-denoising is better than full-denoising for regular enough densities, while full-denoising is better for singular densities such as mixtures of Dirac measures or densities supported on a low-dimensional subspace. In the latter case, we prove that full-denoising can alleviate the curse of dimensionality under a linear manifold hypothesis.
• Abstract（参考訳）: スコアベース生成モデルでは,ガウス雑音に悩まされる分布を復調することにより,最先端のサンプリング性能を実現する。 本稿では,Hyv{\"a}rinen (2024) が導入した代替の「半減退化」と「完全減退化」という2次損失の最適減退器を比較する。 分布間距離の観点からみると,データに対する仮定の相違により,より微妙な物語が表現され,結果が異なってくることが示される。また,半デノジングは通常の十分な密度に対してフルデノジングよりも優れているのに対し,フルデノジングはディラック測度や低次元部分空間上で支持される密度の混合のような特異デノジングの方が優れていることを示す。 後者の場合、フルデノジングは線型多様体仮説の下での次元性の呪いを軽減することができる。

関連論文リスト

• Sampling Binary Data by Denoising through Score Functions [2.9465623430708905]
  Tweedie-Miyasawa式(TMF)はスコアベース生成モデルにおいて重要な要素である。 TMFはノイズデータのスコア関数を介してこれらを結合する。 我々はガウスノイズの代わりにベルヌーイノイズを平滑化装置として採用する。
  論文  参考訳（メタデータ） (2025-02-01T20:59:02Z)
• Optimizing the Noise in Self-Supervised Learning: from Importance Sampling to Noise-Contrastive Estimation [80.07065346699005]
  GAN(Generative Adversarial Networks)のように、最適な雑音分布はデータ分布に等しくなると広く想定されている。 我々は、この自己教師型タスクをエネルギーベースモデルの推定問題として基礎づけるノイズ・コントラスト推定に目を向ける。 本研究は, 最適雑音のサンプリングは困難であり, 効率性の向上は, データに匹敵する雑音分布を選択することに比べ, 緩やかに行うことができると結論付けた。
  論文  参考訳（メタデータ） (2023-01-23T19:57:58Z)
• Denoising Deep Generative Models [23.19427801594478]
  様相に基づく深層生成モデルは、多様体仮説の下での病理学的挙動を示すことが示されている。 この問題に対処するための2つの手法を提案する。
  論文  参考訳（メタデータ） (2022-11-30T19:00:00Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Heavy-tailed denoising score matching [5.371337604556311]
  ランゲヴィン力学における複数のノイズレベルを連続的に初期化する反復的雑音スケーリングアルゴリズムを開発した。 実用面では、重み付きDSMを用いることで、スコア推定、制御可能なサンプリング収束、不均衡データセットに対するよりバランスのない非条件生成性能が改善される。
  論文  参考訳（メタデータ） (2021-12-17T22:04:55Z)
• Noise Distribution Adaptive Self-Supervised Image Denoising using Tweedie Distribution and Score Matching [29.97769511276935]
  本研究では,現代の深層学習においてTweedie分布が重要な役割を担っていることを示す。 具体的には、最近のNoss2Score自己教師型画像復調法とTweedie分布のサドル点近似を組み合わせることで、一般の閉形式復調式を提供することができる。 提案手法は, ノイズモデルとパラメータを正確に推定し, ベンチマークデータセットと実世界のデータセットで, 最先端の自己教師付き画像復調性能を提供する。
  論文  参考訳（メタデータ） (2021-12-05T04:36:08Z)
• Neighbor2Neighbor: Self-Supervised Denoising from Single Noisy Images [98.82804259905478]
  Neighbor2Neighborを提示し、ノイズの多い画像のみで効果的な画像消音モデルをトレーニングします。 ネットワークのトレーニングに使用される入力とターゲットは、同じノイズ画像からサブサンプリングされた画像である。 デノイジングネットワークは、第1段階で生成されたサブサンプルトレーニングペアで訓練され、提案された正規化器は、より良いパフォーマンスのための追加の損失として訓練される。
  論文  参考訳（メタデータ） (2021-01-08T02:03:25Z)
• Noise2Same: Optimizing A Self-Supervised Bound for Image Denoising [54.730707387866076]
  本稿では,新しい自己教師型デノベーションフレームワークであるNoss2Sameを紹介する。 特にノイズ2Sameは、ノイズモデルに関するJ-不変性や余分な情報を必要としない。 以上の結果から,ノイズ2Sameは従来の自己監督型遮音法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2020-10-22T18:12:26Z)
• Generative Modeling with Denoising Auto-Encoders and Langevin Sampling [88.83704353627554]
  DAEとDSMの両方がスムーズな人口密度のスコアを推定することを示した。 次に、この結果をarXiv:1907.05600のホモトピー法に適用し、その経験的成功を理論的に正当化する。
  論文  参考訳（メタデータ） (2020-01-31T23:50:03Z)
• Variational Denoising Network: Toward Blind Noise Modeling and Removal [59.36166491196973]
  ブラインド画像のデノイングはコンピュータビジョンにおいて重要な問題であるが、非常に難しい問題である。 本稿では,ノイズ推定と画像デノーミングを併用した新しい変分推論手法を提案する。
  論文  参考訳（メタデータ） (2019-08-29T15:54:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。