論文の概要: Informed Correctors for Discrete Diffusion Models

• arxiv url: http://arxiv.org/abs/2407.21243v1
• Date: Tue, 30 Jul 2024 23:29:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-01 19:14:52.962592
• Title: Informed Correctors for Discrete Diffusion Models
• Title（参考訳）: 離散拡散モデルのためのインフォームド補正器
• Authors: Yixiu Zhao, Jiaxin Shi, Lester Mackey, Scott Linderman,
• Abstract要約: モデルで学習した情報を活用することにより、より確実に離散化誤差に対処できる情報修正系を提案する。 また,$k$-Gillespie'sも提案する。これは,各モデル評価をよりよく活用するサンプリングアルゴリズムで,$tau$-leapingの速度と柔軟性を引き続き享受する。 いくつかの実・合成データセットにおいて,情報付き修正器を用いた$k$-Gillespieは,より低い計算コストで高い品質のサンプルを確実に生成することを示す。
• 参考スコア（独自算出の注目度）: 32.87362154118195
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion modeling is a promising framework for modeling and generating data in discrete spaces. To sample from these models, different strategies present trade-offs between computation and sample quality. A predominant sampling strategy is predictor-corrector $\tau$-leaping, which simulates the continuous time generative process with discretized predictor steps and counteracts the accumulation of discretization error via corrector steps. However, for absorbing state diffusion, an important class of discrete diffusion models, the standard forward-backward corrector can be ineffective in fixing such errors, resulting in subpar sample quality. To remedy this problem, we propose a family of informed correctors that more reliably counteracts discretization error by leveraging information learned by the model. For further efficiency gains, we also propose $k$-Gillespie's, a sampling algorithm that better utilizes each model evaluation, while still enjoying the speed and flexibility of $\tau$-leaping. Across several real and synthetic datasets, we show that $k$-Gillespie's with informed correctors reliably produces higher quality samples at lower computational cost.
• Abstract（参考訳）: 離散拡散モデリングは離散空間のデータモデリングと生成のための有望なフレームワークである。 これらのモデルからサンプルを得るには、計算とサンプルの品質のトレードオフを示す戦略が異なる。 主要なサンプリング戦略は、予測子-相関子$\tau$-leapingであり、これは離散化された予測子ステップで連続時間生成プロセスをシミュレートし、修正子ステップを介して離散化エラーの蓄積に対処する。 しかし、離散拡散モデルの重要なクラスである状態拡散を吸収するためには、標準前方補正器はそのような誤りを修正するのに効果がなく、結果としてサンプルの品質が低下する。 この問題を解決するために、モデルで学習した情報を活用することにより、より確実に離散化誤差に対処できる情報修正器のファミリーを提案する。 さらなる効率向上のために,各モデル評価をよりよく活用するサンプリングアルゴリズムである$k$-Gillespie'sも提案する。 いくつかの実・合成データセットにおいて,情報付き修正器を用いた$k$-Gillespieは,より低い計算コストで高い品質のサンプルを確実に生成することを示す。

関連論文リスト

• Distributional Diffusion Models with Scoring Rules [83.38210785728994]
  拡散モデルは高品質な合成データを生成する。 高品質な出力を生成するには、多くの離散化ステップが必要です。 クリーンデータサンプルの後部エム分布を学習し,サンプル生成を実現することを提案する。
  論文  参考訳（メタデータ） (2025-02-04T16:59:03Z)
• Model Integrity when Unlearning with T2I Diffusion Models [11.321968363411145]
  「忘れ分布からのサンプルを特徴とする特定種類の画像の生成を減らすために、近似機械学習アルゴリズムを提案する。」 次に、既存のベースラインと比較してモデルの整合性を保つ上で優れた効果を示す未学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-11-04T13:15:28Z)
• Diffusion Attribution Score: Evaluating Training Data Influence in Diffusion Models [22.39558434131574]
  拡散モデルに対する既存のデータ帰属法は、典型的にはトレーニングサンプルの寄与を定量化する。 拡散損失の直接的利用は,拡散損失の計算により,そのような貢献を正確に表すことはできない。 本研究では,予測分布と属性スコアとの直接比較を行うために拡散属性スコア(textitDAS)を提案する。
  論文  参考訳（メタデータ） (2024-10-24T10:58:17Z)
• Constrained Diffusion Models via Dual Training [80.03953599062365]
  拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。 所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。 本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
  論文  参考訳（メタデータ） (2024-08-27T14:25:42Z)
• Provable Statistical Rates for Consistency Diffusion Models [87.28777947976573]
  最先端の性能にもかかわらず、拡散モデルは、多くのステップが伴うため、遅いサンプル生成で知られている。 本稿では, 整合性モデルに関する最初の統計理論に寄与し, 分散不整合最小化問題としてトレーニングを定式化している。
  論文  参考訳（メタデータ） (2024-06-23T20:34:18Z)
• Adv-KD: Adversarial Knowledge Distillation for Faster Diffusion Sampling [2.91204440475204]
  拡散確率モデル(DPM)は、深層生成モデルの強力なクラスとして登場した。 それらは、サンプル生成中にシーケンシャルなデノイングステップに依存している。 モデルアーキテクチャに直接位相を分解する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T08:19:44Z)
• Rejection via Learning Density Ratios [50.91522897152437]
  拒絶による分類は、モデルを予測しないことを許容する学習パラダイムとして現れます。 そこで我々は,事前学習したモデルの性能を最大化する理想的なデータ分布を求める。 私たちのフレームワークは、クリーンでノイズの多いデータセットで実証的にテストされます。
  論文  参考訳（メタデータ） (2024-05-29T01:32:17Z)
• Consistent Diffusion Meets Tweedie: Training Exact Ambient Diffusion Models with Noisy Data [74.2507346810066]
  アンビエント拡散(アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散、アンビエント拡散 本稿では,ノイズの多い学習データのみを考慮し,故障のない分布から確実にサンプルを採取する拡散モデルのトレーニングのための最初のフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-20T14:22:12Z)
• Bridging the Gap: Addressing Discrepancies in Diffusion Model Training for Classifier-Free Guidance [1.6804613362826175]
  拡散モデルは、生成モデルにおいて重要な進歩として現れている。 本稿では,従来の訓練方法と所望の条件付きサンプリング行動との相違点を明らかにすることを目的とする。 トレーニング目標とサンプリング行動との整合性を向上する改良された損失関数を導入する。
  論文  参考訳（メタデータ） (2023-11-02T02:03:12Z)
• Discrete Diffusion Modeling by Estimating the Ratios of the Data Distribution [67.9215891673174]
  離散空間に対するスコアマッチングを自然に拡張する新たな損失として,スコアエントロピーを提案する。 標準言語モデリングタスク上で,Score Entropy Discrete Diffusionモデルをテストする。
  論文  参考訳（メタデータ） (2023-10-25T17:59:12Z)
• Steerable Conditional Diffusion for Out-of-Distribution Adaptation in Medical Image Reconstruction [75.91471250967703]
  我々は、ステアブル条件拡散と呼ばれる新しいサンプリングフレームワークを導入する。 このフレームワークは、利用可能な測定によって提供される情報のみに基づいて、画像再構成と並行して拡散モデルを適用する。 様々な画像モダリティにまたがるアウト・オブ・ディストリビューション性能の大幅な向上を実現した。
  論文  参考訳（メタデータ） (2023-08-28T08:47:06Z)
• Semi-Implicit Denoising Diffusion Models (SIDDMs) [50.30163684539586]
  Denoising Diffusion Probabilistic Models (DDPM)のような既存のモデルは、高品質で多様なサンプルを提供するが、本質的に多くの反復的なステップによって遅くなる。 暗黙的要因と明示的要因を一致させることにより、この問題に対処する新しいアプローチを導入する。 提案手法は拡散モデルに匹敵する生成性能と,少数のサンプリングステップを持つモデルに比較して非常に優れた結果が得られることを示す。
  論文  参考訳（メタデータ） (2023-06-21T18:49:22Z)
• Towards Faster Non-Asymptotic Convergence for Diffusion-Based Generative Models [49.81937966106691]
  我々は拡散モデルのデータ生成過程を理解するための非漸近理論のスイートを開発する。 従来の研究とは対照的に,本理論は基本的だが多目的な非漸近的アプローチに基づいて開発されている。
  論文  参考訳（メタデータ） (2023-06-15T16:30:08Z)
• Reflected Diffusion Models [93.26107023470979]
  本稿では,データのサポートに基づいて進化する反射微分方程式を逆転する反射拡散モデルを提案する。 提案手法は,一般化されたスコアマッチング損失を用いてスコア関数を学習し,標準拡散モデルの主要成分を拡張する。
  論文  参考訳（メタデータ） (2023-04-10T17:54:38Z)
• Fast Inference in Denoising Diffusion Models via MMD Finetuning [23.779985842891705]
  拡散モデルの高速サンプリング法であるMDD-DDMを提案する。 我々のアプローチは、学習した分布を所定の予算のタイムステップで微調整するために、最大平均離散性(MMD)を使用するという考え方に基づいている。 提案手法は,広範に普及した拡散モデルで要求されるわずかな時間で高品質なサンプルを生成できることが示唆された。
  論文  参考訳（メタデータ） (2023-01-19T09:48:07Z)
• Improved Denoising Diffusion Probabilistic Models [4.919647298882951]
  その結果,ddpmは高いサンプル品質を維持しつつ,競合的なログライク性を達成できることがわかった。 また,逆拡散過程の学習分散により,フォワードパスが桁違いに小さくサンプリングできることがわかった。 これらのモデルのサンプルの品質と可能性について,モデルのキャパシティとトレーニング計算でスムーズに拡張できることを示し,スケーラビリティを向上する。
  論文  参考訳（メタデータ） (2021-02-18T23:44:17Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。