論文の概要: Fast Solvers for Discrete Diffusion Models: Theory and Applications of High-Order Algorithms

• arxiv url: http://arxiv.org/abs/2502.00234v1
• Date: Sat, 01 Feb 2025 00:25:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:04:55.559953
• Title: Fast Solvers for Discrete Diffusion Models: Theory and Applications of High-Order Algorithms
• Title（参考訳）: 離散拡散モデルの高速解法:高次アルゴリズムの理論と応用
• Authors: Yinuo Ren, Haoxuan Chen, Yuchen Zhu, Wei Guo, Yongxin Chen, Grant M. Rotskoff, Molei Tao, Lexing Ying,
• Abstract要約: 現在の推論アプローチは主に、正確なシミュレーションと$tau$-leapingのような近似メソッドの2つのカテゴリに分類される。 本研究では,高次数値推論スキームの最初の拡張を離散拡散モデルに合わせることで,後者のカテゴリを推し進める。 提案手法を厳密に解析し,KL分散における$theta$-trapezoidal法の2次精度を確立する。
• 参考スコア（独自算出の注目度）: 31.42317398879432
• License:
• Abstract: Discrete diffusion models have emerged as a powerful generative modeling framework for discrete data with successful applications spanning from text generation to image synthesis. However, their deployment faces challenges due to the high dimensionality of the state space, necessitating the development of efficient inference algorithms. Current inference approaches mainly fall into two categories: exact simulation and approximate methods such as $\tau$-leaping. While exact methods suffer from unpredictable inference time and redundant function evaluations, $\tau$-leaping is limited by its first-order accuracy. In this work, we advance the latter category by tailoring the first extension of high-order numerical inference schemes to discrete diffusion models, enabling larger step sizes while reducing error. We rigorously analyze the proposed schemes and establish the second-order accuracy of the $\theta$-trapezoidal method in KL divergence. Empirical evaluations on GPT-2 level text and ImageNet-level image generation tasks demonstrate that our method achieves superior sample quality compared to existing approaches under equivalent computational constraints.
• Abstract（参考訳）: 離散拡散モデルは、テキスト生成から画像合成に至るまでのアプリケーションで成功した離散データのための強力な生成モデリングフレームワークとして登場した。 しかし、それらの配置は状態空間の高次元性のために困難に直面し、効率的な推論アルゴリズムの開発を必要としている。 現在の推論アプローチは主に、正確なシミュレーションと$\tau$-leapingのような近似メソッドの2つのカテゴリに分類される。 正確なメソッドは予測不可能な推論時間と冗長な関数評価に悩まされるが、$\tau$-leapingはその1次精度によって制限される。 本研究では,高次数値推論スキームの離散拡散モデルへの第1次拡張を調整し,誤差を低減しつつ,より大きなステップサイズを実現することにより,後者のカテゴリを推し進める。 提案手法を厳密に解析し,KL分散における$\theta$-trapezoidal法の2次精度を確立する。 GPT-2レベルのテキストと画像ネットレベルの画像生成タスクの実証評価により,提案手法は等価な計算制約下での既存手法と比較して,優れたサンプル品質を実現することが示された。

関連論文リスト

• Preconditioned Inexact Stochastic ADMM for Deep Model [35.37705488695026]
  本稿では,拡張性のある並列計算を可能にするアルゴリズム PISA を開発し,様々な第2モーメント方式をサポートする。 厳密な理論的な保証の下で、アルゴリズムは勾配のリプシッツの唯一の仮定の下で収束する。 視覚モデル、大規模言語モデル、強化学習モデル、生成的敵ネットワーク、繰り返しニューラルネットワークを含む様々なFMの総合的または微調整実験は、様々な最先端の方向と比較して優れた数値性能を示す。
  論文  参考訳（メタデータ） (2025-02-15T12:28:51Z)
• A First-order Generative Bilevel Optimization Framework for Diffusion Models [57.40597004445473]
  拡散モデルは、データサンプルを反復的に分解して高品質な出力を合成する。 従来の二値法は無限次元の確率空間と禁制的なサンプリングコストのために失敗する。 我々はこの問題を生成的二段階最適化問題として定式化する。 従来の2段階法と拡散過程の非互換性を克服する。
  論文  参考訳（メタデータ） (2025-02-12T21:44:06Z)
• Inference-Time Alignment in Diffusion Models with Reward-Guided Generation: Tutorial and Review [59.856222854472605]
  このチュートリアルは、拡散モデルにおける下流の報酬関数を最適化するための推論時ガイダンスとアライメント方法に関する詳細なガイドを提供する。 生物学のような分野における実践的な応用は、しばしば特定の指標を最大化するサンプル生成を必要とする。 本稿では,(1)推論時と組み合わせた微調整手法,(2)モンテカルロ木探索などの探索アルゴリズムに基づく推論時アルゴリズム,(3)言語モデルと拡散モデルにおける推論時アルゴリズムの接続について論じる。
  論文  参考訳（メタデータ） (2025-01-16T17:37:35Z)
• Fast constrained sampling in pre-trained diffusion models [77.21486516041391]
  拡散モデルは、大規模な生成画像モデルの分野を支配してきた。 本研究では,大規模な事前学習拡散モデルにおける高速拘束サンプリングのアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-24T14:52:38Z)
• Exploiting Diffusion Prior for Generalizable Dense Prediction [85.4563592053464]
  近年のテキスト・トゥ・イメージ(T2I)拡散モデルでは、既成の高密度予測器では予測できないことがある。 我々は,事前学習したT2Iモデルを用いたパイプラインDMPを,高密度予測タスクの先駆けとして導入する。 限られたドメインのトレーニングデータにもかかわらず、この手法は任意の画像に対して忠実に推定し、既存の最先端のアルゴリズムを超越する。
  論文  参考訳（メタデータ） (2023-11-30T18:59:44Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Manifold learning-based polynomial chaos expansions for high-dimensional surrogate models [0.0]
  システム記述における不確実性定量化(UQ)のための多様体学習に基づく手法を提案する。 提案手法は高精度な近似を達成でき、UQタスクの大幅な高速化につながる。
  論文  参考訳（メタデータ） (2021-07-21T00:24:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。