論文の概要: Simple Guidance Mechanisms for Discrete Diffusion Models
- arxiv url: http://arxiv.org/abs/2412.10193v1
- Date: Fri, 13 Dec 2024 15:08:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-16 15:02:09.811836
- Title: Simple Guidance Mechanisms for Discrete Diffusion Models
- Title（参考訳）: 離散拡散モデルのための簡易誘導機構
- Authors: Yair Schiff, Subham Sekhar Sahoo, Hao Phung, Guanghan Wang, Sam Boshar, Hugo Dalla-torre, Bernardo P. de Almeida, Alexander Rush, Thomas Pierrot, Volodymyr Kuleshov,
- Abstract要約: 我々は、均一ノイズを利用した新しい拡散モデルを開発し、その出力を連続的に編集できるため、より誘導可能である。
我々はこれらのモデルの品質を、最先端の性能をもたらす新しい連続時間変動下界で改善する。
- 参考スコア（独自算出の注目度）: 44.377206440698586
- License:
- Abstract: Diffusion models for continuous data gained widespread adoption owing to their high quality generation and control mechanisms. However, controllable diffusion on discrete data faces challenges given that continuous guidance methods do not directly apply to discrete diffusion. Here, we provide a straightforward derivation of classifier-free and classifier-based guidance for discrete diffusion, as well as a new class of diffusion models that leverage uniform noise and that are more guidable because they can continuously edit their outputs. We improve the quality of these models with a novel continuous-time variational lower bound that yields state-of-the-art performance, especially in settings involving guidance or fast generation. Empirically, we demonstrate that our guidance mechanisms combined with uniform noise diffusion improve controllable generation relative to autoregressive and diffusion baselines on several discrete data domains, including genomic sequences, small molecule design, and discretized image generation.
- Abstract（参考訳）: 連続データに対する拡散モデルは、高品質な生成と制御機構のために広く普及した。
しかし、離散データ上の制御可能な拡散は、連続誘導法が離散拡散に直接適用されないという問題に直面している。
ここでは、離散拡散のための分類器フリーおよび分類器ベースガイダンスの直接的な導出と、一様雑音を利用して連続的に出力を編集できるため、より誘導可能な新しい拡散モデルを提供する。
我々はこれらのモデルの品質を、特にガイダンスや高速な生成を含む設定において、最先端の性能をもたらす新しい連続時間変動下限で改善する。
提案手法と一様ノイズ拡散を組み合わせることで,ゲノム配列,小分子設計,離散化画像生成など,複数の離散データ領域における自己回帰的・拡散的ベースラインに対する制御可能生成が向上することが実証された。
関連論文リスト
- Continuous Diffusion Model for Language Modeling [57.396578974401734]
離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。
本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
論文 参考訳（メタデータ） (2025-02-17T08:54:29Z) - Constrained Diffusion Models via Dual Training [80.03953599062365]
拡散プロセスは、トレーニングデータセットのバイアスを反映したサンプルを生成する傾向がある。
所望の分布に基づいて拡散制約を付与し,制約付き拡散モデルを構築する。
本稿では,制約付き拡散モデルを用いて,目的と制約の最適なトレードオフを実現する混合データ分布から新しいデータを生成することを示す。
論文 参考訳（メタデータ） (2024-08-27T14:25:42Z) - Context-Guided Diffusion for Out-of-Distribution Molecular and Protein Design [30.241533997522236]
我々は、ラベルのないデータと滑らかな制約を利用して、ガイド付き拡散モデルのアウト・オブ・ディストリビューション一般化を改善するシンプルなプラグ・アンド・プレイ法である文脈誘導拡散法(CGD)を開発した。
このアプローチは、連続的、離散的、グラフ構造化された拡散プロセスや、薬物発見、材料科学、タンパク質設計にまたがる応用など、様々な状況において、大幅なパフォーマンス向上をもたらす。
論文 参考訳（メタデータ） (2024-07-16T17:34:00Z) - Convergence Analysis of Discrete Diffusion Model: Exact Implementation
through Uniformization [17.535229185525353]
連続マルコフ連鎖の均一化を利用したアルゴリズムを導入し、ランダムな時間点の遷移を実装した。
我々の結果は、$mathbbRd$における拡散モデルの最先端の成果と一致し、さらに$mathbbRd$設定と比較して離散拡散モデルの利点を浮き彫りにする。
論文 参考訳（メタデータ） (2024-02-12T22:26:52Z) - Fast Sampling via Discrete Non-Markov Diffusion Models with Predetermined Transition Time [49.598085130313514]
離散非マルコフ拡散モデル(DNDM)を提案する。
これにより、トレーニング不要なサンプリングアルゴリズムにより、関数評価の数を大幅に削減できる。
有限ステップサンプリングから無限ステップサンプリングへの移行について検討し、離散プロセスと連続プロセスのギャップを埋めるための新たな洞察を提供する。
論文 参考訳（メタデータ） (2023-12-14T18:14:11Z) - Guided Diffusion from Self-Supervised Diffusion Features [49.78673164423208]
ガイダンスは拡散モデルにおいて重要な概念として機能するが、その効果は追加のデータアノテーションや事前学習の必要性によって制限されることが多い。
本稿では,拡散モデルからガイダンスを抽出するフレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-14T11:19:11Z) - Information-Theoretic Diffusion [18.356162596599436]
拡散モデルのデノイングは密度モデリングや画像生成において大きな進歩をもたらした。
情報理論における古典的な結果にインスパイアされた拡散モデルのための新しい数学的基礎を導入する。
論文 参考訳（メタデータ） (2023-02-07T23:03:07Z) - Diffusion Models in Vision: A Survey [73.10116197883303]
拡散モデルは、前方拡散段階と逆拡散段階の2つの段階に基づく深層生成モデルである。
拡散モデルは、既知の計算負荷にもかかわらず、生成したサンプルの品質と多様性に対して広く評価されている。
論文 参考訳（メタデータ） (2022-09-10T22:00:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。