論文の概要: Remasking Discrete Diffusion Models with Inference-Time Scaling

• arxiv url: http://arxiv.org/abs/2503.00307v1
• Date: Sat, 01 Mar 2025 02:37:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-05 19:24:52.225999
• Title: Remasking Discrete Diffusion Models with Inference-Time Scaling
• Title（参考訳）: 推論時間スケーリングによる離散拡散モデルの再検討
• Authors: Guanghan Wang, Yair Schiff, Subham Sekhar Sahoo, Volodymyr Kuleshov,
• Abstract要約: マスク付き拡散モデルに適用可能な手法であるリマスキー拡散モデル(ReMDM)を原則的に導入する。 最も興味深いことに、ReMDMは推論時間計算スケーリングの形で離散拡散を許容する。
• 参考スコア（独自算出の注目度）: 12.593164604625384
• License:
• Abstract: Part of the success of diffusion models stems from their ability to perform iterative refinement, i.e., repeatedly correcting outputs during generation. However, modern masked discrete diffusion lacks this capability: when a token is generated, it cannot be updated again, even when it introduces an error. Here, we address this limitation by introducing the remasking diffusion model (ReMDM) sampler, a method that can be applied to pretrained masked diffusion models in a principled way and that is derived from a discrete diffusion model with a custom remasking backward process. Most interestingly, ReMDM endows discrete diffusion with a form of inference-time compute scaling. By increasing the number of sampling steps, ReMDM generates natural language outputs that approach the quality of autoregressive models, whereas when the computation budget is limited, ReMDM better maintains quality. ReMDM also improves sample quality of masked diffusion models for discretized images, and in scientific domains such as molecule design, ReMDM facilitates diffusion guidance and pushes the Pareto frontier of controllability relative to classical masking and uniform noise diffusion. We provide the code along with a blog post on the project page: https://remdm.github.io.
• Abstract（参考訳）: 拡散モデルの成功の一部は、繰り返し出力を補正する反復的な洗練を行う能力に起因している。 しかし、現代のマスク付き離散拡散は、トークンが生成されると、エラーが発生したとしても、再び更新することができないという、この機能を欠いている。 本稿では,リマキング拡散モデル(remasking diffusion model, ReMDM)を原則として, マスク付き拡散モデルに適用可能な手法として導入し, カスタムリマスキー後方処理による離散拡散モデルから導出することで, この制限に対処する。 最も興味深いことに、ReMDMは推論時間計算スケーリングの形で離散拡散を許容する。 サンプリングステップの数を増やすことで、ReMDMは自己回帰モデルの品質にアプローチする自然言語出力を生成するが、計算予算が限られている場合、ReMDMは品質をより良く維持する。 ReMDMはまた、離散化された画像に対するマスク拡散モデルのサンプル品質を改善し、分子設計のような科学領域では拡散誘導を促進し、古典的なマスキングや均一なノイズ拡散に対してパレートフロンティアを推進している。 私たちは、プロジェクトページのブログ投稿とともに、コードを提供しています。

関連論文リスト

• Continuous Diffusion Model for Language Modeling [57.396578974401734]
  離散データに対する既存の連続拡散モデルは、離散的アプローチと比較して性能が限られている。 本稿では,下層の分類分布の幾何学を組み込んだ言語モデリングのための連続拡散モデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T08:54:29Z)
• RDPM: Solve Diffusion Probabilistic Models via Recurrent Token Prediction [17.005198258689035]
  拡散確率モデル(DPM)は、高忠実度画像合成のデファクトアプローチとして登場した。 本稿では, 再帰的拡散確率モデル(RDPM, Recurrent Diffusion Probabilistic Model)を提案する。
  論文  参考訳（メタデータ） (2024-12-24T12:28:19Z)
• ACDiT: Interpolating Autoregressive Conditional Modeling and Diffusion Transformer [95.80384464922147]
  連続的な視覚生成には、フルシーケンスの拡散に基づくアプローチが必要である。 本稿では,自己回帰的ブロックワイド条件拡散変換器ACDiTを提案する。 本稿では,拡散目標を訓練しながら,視覚理解タスクにACDiTをシームレスに使用できることを実証する。
  論文  参考訳（メタデータ） (2024-12-10T18:13:20Z)
• Masked Diffusion Models are Secretly Time-Agnostic Masked Models and Exploit Inaccurate Categorical Sampling [47.82616476928464]
  仮面拡散モデル (MDM) は離散データの生成モデルとして人気がある。 我々はMDMのトレーニングとサンプリングの両方が理論的に時間変数から解放されていることを示す。 一般に使用されている32ビット浮動小数点精度においても,まず基礎となる数値問題を同定した。
  論文  参考訳（メタデータ） (2024-09-04T17:48:19Z)
• Derivative-Free Guidance in Continuous and Discrete Diffusion Models with Soft Value-Based Decoding [84.3224556294803]
  拡散モデルは、画像、分子、DNA、RNA、タンパク質配列の自然なデザイン空間を捉えるのに優れている。 これらの設計空間の自然性を保ちながら、下流の報酬関数を最適化することを目指している。 提案アルゴリズムは,中間雑音状態が将来高い報酬をもたらすことの先駆けとして,ソフトバリュー関数を統合する。
  論文  参考訳（メタデータ） (2024-08-15T16:47:59Z)
• Simplified and Generalized Masked Diffusion for Discrete Data [47.711583631408715]
  離散データの生成モデリングのための自己回帰モデルの代替として、マスケッド拡散(または吸収拡散)が積極的に研究されている。 本研究の目的は,マスク拡散モデルの潜在能力を最大限に活用する,シンプルで汎用的なフレームワークを提供することである。
  論文  参考訳（メタデータ） (2024-06-06T17:59:10Z)
• Neural Diffusion Models [2.1779479916071067]
  本稿では,データの時間依存非線形変換の定義と学習を可能にする,従来の拡散モデルの一般化について述べる。 NDMは、可能性の観点から従来の拡散モデルより優れ、高品質なサンプルを生成する。
  論文  参考訳（メタデータ） (2023-10-12T13:54:55Z)
• UDPM: Upsampling Diffusion Probabilistic Models [33.51145642279836]
  拡散確率モデル(DDPM、Denoising Diffusion Probabilistic Models)は近年注目されている。 DDPMは逆プロセスを定義することによって複雑なデータ分布から高品質なサンプルを生成する。 生成逆数ネットワーク(GAN)とは異なり、拡散モデルの潜伏空間は解釈できない。 本研究では,デノナイズ拡散過程をUDPM(Upsampling Diffusion Probabilistic Model)に一般化することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T17:25:14Z)
• Diffusion Models as Masked Autoencoders [52.442717717898056]
  拡散モデルに対する近年の関心を踏まえて、生成的に事前学習された視覚表現を再考する。 拡散モデルによる直接事前学習では強い表現は得られないが、マスク付き入力上での拡散モデルと公式拡散モデルをマスク付きオートエンコーダ(DiffMAE)として条件付ける。 設計選択の長所と短所について包括的な研究を行い、拡散モデルとマスク付きオートエンコーダ間の接続を構築する。
  論文  参考訳（メタデータ） (2023-04-06T17:59:56Z)
• Cold Diffusion: Inverting Arbitrary Image Transforms Without Noise [52.59444045853966]
  画像劣化の選択を変更すれば,生成モデル全体のファミリを構築することができることを示す。 完全な決定論的モデルの成功は、拡散モデルに対するコミュニティの理解に疑問を投げかける。
  論文  参考訳（メタデータ） (2022-08-19T15:18:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。