論文の概要: Masked Diffusion Models are Secretly Learned-Order Autoregressive Models
- arxiv url: http://arxiv.org/abs/2511.19152v1
- Date: Mon, 24 Nov 2025 14:17:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-25 18:34:25.247418
- Title: Masked Diffusion Models are Secretly Learned-Order Autoregressive Models
- Title（参考訳）: マスク付き拡散モデルは秘密に学習された自己回帰モデルである
- Authors: Prateek Garg, Bhavya Kohli, Sunita Sarawagi,
- Abstract要約: Masked Diffusion Modelsは、トレーニング中にデコード順序を識別し、最適化できることを示す。
これらの命令に対してMDMの目的が正確に重み付けされた自己回帰的損失に分解されることを証明する。
- 参考スコア（独自算出の注目度）: 21.17429712617749
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Masked Diffusion Models (MDMs) have emerged as one of the most promising paradigms for generative modeling over discrete domains. It is known that MDMs effectively train to decode tokens in a random order, and that this ordering has significant performance implications in practice. This observation raises a fundamental question: can we design a training framework that optimizes for a favorable decoding order? We answer this in the affirmative, showing that the continuous-time variational objective of MDMs, when equipped with multivariate noise schedules, can identify and optimize for a decoding order during training. We establish a direct correspondence between decoding order and the multivariate noise schedule and show that this setting breaks invariance of the MDM objective to the noise schedule. Furthermore, we prove that the MDM objective decomposes precisely into a weighted auto-regressive losses over these orders, which establishes them as auto-regressive models with learnable orders.
- Abstract（参考訳）: Masked Diffusion Models (MDM) は、離散ドメインに対する生成モデリングの最も有望なパラダイムの1つである。
MDMはトークンをランダムな順序でデコードするよう効果的に訓練し、この順序が実際に重要なパフォーマンスに影響を及ぼすことが知られている。
望ましいデコード順序を最適化するトレーニングフレームワークを設計できるだろうか?
我々はこれを肯定的に答え、MDMの連続時間変動目標が、多変量ノイズスケジュールを備えると、訓練中の復号順序を識別し、最適化できることを示す。
我々は、復号順序と多変量雑音スケジュールとの直接対応を確立し、この設定が雑音スケジュールに対するMDM目標の不変性を損なうことを示す。
さらに、MDMの目的がこれらの命令に対して重み付けされた自己回帰的損失に正確に分解されることを証明し、学習可能な順序付き自己回帰的モデルとして確立する。
関連論文リスト
- Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling [48.96034602889216]
Variencoding Discrete Diffusion (VADD) は、潜在変数モデリングによる離散拡散を強化する新しいフレームワークである。
補助的認識モデルを導入することにより、VADDはトレーニングセット上の変分下界と償却推論を介して安定したトレーニングを可能にする。
2Dトイデータ、画素レベルの画像生成、テキスト生成に関する実証結果は、VADDがMDMベースラインを一貫して上回ることを示す。
論文 参考訳（メタデータ） (2025-05-23T01:45:47Z) - Insertion Language Models: Sequence Generation with Arbitrary-Position Insertions [32.48588058887852]
挿入言語モデル(ILM)は、任意の位置にトークンを挿入することを学ぶ。
ILMはトークン間の強い依存関係を表現することができ、任意の順序でシーケンスを生成する能力により、正確にシーケンスをモデル化することができる。
論文 参考訳（メタデータ） (2025-05-09T03:29:15Z) - Enabling Autoregressive Models to Fill In Masked Tokens [50.9948753314669]
MARIA(Masked and Autoregressive Infilling Architecture)は、最先端のマスキング・インフィル・パフォーマンスを実現する新しいアプローチである。
MARIAは、トレーニング済みとARモデルを組み合わせて、隠れた状態を入力として取り込む線形デコーダをトレーニングする。
以上の結果から,MARIAはマスク入力タスクにおいて既存の手法,すなわち離散拡散モデルよりも有意に優れていたことが示唆された。
論文 参考訳（メタデータ） (2025-02-09T20:02:05Z) - Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。
私たちのフレームワークは、3つの新しい目標のファミリーにつながります。
Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
論文 参考訳（メタデータ） (2024-10-10T17:18:30Z) - Unified Auto-Encoding with Masked Diffusion [15.264296748357157]
我々はUMD(Unified Masked Diffusion)と呼ばれる,統合された自己監督的目標を提案する。
UMDは、パッチベースとノイズベースの破損テクニックを1つの自動エンコーディングフレームワークに組み合わせている。
下流の生成および表現学習タスクにおいて、高いパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-06-25T16:24:34Z) - SequenceMatch: Imitation Learning for Autoregressive Sequence Modelling with Backtracking [60.109453252858806]
MLE(Maxum-likelihood)の目的は、高品質なシーケンスを自動回帰的に生成する下流のユースケースと一致しない。
我々は、模倣学習(IL)問題としてシーケンス生成を定式化する。
これにより、自己回帰モデルによって生成されるシーケンスの分布とデータセットからのシーケンスとの差異を最小化できる。
得られた手法であるSequenceMatchは、敵の訓練やアーキテクチャの変更なしに実装できる。
論文 参考訳（メタデータ） (2023-06-08T17:59:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。