論文の概要: Demystifying MaskGIT Sampler and Beyond: Adaptive Order Selection in Masked Diffusion

• arxiv url: http://arxiv.org/abs/2510.04525v1
• Date: Mon, 06 Oct 2025 06:30:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-07 16:52:59.708367
• Title: Demystifying MaskGIT Sampler and Beyond: Adaptive Order Selection in Masked Diffusion
• Title（参考訳）: MaskGITサンプリングとそれを超えるデミスティフィケーション:Masked Diffusionにおける適応順序選択
• Authors: Satoshi Hayakawa, Yuhta Takida, Masaaki Imaizumi, Hiromi Wakaki, Yuki Mitsufuji,
• Abstract要約: マスク付き拡散モデルでは、幅広い領域で高品質なサンプルを生成する上で有望な性能を示している。 本稿では,画像モデリングのためのMaskGITサンプルを理論的に解析し,その暗黙の温度サンプリング機構を明らかにする。 トークンをサンプリングする前にアンマキング位置を選択することで、"choose-then-sample"アプローチを用いる「モーメントサンプリング」を導入する。
• 参考スコア（独自算出の注目度）: 41.409281069230325
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Masked diffusion models have shown promising performance in generating high-quality samples in a wide range of domains, but accelerating their sampling process remains relatively underexplored. To investigate efficient samplers for masked diffusion, this paper theoretically analyzes the MaskGIT sampler for image modeling, revealing its implicit temperature sampling mechanism. Through this analysis, we introduce the "moment sampler," an asymptotically equivalent but more tractable and interpretable alternative to MaskGIT, which employs a "choose-then-sample" approach by selecting unmasking positions before sampling tokens. In addition, we improve the efficiency of choose-then-sample algorithms through two key innovations: a partial caching technique for transformers that approximates longer sampling trajectories without proportional computational cost, and a hybrid approach formalizing the exploration-exploitation trade-off in adaptive unmasking. Experiments in image and text domains demonstrate our theory as well as the efficiency of our proposed methods, advancing both theoretical understanding and practical implementation of masked diffusion samplers.
• Abstract（参考訳）: マスク付き拡散モデルでは、広範囲の領域で高品質なサンプルを生成する上で有望な性能を示したが、サンプリングプロセスの高速化はいまだに未発見のままである。 本研究では,マスク拡散のための効率的なサンプリング器について理論的に解析し,その暗黙の温度サンプリング機構を明らかにする。 この分析を通じて、シンプレクティックに等価だが、よりトラクタブルで解釈可能なMaskGITに代わる「モーメント・サンプル」を導入し、トークンをサンプリングする前にアンマキング位置を選択することで「チョース・サンプル」アプローチを採用する。 さらに、比例計算コストを伴わずに長いサンプリングトラジェクトリを近似する変換器の部分キャッシング手法と、適応的アンマキングにおける探索・探索トレードオフを定式化するハイブリッドアプローチの2つの重要な革新を通じて、選択型サンプルアルゴリズムの効率を向上する。 画像領域とテキスト領域における実験は,提案手法の有効性だけでなく,我々の理論を実証し,マスク拡散サンプリングの理論的理解と実践的実装を推し進めるものである。

関連論文リスト

• Self-Speculative Masked Diffusions [46.04054227238148]
  本稿では,離散データに対する自己投機的マスク拡散モデルを提案する。 マスク位置上の非分解予測を発生させることにより計算負担を低減する。 我々は,GPT2スケールのテキストモデリングとタンパク質配列生成に本手法を適用し,必要なネットワーク転送回数を2倍に削減できることを確認した。
  論文  参考訳（メタデータ） (2025-10-04T20:16:38Z)
• Accelerated Sampling from Masked Diffusion Models via Entropy Bounded Unmasking [17.511240770486452]
  仮面拡散モデル (MDM) は, 言語モデリングにおける自己回帰モデル (ARM) と比較して, 競合性能を示した。 本稿では,Entropy bounded unmasking 手法を用いて,既存のサンプルのドロップイン置換であるEB-Samplerを紹介する。 EB-Samplerは、パフォーマンスを損なうことなく、標準的なコーディングと数学推論ベンチマークで、最先端のMDMのサンプリングを約2～3倍高速化する。
  論文  参考訳（メタデータ） (2025-05-30T17:52:55Z)
• Unlocking the Capabilities of Masked Generative Models for Image Synthesis via Self-Guidance [25.41734642338575]
  Masked Generative Model (MGM)は、非常に効率的なサンプリングステップを提供しながら、印象的な生成能力を示している。 本稿では,より優れた生成品質を実現する自己誘導サンプリング手法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T01:48:05Z)
• Improved off-policy training of diffusion samplers [93.66433483772055]
  本研究では,非正規化密度やエネルギー関数を持つ分布からサンプルを抽出する拡散モデルの訓練問題について検討する。 シミュレーションに基づく変分法や非政治手法など,拡散構造推論手法のベンチマークを行った。 我々の結果は、過去の研究の主張に疑問を投げかけながら、既存のアルゴリズムの相対的な利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-02-07T18:51:49Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Sampling From Autoencoders' Latent Space via Quantization And Probability Mass Function Concepts [1.534667887016089]
  本稿では,確率質量関数の概念に根ざした新しい学習後サンプリングアルゴリズムと量子化プロセスを紹介する。 提案アルゴリズムは,入力データから各潜伏ベクトルの近傍を定め,その近傍からサンプルを抽出する。 この戦略的なアプローチは、サンプル化された潜伏ベクトルが主に高確率領域に居住することを保証する。
  論文  参考訳（メタデータ） (2023-08-21T13:18:12Z)
• CamoDiffusion: Camouflaged Object Detection via Conditional Diffusion Models [72.93652777646233]
  カモフラーゲ型物体検出(COD)は、カモフラーゲ型物体とその周囲の類似性が高いため、コンピュータビジョンにおいて難しい課題である。 本研究では,CODを拡散モデルを利用した条件付きマスク生成タスクとして扱う新しいパラダイムを提案する。 カモ拡散(CamoDiffusion)と呼ばれる本手法では,拡散モデルのデノナイズプロセスを用いてマスクの雑音を反復的に低減する。
  論文  参考訳（メタデータ） (2023-05-29T07:49:44Z)
• Constrained Probabilistic Mask Learning for Task-specific Undersampled MRI Reconstruction [8.44194619347218]
  アンダーサンプリング(アンダーサンプリング)は、磁気共鳴イメージング(MRI)において、k空間内のデータ点数をサブサンプリングする一般的な方法である。 データポイントからアンダーサンプリングマスクを直接学習する手法を提案する。 解剖学的に異なる部位で最適なアンダーサンプリングマスクが認められた。
  論文  参考訳（メタデータ） (2023-05-25T14:42:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。