論文の概要: Path Planning for Masked Diffusion Model Sampling

• arxiv url: http://arxiv.org/abs/2502.03540v4
• Date: Tue, 27 May 2025 20:39:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-29 15:04:27.236612
• Title: Path Planning for Masked Diffusion Model Sampling
• Title（参考訳）: 仮設拡散モデルサンプリングの経路計画
• Authors: Fred Zhangzhi Peng, Zachary Bezemek, Sawan Patel, Jarrid Rector-Brooks, Sherwood Yao, Avishek Joey Bose, Alexander Tong, Pranam Chatterjee,
• Abstract要約: 各世代を2つのサブステージに分割するパスプランニング(P2)を導入する。 P2では、各ステップのプランナーが更新されるようにマークされた適切なトークンを選択し、デノイザを使ってサンプル化することができる。 我々は、P2が既存のMDMのサンプリング戦略をすべて一般化し、生成品質を著しく向上させることを実証した。
• 参考スコア（独自算出の注目度）: 38.90479959078689
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Any order generation of discrete data using masked diffusion models (MDMs) offers a compelling alternative to traditional autoregressive models, especially in domains that lack a natural causal ordering of data. However, current popular MDMs depart from their successful continuous diffusion model counterparts with simplified masked inference wherein unmasked tokens cannot be iteratively refined -- even if there is a mistake. In this paper, we extract the full power of MDMs by introducing a novel inference sampling strategy termed Path Planning (P2) that decomposes each generation step into two sub-stages: planning and denoising. Under P2, the planner at every step selects appropriate tokens that are marked to be updated, which can then be sampled using the denoiser. We demonstrate that P2 generalizes all existing sampling strategies for MDMs and critically enhances generative quality through the new capability of refining and updating existing unmasked tokens. We theoretically prove that P2 establishes a (new) expanded evidence lower bound (ELBO) on the log marginal likelihood of data. We instantiate P2 with a family of planners including: 1.) Self-Planning, 2.) BERT-Planning, and 3.) Trained-Planning with a learned planner leading to SOTA generative performance for MDMs on a suite of domains. Specifically, solely using P2 inference, we observe relative improvements of 22% in protein sequence foldability, 8% in RNA sequence pLDDT, 4% in math reasoning, 68% in story generation (ROUGE score), and 33% in code generation for the challenging pass@1 metric.
• Abstract（参考訳）: マスク拡散モデル(MDM)を用いた任意のオーダーデータ生成は、特にデータの自然な因果順序を持たない領域において、従来の自己回帰モデルに代わる魅力的な代替手段を提供する。 しかし、現在の一般的なMDMは、仮面のトークンを反復的に洗練できない、仮面推論を単純化した、成功している継続的拡散モデルから逸脱している。 本稿では,経路計画 (P2) と呼ばれる新しい推論サンプリング戦略を導入し,各世代のステップを2つのサブステージに分割することで,MDMのフルパワーを抽出する。 P2では、各ステップのプランナーが更新されるようにマークされた適切なトークンを選択し、デノイザを使ってサンプル化することができる。 P2 は MDM の既存のサンプリング方法を全て一般化し,既存の未処理トークンを精錬・更新する新たな能力によって生成品質を著しく向上することを示した。 理論的には、P2が(新しい)拡張されたデータ境界の低境界(ELBO)を確立することを証明している。 プランナーのファミリーでP2をインスタンス化する。 一 セルフプランニング、 2 BERT-Planning及び 3)学習プランナーによる学習プランニングにより,一組のドメイン上でのMDMのSOTA生成性能が向上した。 具体的には,タンパク質配列の折りたたみ性22%,RNA配列pLDDTの8%,数学推論の4%,ストーリー生成の68%(ROUGEスコア),コード生成の33%の相対的な改善が観察された。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [40.78236375917571]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 マルチレベル最適化マスクオートエンコーダ(MLO-MAE)は,下流タスクからのエンドツーエンドフィードバックを利用して,事前トレーニング中に最適なマスキング戦略を学習する新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders [44.87786478095987]
  Masked Autoencodersは、画像、テキスト、オーディオ、ビデオなどの一般的な表現を、可視データのトークンからマスクされた入力データによって学習する。 本稿では,エンド・ツー・エンドのトレーニングが可能なMAEに対する適応型マスキング戦略を提案する。 AdaMAEは補助サンプリングネットワークを用いて意味的コンテキストに基づいて可視トークンをサンプリングする。
  論文  参考訳（メタデータ） (2022-11-16T18:59:48Z)
• Pseudo-mask Matters inWeakly-supervised Semantic Segmentation [24.73662587701187]
  例えば,クラスアクティベーションマップ(CAM)からの高品質な擬似マスク生成や,ノイズの多い擬似マスク監視によるトレーニングなどである。 i)変分平滑化の係数を適応的にCAMを平滑化させる、(ii)各クラスの重要性を示す新しい指標に基づいて拡張されたCAMを擬似マスクに投影する、(iii)擬似雑音の影響を抑えるための事前的アンダーフィッティング戦略
  論文  参考訳（メタデータ） (2021-08-30T05:35:28Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。