論文の概要: Path Planning for Masked Diffusion Model Sampling

• arxiv url: http://arxiv.org/abs/2502.03540v2
• Date: Fri, 07 Feb 2025 04:32:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-10 11:34:37.094898
• Title: Path Planning for Masked Diffusion Model Sampling
• Title（参考訳）: 仮設拡散モデルサンプリングの経路計画
• Authors: Fred Zhangzhi Peng, Zachary Bezemek, Sawan Patel, Jarrid Rector-Brooks, Sherwood Yao, Alexander Tong, Pranam Chatterjee,
• Abstract要約: 本稿では,事前学習したBERTモデルやデノイザを用いたサンプリングフレームワークであるPath Planning (P2)を提案する。 P2は、既知の全てのMDMサンプリング戦略を一般化し、様々な領域におけるパフォーマンスを大幅に改善する。
• 参考スコア（独自算出の注目度）: 37.49384048430068
• License:
• Abstract: In this paper, we explore how token unmasking order influences generative quality in masked diffusion models (MDMs). We derive an expanded evidence lower bound (ELBO) that introduces a planner to select which tokens to unmask at each step. Our analysis reveals that alternative unmasking strategies can enhance generation performance. Building on this, we propose Path Planning (P2), a sampling framework that uses a pre-trained BERT model or the denoiser itself to guide unmasking decisions. P2 generalizes all known MDM sampling strategies and significantly improves performance across diverse domains, including language generation (in-context learning, code generation, story infilling, mathematical reasoning, reverse curse correction) and biological sequence generation (protein and RNA sequences).
• Abstract（参考訳）: 本稿では,マスク拡散モデル(MDM)におけるトークンアンマスキング順序が生成品質に与える影響について検討する。 我々は、各ステップでアンマスクするトークンを選択するプランナーを導入する拡張されたエビデンスローバウンド(ELBO)を導出する。 解析の結果,代替のアンマスキング手法によって生成性能が向上することが判明した。 提案するPath Planning(P2)は,事前学習したBERTモデルやデノワザを用いたサンプリングフレームワークで,非マスキー意思決定の指針となる。 P2は、すべての既知のMDMサンプリング戦略を一般化し、言語生成(コンテキスト学習、コード生成、ストーリーの埋め合わせ、数学的推論、逆の呪い訂正)や生物学的配列生成(タンパク質とRNA配列)など、様々な領域で性能を著しく向上させる。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Where to Mask: Structure-Guided Masking for Graph Masked Autoencoders [43.53816382180551]
  グラフマスク付きオートエンコーダ(GMAE)は、グラフ構造化データに対する自己教師付き事前学習の大幅な進歩として登場した。 本稿では,既存のGMAEモデルの改良を目的とした,構造誘導型マスキング戦略(StructMAE)を提案する。 我々のStructMAE法は、教師なしと転送学習の両方において、既存の最先端のGMAEモデルより優れています。
  論文  参考訳（メタデータ） (2024-04-24T11:11:02Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• Pseudo-mask Matters inWeakly-supervised Semantic Segmentation [24.73662587701187]
  例えば,クラスアクティベーションマップ(CAM)からの高品質な擬似マスク生成や,ノイズの多い擬似マスク監視によるトレーニングなどである。 i)変分平滑化の係数を適応的にCAMを平滑化させる、(ii)各クラスの重要性を示す新しい指標に基づいて拡張されたCAMを擬似マスクに投影する、(iii)擬似雑音の影響を抑えるための事前的アンダーフィッティング戦略
  論文  参考訳（メタデータ） (2021-08-30T05:35:28Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。