論文の概要: Path Planning for Masked Diffusion Model Sampling

• arxiv url: http://arxiv.org/abs/2502.03540v1
• Date: Wed, 05 Feb 2025 19:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 14:33:51.362863
• Title: Path Planning for Masked Diffusion Model Sampling
• Title（参考訳）: 仮設拡散モデルサンプリングの経路計画
• Authors: Fred Zhangzhi Peng, Zachary Bezemek, Sawan Patel, Sherwood Yao, Jarrid Rector-Brooks, Alexander Tong, Pranam Chatterjee,
• Abstract要約: マスク拡散モデル(MDM)の推論において,トークンがマスクされていない順序が生成品質にどのように影響するかを検討する。 本稿では,事前学習したBERTやデノワザを利用したサンプリングフレームワークであるPath Planning (P2)を提案する。
• 参考スコア（独自算出の注目度）: 37.49384048430068
• License:
• Abstract: In this paper, we investigate how the order in which tokens are unmasked during masked diffusion models (MDMs) inference affects generative quality. We derive an expanded evidence lower bound (ELBO) that introduces a planner, responsible for selecting which tokens to unmask at each step. Our analysis suggests that alternative unmasking strategies can improve generative performance. Based on these insights, we propose Path Planning (P2), a sampling framework that leverages pre-trained BERT or the denoiser itself to guide unmasking decisions. P2 generalizes all known MDM sampling strategies and enables significant improvements across diverse domains including language generation (in-context learning, code generation, story infilling, mathematical reasoning, reverse curse correction) and biological sequence generation (protein and RNA sequences).
• Abstract（参考訳）: 本稿では, マスク拡散モデル (MDM) の推論において, トークンがマスクされていない順序が生成品質に与える影響について検討する。 我々は、各ステップでアンマスクするトークンを選択する責任を負うプランナーを導入する拡張されたエビデンスローバウンド(ELBO)を導出する。 我々の分析は、代替のアンマスキング戦略が生成性能を向上させることを示唆している。 これらの知見に基づいて,事前学習したBERTやデノワザ自体を活用するサンプリングフレームワークであるPath Planning (P2)を提案する。 P2は、すべての既知のMDMサンプリング戦略を一般化し、言語生成(コンテキスト学習、コード生成、ストーリーの埋め合わせ、数学的推論、逆の呪いの修正)や生物学的配列生成(タンパク質とRNA配列)など、さまざまな領域にわたる大幅な改善を可能にする。

関連論文リスト

• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders [44.87786478095987]
  Masked Autoencodersは、画像、テキスト、オーディオ、ビデオなどの一般的な表現を、可視データのトークンからマスクされた入力データによって学習する。 本稿では,エンド・ツー・エンドのトレーニングが可能なMAEに対する適応型マスキング戦略を提案する。 AdaMAEは補助サンプリングネットワークを用いて意味的コンテキストに基づいて可視トークンをサンプリングする。
  論文  参考訳（メタデータ） (2022-11-16T18:59:48Z)
• Pseudo-mask Matters inWeakly-supervised Semantic Segmentation [24.73662587701187]
  例えば,クラスアクティベーションマップ(CAM)からの高品質な擬似マスク生成や,ノイズの多い擬似マスク監視によるトレーニングなどである。 i)変分平滑化の係数を適応的にCAMを平滑化させる、(ii)各クラスの重要性を示す新しい指標に基づいて拡張されたCAMを擬似マスクに投影する、(iii)擬似雑音の影響を抑えるための事前的アンダーフィッティング戦略
  論文  参考訳（メタデータ） (2021-08-30T05:35:28Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。