論文の概要: Path Planning for Masked Diffusion Model Sampling

• arxiv url: http://arxiv.org/abs/2502.03540v1
• Date: Wed, 05 Feb 2025 19:00:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-07 15:30:40.489354
• Title: Path Planning for Masked Diffusion Model Sampling
• Title（参考訳）: 仮設拡散モデルサンプリングの経路計画
• Authors: Fred Zhangzhi Peng, Zachary Bezemek, Sawan Patel, Sherwood Yao, Jarrid Rector-Brooks, Alexander Tong, Pranam Chatterjee,
• Abstract要約: マスク拡散モデル(MDM)の推論において,トークンがマスクされていない順序が生成品質にどのように影響するかを検討する。 本稿では,事前学習したBERTやデノワザを利用したサンプリングフレームワークであるPath Planning (P2)を提案する。
• 参考スコア（独自算出の注目度）: 37.49384048430068
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we investigate how the order in which tokens are unmasked during masked diffusion models (MDMs) inference affects generative quality. We derive an expanded evidence lower bound (ELBO) that introduces a planner, responsible for selecting which tokens to unmask at each step. Our analysis suggests that alternative unmasking strategies can improve generative performance. Based on these insights, we propose Path Planning (P2), a sampling framework that leverages pre-trained BERT or the denoiser itself to guide unmasking decisions. P2 generalizes all known MDM sampling strategies and enables significant improvements across diverse domains including language generation (in-context learning, code generation, story infilling, mathematical reasoning, reverse curse correction) and biological sequence generation (protein and RNA sequences).
• Abstract（参考訳）: 本稿では, マスク拡散モデル (MDM) の推論において, トークンがマスクされていない順序が生成品質に与える影響について検討する。 我々は、各ステップでアンマスクするトークンを選択する責任を負うプランナーを導入する拡張されたエビデンスローバウンド(ELBO)を導出する。 我々の分析は、代替のアンマスキング戦略が生成性能を向上させることを示唆している。 これらの知見に基づいて,事前学習したBERTやデノワザ自体を活用するサンプリングフレームワークであるPath Planning (P2)を提案する。 P2は、すべての既知のMDMサンプリング戦略を一般化し、言語生成(コンテキスト学習、コード生成、ストーリーの埋め合わせ、数学的推論、逆の呪いの修正)や生物学的配列生成(タンパク質とRNA配列)など、さまざまな領域にわたる大幅な改善を可能にする。

関連論文リスト

• Partition Generative Modeling: Masked Modeling Without Masks [1.4110007887109783]
  分割生成モデル(PGM)はマスク生成モデル(MGM)の新しいアプローチである 1024トークンのコンテキスト長を持つOpenWebTextの実験では、PGMがレイテンシとスループットの両方で少なくとも5倍改善されていることが示されている。
  論文  参考訳（メタデータ） (2025-05-24T21:44:32Z)
• Meta-DiffuB: A Contextualized Sequence-to-Sequence Text Diffusion Model with Meta-Exploration [53.63593099509471]
  本稿では,既存のS2S-拡散モデルの限界を克服するために,スケジューラ・エクスロイタS2S-拡散パラダイムを提案する。 我々はメタ探索を用いて、各文の文脈化ノイズをスケジューリングするための追加スケジューラモデルを訓練する。 我々のエクスプローラーモデルであるS2S-拡散モデルでは、スケジューラモデルによってスケジュールされたノイズを利用して更新と生成を行う。
  論文  参考訳（メタデータ） (2024-10-17T04:06:02Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• ColorMAE: Exploring data-independent masking strategies in Masked AutoEncoders [53.3185750528969]
  Masked AutoEncoders (MAE)は、堅牢な自己管理フレームワークとして登場した。 データに依存しないColorMAEという手法を導入し、ランダムノイズをフィルタすることで異なる二元マスクパターンを生成する。 ランダムマスキングと比較して,下流タスクにおける戦略の優位性を示す。
  論文  参考訳（メタデータ） (2024-07-17T22:04:00Z)
• Diffusion Forcing: Next-token Prediction Meets Full-Sequence Diffusion [61.03681839276652]
  拡散強制(Diffusion Forcing)は、拡散モデルをトレーニングし、トークンの集合に独立した音レベルを付与する、新たなトレーニングパラダイムである。 因果的次トーケン予測モデルを訓練して1つまたは複数の未来のトークンを生成することで、シーケンス生成モデルに拡散強制を適用する。
  論文  参考訳（メタデータ） (2024-07-01T15:43:25Z)
• Downstream Task Guided Masking Learning in Masked Autoencoders Using Multi-Level Optimization [40.78236375917571]
  Masked Autoencoder (MAE) は視覚表現学習における自己教師付き事前学習のための重要な手法である。 マルチレベル最適化マスクオートエンコーダ(MLO-MAE)は,下流タスクからのエンドツーエンドフィードバックを利用して,事前トレーニング中に最適なマスキング戦略を学習する新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-02-28T07:37:26Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• Deep Generative Imputation Model for Missing Not At Random Data [13.56794299885683]
  我々は、潜伏空間における現実の欠落メカニズムを処理するために、GNRと呼ばれる深い生成的計算モデルを利用する。 実験の結果,GNRは最先端のMNARベースラインをはるかに超え,有意なマージンを有することが明らかとなった。
  論文  参考訳（メタデータ） (2023-08-16T06:01:12Z)
• STEP: Learning N:M Structured Sparsity Masks from Scratch with Precondition [34.271242093957476]
  そこで我々は,N:M構造を持つ空間マスクを2相で学習するAdam-AwareのレシピであるSTEPを提案する。 STEPは、分散変化を動的にサンプリングすることで、2つの位相の切替点を自動的に識別する。 そこで本研究では,STEPがベースラインレシピの精度低下を軽減し,アグレッシブな構造的疎度比に頑健であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T15:49:03Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• AdaMAE: Adaptive Masking for Efficient Spatiotemporal Learning with Masked Autoencoders [44.87786478095987]
  Masked Autoencodersは、画像、テキスト、オーディオ、ビデオなどの一般的な表現を、可視データのトークンからマスクされた入力データによって学習する。 本稿では,エンド・ツー・エンドのトレーニングが可能なMAEに対する適応型マスキング戦略を提案する。 AdaMAEは補助サンプリングネットワークを用いて意味的コンテキストに基づいて可視トークンをサンプリングする。
  論文  参考訳（メタデータ） (2022-11-16T18:59:48Z)
• Transformers meet Stochastic Block Models: Attention with Data-Adaptive Sparsity and Cost [53.746169882193456]
  最近の研究は、自己注意の二次的コストを克服するために、様々なスパークアテンションモジュールを提案している。 本稿では,それぞれの注意を混合メンバーシップブロックモデルで表現することで,両方の問題を解決するモデルを提案する。 我々のモデルは、以前の効率的な変種とオリジナルのトランスフォーマーより優れており、十分に注目されています。
  論文  参考訳（メタデータ） (2022-10-27T15:30:52Z)
• Robust Face Anti-Spoofing with Dual Probabilistic Modeling [49.14353429234298]
  本稿では、DPM-LQ(ラベル品質認識学習)とDPM-DQ(データ品質認識学習)という2つの専用モジュールを備えたDPM(Dual Probabilistic Modeling)という統合フレームワークを提案する。 DPM-LQは、ノイズのあるセマンティックラベルの分布に過度に適合することなく、ロバストな特徴表現を生成することができる。 DPM-DQは、その品質分布に基づいてノイズデータの予測信頼度を補正することにより、推論中のFalse Reject'およびFalse Accept'からデータノイズを除去することができる。
  論文  参考訳（メタデータ） (2022-04-27T03:44:18Z)
• Pseudo-mask Matters inWeakly-supervised Semantic Segmentation [24.73662587701187]
  例えば,クラスアクティベーションマップ(CAM)からの高品質な擬似マスク生成や,ノイズの多い擬似マスク監視によるトレーニングなどである。 i)変分平滑化の係数を適応的にCAMを平滑化させる、(ii)各クラスの重要性を示す新しい指標に基づいて拡張されたCAMを擬似マスクに投影する、(iii)擬似雑音の影響を抑えるための事前的アンダーフィッティング戦略
  論文  参考訳（メタデータ） (2021-08-30T05:35:28Z)
• Improving Self-supervised Pre-training via a Fully-Explored Masked Language Model [57.77981008219654]
  Masked Language Model (MLM)フレームワークは、自己教師型言語事前学習に広く採用されている。 そこで本研究では,テキストシーケンスを複数の非重複セグメントに分割するマスキング手法を提案する。
  論文  参考訳（メタデータ） (2020-10-12T21:28:14Z)
• Effective Unsupervised Domain Adaptation with Adversarially Trained Language Models [54.569004548170824]
  注意的なマスキング戦略は、マスキングされた言語モデルの知識ギャップを橋渡しできることを示す。 本稿では,これらのトークンを逆さまにマスキングすることで効果的なトレーニング戦略を提案する。
  論文  参考訳（メタデータ） (2020-10-05T01:49:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。