論文の概要: PC-Sampler: Position-Aware Calibration of Decoding Bias in Masked Diffusion Models

• arxiv url: http://arxiv.org/abs/2508.13021v2
• Date: Tue, 19 Aug 2025 02:03:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-20 13:30:22.901293
• Title: PC-Sampler: Position-Aware Calibration of Decoding Bias in Masked Diffusion Models
• Title（参考訳）: PC-Sampler:マスク付き拡散モデルにおけるデコードバイアスの位置対応校正
• Authors: Pengcheng Huang, Shuhao Liu, Zhenghao Liu, Yukun Yan, Shuo Wang, Zulong Chen, Tong Xiao,
• Abstract要約: マスク付き拡散モデル(MDM)は、シーケンス生成のための強力な非自己回帰的な代替手段である。 本稿では,新しいデコード戦略である位置認識信頼度校正サンプリング(PC-Sampler)を紹介する。 PC-Samplerは、既存のMDMデコード戦略を平均で10%以上上回っている。
• 参考スコア（独自算出の注目度）: 33.98279129315148
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in masked diffusion models (MDMs) have established them as powerful non-autoregressive alternatives for sequence generation. Nevertheless, our preliminary experiments reveal that the generation quality of MDMs is still highly sensitive to the choice of decoding strategy. In particular, widely adopted uncertainty-based samplers suffer from two key limitations: a lack of global trajectory control and a pronounced bias toward trivial tokens in the early stages of decoding. These shortcomings restrict the full potential of MDMs. In this work, we introduce Position-Aware Confidence-Calibrated Sampling (PC-Sampler), a novel decoding strategy that unifies global trajectory planning with content-aware informativeness maximization. PC-Sampler incorporates a position-aware weighting mechanism to regulate the decoding path and a calibrated confidence score to suppress the premature selection of trivial tokens. Extensive experiments on three advanced MDMs across seven challenging benchmarks-including logical reasoning and planning tasks-demonstrate that PC-Sampler consistently outperforms existing MDM decoding strategies by more than 10% on average, significantly narrowing the performance gap with state-of-the-art autoregressive models. All codes are available at https://github.com/NEUIR/PC-Sampler.
• Abstract（参考訳）: マスク拡散モデル(MDM)の最近の進歩は、配列生成のための強力な非自己回帰的な代替手段として確立されている。 しかし, 予備実験の結果, MDMの生成品質はデコード戦略の選択に非常に敏感であることが判明した。 特に、広く採用されている不確実性に基づくサンプリングは、グローバルな軌道制御の欠如とデコードの初期における自明なトークンに対する顕著な偏見の2つの重要な制限に悩まされている。 これらの欠点はMDMの完全な可能性を制限する。 本研究では,コンテンツ認識情報量最大化とグローバルな軌道計画を統一する新しいデコード戦略である,位置認識信頼度校正サンプリング(PC-Sampler)を紹介する。 PC-Samplerは、デコードパスを制御する位置認識重み付け機構と、キャリブレーションされた信頼スコアを組み込んで、自明なトークンの早期選択を抑制する。 PC-Samplerは、従来のMDMデコード戦略を平均で10%以上上回り、最先端の自己回帰モデルとパフォーマンスギャップを著しく狭めている。 すべてのコードはhttps://github.com/NEUIR/PC-Samplerで入手できる。

関連論文リスト

• Accelerating Diffusion LLMs via Adaptive Parallel Decoding [50.9948753314669]
  並列にサンプリングされたトークンの数を動的に調整する新しい手法であるアダプティブ並列復号法(APD)を導入する。 APDは、ダウンストリームベンチマークで最小限の品質劣化を伴って、非常に高いスループットを提供する。
  論文  参考訳（メタデータ） (2025-05-31T06:10:10Z)
• Accelerated Sampling from Masked Diffusion Models via Entropy Bounded Unmasking [17.511240770486452]
  仮面拡散モデル (MDM) は, 言語モデリングにおける自己回帰モデル (ARM) と比較して, 競合性能を示した。 本稿では,Entropy bounded unmasking 手法を用いて,既存のサンプルのドロップイン置換であるEB-Samplerを紹介する。 EB-Samplerは、パフォーマンスを損なうことなく、標準的なコーディングと数学推論ベンチマークで、最先端のMDMのサンプリングを約2～3倍高速化する。
  論文  参考訳（メタデータ） (2025-05-30T17:52:55Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)
• GD-MAE: Generative Decoder for MAE Pre-training on LiDAR Point Clouds [72.60362979456035]
  Masked Autoencoders (MAE)は、大規模な3Dポイントクラウドでの探索が難しい。 我々は,周囲のコンテキストを自動的にマージするためのtextbfGenerative textbfDecoder for MAE (GD-MAE)を提案する。 提案手法の有効性を, KITTI と ONCE の2つの大規模ベンチマークで実証した。
  論文  参考訳（メタデータ） (2022-12-06T14:32:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。