論文の概要: Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling

• arxiv url: http://arxiv.org/abs/2508.10995v1
• Date: Thu, 14 Aug 2025 18:01:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-18 14:51:23.635875
• Title: Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling
• Title（参考訳）: 推論時間スケーリングを用いたマスケ拡散言語モデルによるテキストスタイル変換の改善
• Authors: Tejomay Kishor Padole, Suyash P Awate, Pushpak Bhattacharyya,
• Abstract要約: 仮面拡散言語モデル (MDMs) は近年,自然言語生成フレームワークとして注目を集めている。 本稿では,MDMの復調過程において,より優れた候補生成の探索を支援する検証器ベースの推論時間スケーリング手法を提案する。 実験では,標準テキストスタイルの転送タスクへのMDMの適用を実証し,自動回帰言語モデルのより良い代替手段としてMDMを確立する。
• 参考スコア（独自算出の注目度）: 37.795834398730555
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Masked diffusion language models (MDMs) have recently gained traction as a viable generative framework for natural language. This can be attributed to its scalability and ease of training compared to other diffusion model paradigms for discrete data, establishing itself as the state-of-the-art non-autoregressive generator for discrete data. Diffusion models, in general, have shown excellent ability to improve the generation quality by leveraging inference-time scaling either by increasing the number of denoising steps or by using external verifiers on top of the outputs of each step to guide the generation. In this work, we propose a verifier-based inference-time scaling method that aids in finding a better candidate generation during the denoising process of the MDM. Our experiments demonstrate the application of MDMs for standard text-style transfer tasks and establish MDMs as a better alternative to autoregressive language models. Additionally, we show that a simple soft-value-based verifier setup for MDMs using off-the-shelf pre-trained embedding models leads to significant gains in generation quality even when used on top of typical classifier-free guidance setups in the existing literature.
• Abstract（参考訳）: 仮面拡散言語モデル (MDMs) は近年,自然言語生成フレームワークとして注目を集めている。 これは、離散データに対する他の拡散モデルパラダイムと比較して、そのスケーラビリティと訓練の容易さに起因しており、離散データに対する最先端の非自己回帰生成器として確立されている。 拡散モデルでは,各ステップの出力の上位に外部検証器を用いて生成を誘導することにより,推論時間スケーリングを活用することにより,生成品質を向上させる能力に優れていた。 本研究では,MDMの復調過程において,より優れた候補生成の探索を支援する検証器に基づく推論時間スケーリング手法を提案する。 実験では,標準テキストスタイルの転送タスクへのMDMの適用を実証し,自動回帰言語モデルのより良い代替手段としてMDMを確立する。 さらに,本論文では,既存の文献で一般的な分類器なし指導装置上で使用しても,既製の事前学習型埋め込みモデルを用いたMDMのソフトバリューベースの簡易検証装置が生成品質を著しく向上させることを示した。

関連論文リスト

• On Designing Diffusion Autoencoders for Efficient Generation and Representation Learning [14.707830064594056]
  拡散オートエンコーダ(DA)は、入力依存の潜在変数を使用して、拡散過程と共に表現をキャプチャする。 より良い生成モデリングは、別のクラスの拡散モデル -- 前方(ノイズ)プロセスを学ぶもの -- の第一の目標です。
  論文  参考訳（メタデータ） (2025-05-30T18:14:09Z)
• Variational Autoencoding Discrete Diffusion with Enhanced Dimensional Correlations Modeling [48.96034602889216]
  Variencoding Discrete Diffusion (VADD) は、潜在変数モデリングによる離散拡散を強化する新しいフレームワークである。 補助的認識モデルを導入することにより、VADDはトレーニングセット上の変分下界と償却推論を介して安定したトレーニングを可能にする。 2Dトイデータ、画素レベルの画像生成、テキスト生成に関する実証結果は、VADDがMDMベースラインを一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2025-05-23T01:45:47Z)
• Automated Learning of Semantic Embedding Representations for Diffusion Models [1.688134675717698]
  拡散モデルの表現能力を拡大するために,マルチレベル・デノナイジング・オートエンコーダ・フレームワークを用いる。 我々の研究は、DDMが生成タスクに適合するだけでなく、汎用的なディープラーニングアプリケーションにも有利である可能性を正当化している。
  論文  参考訳（メタデータ） (2025-05-09T02:10:46Z)
• Steering Masked Discrete Diffusion Models via Discrete Denoising Posterior Prediction [88.65168366064061]
  本稿では,確率論的推論の課題として,事前学習したMDMを操る作業を行う新しいフレームワークであるDDPPを紹介する。 私たちのフレームワークは、3つの新しい目標のファミリーにつながります。 Wet-lab Validation(ウェット・ラブ・バリデーション)を用いて,報酬最適化タンパク質配列の過渡的発現を観察する。
  論文  参考訳（メタデータ） (2024-10-10T17:18:30Z)
• PLANNER: Generating Diversified Paragraph via Latent Language Diffusion Model [37.2192243883707]
  本稿では,潜在意味の拡散と自己回帰生成を組み合わせ,流動的なテキストを生成するモデルであるPLANNERを提案する。 意味生成, テキスト補完, 要約の結果は, 高品質な長文を生成する上での有効性を示す。
  論文  参考訳（メタデータ） (2023-06-05T01:36:39Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。