論文の概要: DLM-SWAI: Steering Diffusion Language Models Before They Unmask

• arxiv url: http://arxiv.org/abs/2605.29626v1
• Date: Thu, 28 May 2026 09:00:14 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:56.090012
• Title: DLM-SWAI: Steering Diffusion Language Models Before They Unmask
• Title（参考訳）: DLM-SWAI: 解答前の拡散言語モデル
• Authors: Hyeseon An, Yo-Sub Han,
• Abstract要約: DLM-SWAIは、事前計算されたトークンレベルのスコアを使用して、各denoisingステップのトークン分布をバイアスする、トレーニング不要のステアリング手法である。 DLM-SWAIは、生成品質を保ち、計算オーバーヘッドを最小限に抑えつつ、拡散言語モデルを効果的に操ることを示す。
• 参考スコア（独自算出の注目度）: 5.276802062716119
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Steering language model generation toward desired textual properties is essential for practical deployment, and inference-time methods are particularly appealing because they enable controllable generation without retraining. Recent work has also highlighted diffusion language models as an emerging generation paradigm with distinct decoding properties. However, most existing steering approaches either rely on auxiliary models or are designed for autoregressive next-token decoding, making them difficult to apply to diffusion language models DLMs, which generate text through iterative denoising of partially masked sequences. Therefore, we propose DLM-SWAI, a simple training-free steering method that biases the token distribution at each denoising step using pre-computed token-level style scores. Experiments on style and safety control tasks show that DLM-SWAI effectively steers diffusion language models while preserving generation quality and requiring minimal computational overhead. Ablations further reveal a controllable trade-off between steering strength and fluency, and our analysis links class-wise steerability to the strength of token-level attribute cues.
• Abstract（参考訳）: 言語モデル生成を所望のテキストプロパティにステアリングすることは,実践的な展開に不可欠である。 最近の研究は、拡散言語モデルを異なる復号特性を持つ新しい世代パラダイムとして強調している。 しかし、既存のステアリングアプローチのほとんどは補助モデルに依存するか、自動回帰的な次トーケンデコーディングのために設計されているため、部分的にマスキングされたシーケンスを反復的に記述することでテキストを生成する拡散言語モデル DLM に適用することは困難である。 そこで,DLM-SWAIは,事前計算したトークンレベルのスコアを用いて,各denoisingステップにおけるトークン分布をバイアスする,簡単な学習自由なステアリング手法である。 DLM-SWAIは、生成品質を保ち、計算オーバーヘッドを最小限に抑えつつ、拡散言語モデルを効果的に操ることを示す。 アブレーションにより, ステアリング強度とフラエンシとの間には, 制御可能なトレードオフが明らかになり, 分析により, トークンレベルの属性キューの強度とクラスワイドのステアビリティを関連付けることができた。

関連論文リスト

• How to Train Your Latent Diffusion Language Model Jointly With the Latent Space [76.9057986588963]
  遅延拡散モデルは、非自己回帰テキスト生成のための離散拡散の魅力的な代替手段を提供する。 本稿では、潜在エンコーダ、拡散モデル、デコーダを共同で訓練する潜在拡散言語モデル(LDLM)を提案する。 OpenWebTextとLM1Bでは、LDLMは既存の離散および連続拡散言語モデルよりも優れた生成性能を達成する。
  論文  参考訳（メタデータ） (2026-05-08T16:05:19Z)
• Activation Steering for Masked Diffusion Language Models [1.0980666029958932]
  マスケ拡散言語モデルは反復的復調過程を通じてテキストを生成する。 本稿では,MDLMのためのアクティベーションステアリングフレームワークを提案する。 LLaDA-8B-Instructの実験では、高レベル属性の信頼性変調が示されている。
  論文  参考訳（メタデータ） (2025-12-30T11:10:52Z)
• WeMMU: Enhanced Bridging of Vision-Language Models and Diffusion Models via Noisy Query Tokens [69.97021957331326]
  本稿では,VLMと拡散モデル間の分散表現空間をエンドツーエンドの最適化により学習するノイズクエリトークンを提案する。 また、細粒度画像の詳細を復元する線形投影を用いたVAE分岐も導入する。
  論文  参考訳（メタデータ） (2025-12-02T09:02:20Z)
• Improving Text Style Transfer using Masked Diffusion Language Models with Inference-time Scaling [37.795834398730555]
  仮面拡散言語モデル (MDMs) は近年,自然言語生成フレームワークとして注目を集めている。 本稿では,MDMの復調過程において,より優れた候補生成の探索を支援する検証器ベースの推論時間スケーリング手法を提案する。 実験では,標準テキストスタイルの転送タスクへのMDMの適用を実証し,自動回帰言語モデルのより良い代替手段としてMDMを確立する。
  論文  参考訳（メタデータ） (2025-08-14T18:01:22Z)
• TreeDiff: AST-Guided Code Generation with Diffusion LLMs [27.111814602726227]
  本稿では,抽象構文木(AST)の構造的先行を記述プロセスに組み込んだ構文対応拡散フレームワークを提案する。 その結果,構文認識の破損は構文的正当性,再構成精度,不明なコードパターンへの一般化を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-08-02T19:46:09Z)
• A Cheaper and Better Diffusion Language Model with Soft-Masked Noise [62.719656543880596]
  Masked-Diffuse LMは言語モデリングのための新しい拡散モデルであり、言語の言語的特徴に触発されている。 具体的には,テキストデータのノイズを改善するために,戦略的ソフトマスキングによってテキストに劣化を加える言語情報処理を設計する。 我々は,我々のMasked-Diffuse LMが,高効率の最先端拡散モデルよりも優れた生成品質を達成できることを実証した。
  論文  参考訳（メタデータ） (2023-04-10T17:58:42Z)
• GanLM: Encoder-Decoder Pre-training with an Auxiliary Discriminator [114.8954615026781]
  本稿では,補助判別器を導入して,エンコーダ・デコーダ事前学習のためのGANスタイルのモデルを提案する。 GanLMは2つのトレーニング済みの目標 – トークン検出の置き換えとトークン記述の置き換え – でトレーニングされている。 言語生成ベンチマークの実験では、強力な言語理解能力を持つ GanLM が、様々な強力な事前学習言語モデルより優れていることが示されている。
  論文  参考訳（メタデータ） (2022-12-20T12:51:11Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。