論文の概要: Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models

• arxiv url: http://arxiv.org/abs/2605.10971v1
• Date: Fri, 08 May 2026 18:52:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.268714
• Title: Steering Without Breaking: Mechanistically Informed Interventions for Discrete Diffusion Language Models
• Title（参考訳）: 破壊のないステアリング:離散拡散言語モデルのための機械的インフォームド・インターベンション
• Authors: Hanhan Zhou, Shamik Roy, Rashmi Gangadharaiah,
• Abstract要約: 離散拡散言語モデル(DLM)は、すべての位置を並列に反復的に認知することでテキストを生成する。 この均一なスケジュールは品質を劣化させ、複数の属性を共同で操る場合の損傷成分を示す。 本稿では,属性が積極的に形成され,残りの世代に手を加えないステップに介入する適応型スケジューラを提案する。
• 参考スコア（独自算出の注目度）: 10.45663857615872
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Discrete diffusion language models (DLMs) generate text by iteratively denoising all positions in parallel, offering an alternative to autoregressive models. Controlled generation methods for DLMs, imported from autoregressive models, apply uniform intervention at every denoising steps. We show this uniform schedule degrades quality, and the damage compounds when multiple attributes are steered jointly. To diagnose the failure, we train sparse autoencoders on four DLMs (124M-8B parameters) and find that different attributes commit on distinct schedules, varying in timing, sharpness, and magnitude. For instance, topic commits within the first 2\% of denoising, whereas sentiment emerges gradually over 20\% of the process. Consequently, uniform intervention wastes steering capacity on steps where the target attribute has already solidified or has yet to emerge. We propose a novel adaptive scheduler that concentrates interventions on the steps where an attribute is actively forming and leaves the rest of generation untouched. The cost-control trade-off admits a closed-form characterization: the advantage of adaptive over uniform scheduling is governed by a single dispersion statistic of the commitment distribution. Across four DLMs and seven steering tasks, our method achieves precise control without the degradation typical of uniform interventions. Especially on challenging simultaneous three-attribute control, it reaches up to 93\% steering strength, beating the strongest baseline by up to 15\% points while preserving generation quality.
• Abstract（参考訳）: 離散拡散言語モデル(DLM)は、すべての位置を並列に反復的に記述することでテキストを生成し、自己回帰モデルの代替を提供する。 自己回帰モデルから輸入されたDLMの制御された生成法は、各段階で均一に介入する。 この均一なスケジュールは品質を劣化させ、複数の属性を共同で操る場合の損傷成分を示す。 故障を診断するために,4つのDLM(124M-8Bパラメータ)でスパースオートエンコーダを訓練し,異なる属性が異なるスケジュールにコミットし,タイミング,シャープさ,大きさが変化することを確認した。 例えば、トピックのコミットは最初の2\%以内で、感情はプロセスの20\%以上で徐々に現れます。 その結果、均一な介入は、目標属性がすでに固化されているか、あるいはまだ現れていないステップにおいて、ステアリング能力を無駄にする。 本稿では,属性が積極的に形成され,残りの世代に手を加えないステップに介入する適応型スケジューラを提案する。 均一なスケジューリングよりも適応的な利点は、コミットメント分布の単一分散統計量によって支配される。 4つのDLMと7つのステアリングタスクにまたがって,一様介入の典型的な劣化を伴わずに高精度な制御を実現する。 特に、同時三属性制御では、最大93倍の操舵強度に達し、生成品質を維持しながら、最強のベースラインを最大15倍まで打ち負かす。

関連論文リスト

• Inference-Time Attribute Distribution Alignment for Unconditional Diffusion [54.28942858023809]
  我々は、事前訓練された非条件拡散モデルに対する推論時属性分布アライメント問題を定式化する。 そこで本研究では,逆拡散過程に対する最適制御問題として,推定時属性分布アライメントを適用した。 最適制御に基づくアルゴリズムを用いて分散マッチングの最適化を行う。
  論文  参考訳（メタデータ） (2026-05-08T09:02:47Z)
• Interpolating Discrete Diffusion Models with Controllable Resampling [49.771004594828405]
  仮面拡散モデルは初期解凍による不可逆誤差に悩まされる。 自己補正が可能であるにもかかわらず、一様拡散モデルは、しばしば低品質のサンプルを生成する。 本稿では,中間潜伏状態への依存を減らすことで拡散を改善する補間離散拡散モデルを提案する。
  論文  参考訳（メタデータ） (2026-04-19T07:55:57Z)
• OmniForcing: Unleashing Real-time Joint Audio-Visual Generation [51.031726911410594]
  最近のジョイントオーディオ・視覚拡散モデルは、優れた生成品質を実現するが、高いレイテンシーに悩まされる。 OmniForcingは、オフラインの双方向拡散モデルを高忠実度ストリーミングオートレジェネレータに蒸留する最初のフレームワークである。
  論文  参考訳（メタデータ） (2026-03-12T08:17:36Z)
• Not All Denoising Steps Are Equal: Model Scheduling for Faster Masked Diffusion Language Models [6.4453302264198165]
  拡散フレームワークとモデルスケジューリングの柔軟性を利用して、より小さなMDLMがデノナイジングステップのサブセットでフルモデルを置き換える。 その結果,早期・後期段階は中段よりもかなり頑健であり,FLOPは最大17%減少することがわかった。 提案手法は, MDLMサンプリングを著しく高速化し, 生成品質を保ちながら, 簡易かつアーキテクチャに依存しないスケジューリング規則を適用できることを示唆する。
  論文  参考訳（メタデータ） (2026-02-04T13:04:58Z)
• Inference-time Alignment via Sparse Junction Steering [25.464612964225484]
  推論時間アライメントのための重要なアプローチとして、トークンレベルのステアリングが登場している。 既存の手法はデコードの各ステップで密接な介入に依存している。 密接な介入は不要であり,スパースジャンクションステアリングを提案する。
  論文  参考訳（メタデータ） (2026-01-30T08:40:47Z)
• Continuously Augmented Discrete Diffusion model for Categorical Generative Modeling [87.34677262370924]
  標準離散拡散モデルは、吸収[MASK]トークンにそれらをマッピングすることで、すべての観測されていない状態を同一に扱う。 これは'インフォメーション・ヴォイド'を生成します。そこでは、偽のトークンから推測できるセマンティック情報は、デノイングステップの間に失われます。 連続的拡張離散拡散(Continuously Augmented Discrete Diffusion)は、連続的な潜在空間における対拡散で離散状態空間を拡大するフレームワークである。
  論文  参考訳（メタデータ） (2025-10-01T18:00:56Z)
• Hybrid Autoregressive-Diffusion Model for Real-Time Sign Language Production [0.0]
  我々は手話生成のための自己回帰モデルと拡散モデルを組み合わせたハイブリッドアプローチを開発する。 微粒な体の動きを捉えるため,異なる音節から細かな特徴を別々に抽出するマルチスケール・ポース表現モジュールを設計した。 ポーズ生成過程を動的に導くために,共同レベルの信頼度スコアを利用する信頼度対応型因果注意機構を導入する。
  論文  参考訳（メタデータ） (2025-07-12T01:34:50Z)
• Continual-MAE: Adaptive Distribution Masked Autoencoders for Continual Test-Time Adaptation [49.827306773992376]
  連続的テスト時間適応(CTTA)は、ソース事前学習モデルから目標分布の連続的な変化に移行するために提案される。 提案手法は,CTTAタスクの分類とセグメンテーションの両方において,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2023-12-19T15:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。