論文の概要: Beyond Token Positions: Safety Alignment Across Denoising Steps in Diffusion Language Models
- arxiv url: http://arxiv.org/abs/2609.00495v1
- Date: Mon, 31 Aug 2026 23:50:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.167556
- Title: Beyond Token Positions: Safety Alignment Across Denoising Steps in Diffusion Language Models
- Title（参考訳）: トークンポジションを超えて:拡散言語モデルにおけるデノイングステップ間の安全アライメント
- Abstract要約: 拡散大言語モデル(dLLM)は、左から右への復号ではなく反復的な復号化によってテキストを生成する。
中間トークン分布とコミットメント決定をトレースすることにより、有害なプロンプトの下でのdLLMの安全性挙動を測定する。
本稿では,初期段階から永続的な拒絶信号をコミットする訓練不要復号法であるRefusal-Aware Early Commitment (RAEC)を提案する。
- 参考スコア（独自算出の注目度）: 4.839980912290382
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion large language models (dLLMs) generate text through iterative denoising rather than left-to-right decoding. This generation paradigm introduces two axes that can influence safety alignment: when tokens are generated during denoising and where they appear in the response. In this paper, we measure dLLM safety behavior under harmful prompts by tracing intermediate token distributions and commitment decisions throughout denoising. Our analysis shows that refusal signals are concentrated in early denoising steps and leading response positions, and the tokens committed early can strongly shape the final safety outcome. Our measurements further show that the denoising step and persistence of refusal-token commitment are important for understanding dLLM safety. Based on these findings, we propose Refusal-Aware Early Commitment (RAEC), a simple training-free decoding method that commits persistent refusal signals from early steps. Experiments on LLaDA and Dream show that RAEC reduces attack success rates while largely preserving utility. The code is available at https://github.com/Glresearch1/RAEC.
- Abstract（参考訳）: 拡散大言語モデル(dLLM)は、左から右への復号ではなく反復的な復号化によってテキストを生成する。
この生成パラダイムは、2つの軸を導入し、安全アライメントに影響を与える。
本稿では, 有害なプロンプト下でのdLLMの安全性の挙動を, 中間トークン分布とコミットメント決定をデノベーション全体にわたって追跡することにより測定する。
分析の結果,拒絶信号は早期認知段階と先行反応位置に集中しており,早期にコミットしたトークンは最終安全結果を強く形作ることができることがわかった。
さらに, dLLM の安全性を理解する上では, 難読化ステップと断熱的コミットメントの持続性が重要であることを示す。
これらの知見に基づいて,早期段階からの持続的拒絶信号をコミットする簡易な訓練自由復号法であるRefusal-Aware Early Commitment (RAEC)を提案する。
LLaDAとDreamの実験では、RAECは攻撃の成功率を削減し、実用性はほとんど保たれている。
コードはhttps://github.com/Glresearch1/RAECで公開されている。
関連論文リスト
- ForeSight: Enhancing Risk Monitoring via Early Safety Signal Distillation [16.209377275700568]
ForeSightは、第一級のアウトプットリスク予測フレームワークである。
弱くて冗長な早期安全信号を、コンパクトで層認識のリスク表現に蒸留する。
論文 参考訳（メタデータ） (2026-09-12T06:15:17Z) - Supportive Token Revealing for Fast Diffusion Language Model Decoding [10.022716564968695]
AXONはトレーニングフリーのモジュールで、拡散言語モデルの既存の並列デコード戦略の上に追加することができる。
AXONは、既存の並列デコーダの品質・レイテンシのトレードオフを改善し、精度を維持したり改善したりしながら、機能評価の回数を減らすことができることを示す。
論文 参考訳（メタデータ） (2026-06-02T21:35:54Z) - SimSD: Simple Speculative Decoding in Diffusion Language Models [61.33773959352141]
拡散大言語モデル (dLLMs) は、並列またはブロックワイド復号による高速な推論を提供する。
彼らのマスク付き言語モデリングの定式化は、標準的なトークンレベルの投機的復号法とは相容れないままである。
我々は,dLLMに時間的に有効なトークンレベルのコンテキストを付与する,SimSDと呼ばれるdLLMの投機的復号アルゴリズムを提案する。
提案手法は,平均生成品質を維持しつつ,最大7.46倍高い復号スループットを実現する。
論文 参考訳（メタデータ） (2026-06-01T17:46:46Z) - Adaptive Steering and Remasking for Safe Generation in Diffusion Language Models [6.107855416893071]
Diffusion Language Models (DLMs) は自己回帰型言語モデルに代わる有望な選択肢を提供する。
本稿では,段階的介入に基づく推論時防衛フレームワークを提案する。
われわれのアプローチは、ジェイルブレイクの成功率を0.64%まで下げる一方で、オリジナルのモデルの性能に近い世代品質を保っている。
論文 参考訳（メタデータ） (2026-05-13T05:56:45Z) - LEAP: Unlocking dLLM Parallelism via Lookahead Early-Convergence Token Detection [35.2079721755684]
LEAP(Lookahead Early-Convergence Token Detection for Accelerated Parallel Decoding)を紹介する。
LEAPは、将来のコンテキストフィルタリングとマルチシーケンス重ね合わせを利用して早期収束トークンを検出する、トレーニングフリーのプラグアンドプレイ方式である。
GSM8Kデータセットでは、LEAPとdParallelを組み合わせることで、モデル精度を維持しながら、ステップ毎に7.2トークンにデコードが高速化される。
論文 参考訳（メタデータ） (2026-05-09T03:26:23Z) - Temporal Contrastive Decoding: A Training-Free Method for Large Audio-Language Models [56.91801348360746]
大規模な音声言語モデル(LALM)は、音声、音声、音楽にまたがって一般化される。
統一デコーダは 時空間のスムーズなバイアスを示します
LALMの学習自由復号法であるemphTemporal Contrastive Decoding (TCD)を提案する。
論文 参考訳（メタデータ） (2026-04-16T02:30:41Z) - DyLLM: Efficient Diffusion LLM Inference via Saliency-based Token Selection and Partial Attention [2.7422645382944935]
そこで我々はDyLLMを提案する。DyLLMは正規トークンのみを選択的に計算することでデコーディングを高速化する学習自由推論フレームワークである。
DyLLMは様々な推論とコード生成ベンチマークで最大9.6倍のスループットを実現している。
論文 参考訳（メタデータ） (2026-03-09T07:02:01Z) - Toward Safer Diffusion Language Models: Discovery and Mitigation of Priming Vulnerability [5.650647159993238]
拡散言語モデル (DLMs) は反復的 denoising を通じてトークンを並列に生成する。
本稿では, DLM が反復的 denoising プロセスから生じる致命的な脆弱性を明らかにする。
汚染された中間状態から安全な応答を生成するためにモデルを訓練するDLMに適した新しい安全アライメント手法を提案する。
論文 参考訳（メタデータ） (2025-10-01T06:35:23Z) - SparseD: Sparse Attention for Diffusion Language Models [98.05780626106555]
拡散言語モデル(DLM)は自己回帰モデル(AR)に代わる有望な代替手段を提供する
既存のオープンソースDLMは、高い推論遅延に悩まされている。
DLMのための新しいスパースアテンション手法であるスパースDを提案する。
論文 参考訳（メタデータ） (2025-09-28T18:10:10Z) - Emulated Disalignment: Safety Alignment for Large Language Models May Backfire! [65.06450319194454]
大きな言語モデル(LLM)は、人間との安全な会話を確保するために安全アライメントを行う。
本稿では,安全アライメントの反転が可能なトレーニングフリーアタック手法を提案する。
本手法をエミュレートした脱アライメント (ED) と呼ぶのは, このコントラスト分布からのサンプリングは, 安全報酬を最小限に抑えるため, 微調整の結果を確実にエミュレートするからである。
論文 参考訳（メタデータ） (2024-02-19T18:16:51Z) - DiffTAD: Temporal Action Detection with Proposal Denoising Diffusion [137.8749239614528]
そこで我々は,時間的行動検出(TAD)の新しい定式化を提案し,拡散を抑えるDiffTADを提案する。
入力されたランダムな時間的提案を考慮すれば、トリミングされていない長いビデオが与えられたアクションの提案を正確に得ることができる。
論文 参考訳（メタデータ） (2023-03-27T00:40:52Z) - Instance Regularization for Discriminative Language Model Pre-training [108.41891836796366]
本研究は,言語モデル事前学習における劣化文から原文を復元する複雑性を推定することを提案する。
自然言語理解と読解のベンチマークによる実験結果から,本手法は事前学習の効率,有効性,堅牢性を向上することが示された。
論文 参考訳（メタデータ） (2022-10-11T14:16:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。