論文の概要: Where to Start Alignment? Diffusion Large Language Model May Demand a Distinct Position

• arxiv url: http://arxiv.org/abs/2508.12398v1
• Date: Sun, 17 Aug 2025 15:19:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-19 14:49:10.741867
• Title: Where to Start Alignment? Diffusion Large Language Model May Demand a Distinct Position
• Title（参考訳）: 言語モデルを拡散させるには適切な位置を必要とするかもしれない
• Authors: Zhixin Xie, Xurui Song, Jun Luo,
• Abstract要約: 本報告では,dLLMsの安全性に関する最初の解析を行った。 本稿では,そのユニークな生成特性に合わせた新しい安全アライメント手法を提案する。 ディフェンダーにとって、応答の中間トークンは初期トークンではなく、dLLM出力の全体的な安全性に対してより重要であることが明らかになる。
• 参考スコア（独自算出の注目度）: 3.2306044873088635
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Diffusion Large Language Models (dLLMs) have recently emerged as a competitive non-autoregressive paradigm due to their unique training and inference approach. However, there is currently a lack of safety study on this novel architecture. In this paper, we present the first analysis of dLLMs' safety performance and propose a novel safety alignment method tailored to their unique generation characteristics. Specifically, we identify a critical asymmetry between the defender and attacker in terms of security. For the defender, we reveal that the middle tokens of the response, rather than the initial ones, are more critical to the overall safety of dLLM outputs; this seems to suggest that aligning middle tokens can be more beneficial to the defender. The attacker, on the contrary, may have limited power to manipulate middle tokens, as we find dLLMs have a strong tendency towards a sequential generation order in practice, forcing the attack to meet this distribution and diverting it from influencing the critical middle tokens. Building on this asymmetry, we introduce Middle-tOken Safety Alignment (MOSA), a novel method that directly aligns the model's middle generation with safe refusals exploiting reinforcement learning. We implement MOSA and compare its security performance against eight attack methods on two benchmarks. We also test the utility of MOSA-aligned dLLM on coding, math, and general reasoning. The results strongly prove the superiority of MOSA.
• Abstract（参考訳）: Diffusion Large Language Models (dLLMs) は、最近、独自のトレーニングと推論アプローチのために、非自己回帰パラダイムとして登場した。 しかし、この新しい建築の安全性に関する研究は、現在不足している。 本稿では,dLLMsの安全性能を初めて解析し,その特異な生成特性に合わせた新しい安全アライメント手法を提案する。 具体的には、セキュリティの観点から、ディフェンダーとアタッカーの間に重要な非対称性を識別する。 ディフェンダーにとって、応答の中間トークンは初期トークンではなく、dLLM出力の全体的な安全性に対してより重要であることが明らかになる。 一方、攻撃者は中間トークンを操作する能力に制限があり、dLLMはシーケンシャルな生成順序に対して強い傾向があり、攻撃を強制的にこの分布に適合させ、クリティカルな中間トークンに影響を与えないようにする。 この非対称性を基盤として,強化学習を生かしたモデル中世代を安全に拒絶する新しい手法であるMOSA(Middle-Token Safety Alignment)を導入する。 我々はMOSAを実装し、セキュリティ性能を2つのベンチマークで8つの攻撃方法と比較した。 また、符号化、数学、一般推論におけるMOSA対応dLLMの有用性を検証した。 その結果,MOSAの優位性が強く証明された。

関連論文リスト

• Paper Summary Attack: Jailbreaking LLMs through LLM Safety Papers [61.57691030102618]
  我々は新しいジェイルブレイク手法であるペーパー・サプリメント・アタック(llmnamePSA)を提案する。 攻撃に焦点をあてたLLM安全紙からコンテンツを合成し、敵のプロンプトテンプレートを構築する。 実験では、ベースLLMだけでなく、Deepseek-R1のような最先端の推論モデルにも重大な脆弱性がある。
  論文  参考訳（メタデータ） (2025-07-17T18:33:50Z)
• Improving Large Language Model Safety with Contrastive Representation Learning [92.79965952162298]
  大規模言語モデル(LLM)は、社会に深い影響を与える強力なツールである。 多様な制御されていない入力に対する応答を生成する能力は、敵の攻撃に対して脆弱である。 対照的な表現学習問題としてモデルディフェンスを定式化するディフェンスフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-13T16:42:09Z)
• Chasing Moving Targets with Online Self-Play Reinforcement Learning for Safer Language Models [55.28518567702213]
  従来の言語モデル(LM)の安全性アライメントは、リアクティブで非結合な手順に依存している。 このシーケンシャルなアプローチはミスマッチを生み出し、攻撃者は時代遅れの防御に過度に適合する一方、守備側は出現する脅威に常に遅れをとどめている。 我々は,攻撃者と防御エージェントが継続的なインタラクションを通じて共進化するオンラインセルフプレイ強化学習アルゴリズムであるSelf-RedTeamを提案する。
  論文  参考訳（メタデータ） (2025-06-09T06:35:12Z)
• Alignment Under Pressure: The Case for Informed Adversaries When Evaluating LLM Defenses [6.736255552371404]
  アライメント(Alignment)は、迅速な注射や脱獄といった攻撃を防御するために使われる主要なアプローチの1つである。 グレディ・コーディネート・グラディエント(GCG)に対する攻撃成功率(ASR)の報告
  論文  参考訳（メタデータ） (2025-05-21T16:43:17Z)
• An Interpretable N-gram Perplexity Threat Model for Large Language Model Jailbreaks [87.64278063236847]
  本研究では,ジェイルブレイク攻撃の原理的比較のための統一的脅威モデルを提案する。 私たちの脅威モデルは、あるジェイルブレイクがテキストの配布で起こりそうなかどうかをチェックします。 私たちはこの脅威モデルに人気のある攻撃を適応させ、これらの攻撃を同等の足場でベンチマークしました。
  論文  参考訳（メタデータ） (2024-10-21T17:27:01Z)
• You Know What I'm Saying: Jailbreak Attack via Implicit Reference [22.520950422702757]
  本研究は、以前見過ごされた脆弱性を特定し、Implicit Reference (AIR) による攻撃(Attack)と呼ぶ。 AIRは悪意のある目的を許容可能な目的に分解し、コンテキスト内の暗黙の参照を通してそれらをリンクする。 我々の実験は、AIRが最先端のLLMに対して有効であることを示し、ほとんどのモデルで90%を超える攻撃成功率(ASR)を達成した。
  論文  参考訳（メタデータ） (2024-10-04T18:42:57Z)
• SEAS: Self-Evolving Adversarial Safety Optimization for Large Language Models [19.486685336959482]
  大規模言語モデル(LLM)は能力と影響力を向上し続け、セキュリティを確保し、有害な出力を防ぐことが重要になっている。 これらの問題に対処するための有望なアプローチは、レッドチームのための敵のプロンプトを自動的に生成するトレーニングモデルである。 本稿では,モデル自体が生成したデータを活用することで,セキュリティを向上させるための最適化フレームワークであるmathbfStextelf-mathbfEtextvolving mathbfAtextdversarial mathbfStextafetyety mathbf(SEAS)について紹介する。
  論文  参考訳（メタデータ） (2024-08-05T16:55:06Z)
• Refuse Whenever You Feel Unsafe: Improving Safety in LLMs via Decoupled Refusal Training [67.30423823744506]
  我々は,LLMに対して,いかなる応答位置においても有害なプロンプトへのコンプライアンスを拒否する権限を付与する,新しいアプローチであるDecoupled Refusal Training(DeRTa)を導入する。 DeRTaは,(1)安全応答の開始に有害な応答のセグメントを付加することにより,安全でないコンテンツの認識と回避をモデルに訓練する,(2)有害応答シーケンスを通して潜在的障害から安全拒絶へ移行する能力をモデルに装備する強化遷移最適化(RTO)という,2つの新しいコンポーネントを組み込んでいる。
  論文  参考訳（メタデータ） (2024-07-12T09:36:33Z)
• Safety Alignment Should Be Made More Than Just a Few Tokens Deep [48.823599143711235]
  現在のLarge Language Models(LLM)の安全性アライメントは脆弱である。 比較的単純な攻撃、あるいは微調整さえも、ジェイルブレイク対応のモデルを作ることができる。 最初の数個のトークン以上の安全性アライメントの強化は、一般的なエクスプロイトに対するロバスト性を大幅に向上させる可能性があることを、私たちは示しています。
  論文  参考訳（メタデータ） (2024-06-10T00:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。