論文の概要: Any-Depth Alignment: Unlocking Innate Safety Alignment of LLMs to Any-Depth

• arxiv url: http://arxiv.org/abs/2510.18081v1
• Date: Mon, 20 Oct 2025 20:18:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.555372
• Title: Any-Depth Alignment: Unlocking Innate Safety Alignment of LLMs to Any-Depth
• Title（参考訳）: LLMの安全アライメントを、どんな奥行きでもアンロックできる「Ed-Depth Alignment」
• Authors: Jiawei Zhang, Andrew Estornell, David D. Baek, Bo Li, Xiaojun Xu,
• Abstract要約: 提案するAny-Depth Alignment(ADA)は,オーバーヘッドを無視できる効果的な推論時防御法である。 ADAは有害性を再評価し、世代毎に拒絶を回復するモデルを誘導する。 数十から数千のトークンにわたる敵のプリフィル攻撃に対して、約100%の拒絶率を確保している。
• 参考スコア（独自算出の注目度）: 19.670368480802725
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) exhibit strong but shallow alignment: they directly refuse harmful queries when a refusal is expected at the very start of an assistant turn, yet this protection collapses once a harmful continuation is underway (either through the adversarial attacks or via harmful assistant-prefill attacks). This raises a fundamental question: Can the innate shallow alignment in LLMs be unlocked to ensure safety at arbitrary generation depths? To achieve this goal, we propose Any-Depth Alignment (ADA), an effective inference-time defense with negligible overhead. ADA is built based on our observation that alignment is concentrated in the assistant header tokens through repeated use in shallow-refusal training, and these tokens possess the model's strong alignment priors. By reintroducing these tokens mid-stream, ADA induces the model to reassess harmfulness and recover refusals at any point in generation. Across diverse open-source model families (Llama, Gemma, Mistral, Qwen, DeepSeek, and gpt-oss), ADA achieves robust safety performance without requiring any changes to the base model's parameters. It secures a near-100% refusal rate against challenging adversarial prefill attacks ranging from dozens to thousands of tokens. Furthermore, ADA reduces the average success rate of prominent adversarial prompt attacks (such as GCG, AutoDAN, PAIR, and TAP) to below 3%. This is all accomplished while preserving utility on benign tasks with minimal over-refusal. ADA maintains this resilience even after the base model undergoes subsequent instruction tuning (benign or adversarial).
• Abstract（参考訳）: 大きな言語モデル(LLM)は、強いが浅いアライメントを示す: アシスタントターンの開始時に拒否が期待されるときに、有害なクエリを直接拒否するが、この保護は有害な継続が進行中である(敵の攻撃または有害なアシスタントプリフィルアタックによって)と崩壊する。 LLMの自然の浅いアライメントは、任意の生成深度で安全性を確保するためにアンロックできるのか? この目的を達成するために、我々は無視可能なオーバーヘッドを持つ効果的な推論時防御であるAny-Depth Alignment (ADA)を提案する。 ADAは、浅層学習において繰り返し使用されることによって、アライメントがアシスタントヘッダトークンに集中しているという我々の観察に基づいて構築され、これらのトークンはモデルの強いアライメント先行を持っている。 これらのトークンをストリーム中に再導入することで、ADAはモデルに有害性を再評価し、世代毎に拒絶を回復させる。 さまざまなオープンソースモデルファミリ(Llama、Gemma、Mistral、Qwen、DeepSeek、gpt-oss)にわたって、ADAはベースモデルのパラメータを変更することなく堅牢な安全性能を達成する。 数十から数千のトークンにわたる敵のプリフィル攻撃に対して、約100%の拒絶率を確保している。 さらに、ADAは、GCG、AutoDAN、PAIR、TAPなどの顕著な敵の攻撃の平均成功率を3%以下に下げる。 これはすべて、最小限のオーバーリフレクションで良質なタスクでユーティリティを保ちながら達成される。 ADAは、ベースモデルがその後の命令チューニング(良性または逆性)を実行した後でも、このレジリエンスを維持している。

関連論文リスト

• Matching Ranks Over Probability Yields Truly Deep Safety Alignment [8.692532301315135]
  近年の研究では、データ拡張を用いた教師付き微調整(SFT)ディフェンスを提案して、列挙された深度安全アライメントを実現した。 このようなアプローチによって作り出される"ディープ"な安全アライメントは、実際にはそれほど深くないことを示す。 本稿では,その確率ではなく,目標分布のトークンランクを一致させることにより,より深い安全アライメントを実現するための新たな視点を提案する。
  論文  参考訳（メタデータ） (2025-12-05T08:22:27Z)
• Refusal Falls off a Cliff: How Safety Alignment Fails in Reasoning? [68.82210578851442]
  メカニスティックな解釈可能性レンズによる推論モデルにおいて、なぜ安全アライメントが失敗するのかを考察する。 トークン位置における拒絶意図の追跡のための線形探索手法を用いて,textbfrefusal cliff と呼ばれる現象を発見した。 提案手法は,最大断崖を示す訓練例を識別し,推論モデルの安全性を向上する手法であるtextbfCliff-as-a-Judge を提案する。
  論文  参考訳（メタデータ） (2025-10-07T15:32:59Z)
• Probing the Robustness of Large Language Models Safety to Latent Perturbations [30.16804362984161]
  安全アライメントは、信頼できる人工知能を構築する上で重要な要件である。 我々は、小さな潜伏シフトが、整列モデルにおける安全でない応答を引き起こすことを観察する。 学習中に隠された表現に制御された摂動を注入する微調整戦略であるLayer-wise Adversarial Patch Training (LAPT)を導入する。
  論文  参考訳（メタデータ） (2025-06-19T07:03:05Z)
• Robust Anti-Backdoor Instruction Tuning in LVLMs [53.766434746801366]
  大規模視覚言語モデル(LVLM)のための軽量で認証に依存しない防御フレームワークについて紹介する。 私たちのフレームワークは、命令チューニングの下で、アダプタモジュールとテキスト埋め込み層のみを微調整します。 Flickr30kとMSCOCOに対する7つの攻撃に対する実験は、我々の攻撃の成功率をほぼゼロに低下させることを示した。
  論文  参考訳（メタデータ） (2025-06-04T01:23:35Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Safety Alignment Should Be Made More Than Just a Few Tokens Deep [48.823599143711235]
  現在のLarge Language Models(LLM)の安全性アライメントは脆弱である。 比較的単純な攻撃、あるいは微調整さえも、ジェイルブレイク対応のモデルを作ることができる。 最初の数個のトークン以上の安全性アライメントの強化は、一般的なエクスプロイトに対するロバスト性を大幅に向上させる可能性があることを、私たちは示しています。
  論文  参考訳（メタデータ） (2024-06-10T00:35:23Z)
• Mind the Inconspicuous: Revealing the Hidden Weakness in Aligned LLMs' Refusal Boundaries [22.24239212756129]
  複数のシーケンス(eos)トークンを単に追加するだけで、コンテキストセグメンテーションと呼ばれる現象が発生します。 本稿では, eos トークンを付加することにより, BOOST ジェイルブレイク攻撃の簡単な方法を提案する。
  論文  参考訳（メタデータ） (2024-05-31T07:41:03Z)
• Shadow Alignment: The Ease of Subverting Safely-Aligned Language Models [102.63973600144308]
  オープンソースの大規模言語モデルは、有害なコンテンツを生成するために容易に変換できる。 5つの異なる組織がリリースした8つのモデルに対する実験は、シャドーアライメントアタックの有効性を実証している。 この研究は、悪意のある攻撃者に対するオープンソースのLLMの安全性を見直し、強化するための集団的な取り組みの発端となる。
  論文  参考訳（メタデータ） (2023-10-04T16:39:31Z)
• A Self-supervised Approach for Adversarial Robustness [105.88250594033053]
  敵対的な例は、ディープニューラルネットワーク(DNN)ベースの視覚システムにおいて破滅的な誤りを引き起こす可能性がある。 本稿では,入力空間における自己教師型対向学習機構を提案する。 これは、反逆攻撃に対する強力な堅牢性を提供する。
  論文  参考訳（メタデータ） (2020-06-08T20:42:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。