論文の概要: Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge

• arxiv url: http://arxiv.org/abs/2610.07532v1
• Date: Mon, 05 Oct 2026 23:59:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 02:58:29.719562
• Title: Safeguarding LLMs via Model-Agnostic Latent Safety Signals from Dark Knowledge
• Title（参考訳）: 暗知識からのモデル非依存潜時安全信号によるLCMの保護
• Abstract要約: 既存のデコードステージの防御には2つの制限がある。 彼らは、安全性と過剰な拒絶の間のトレードオフを導入し、安全を強化することで、良質なクエリに対するモデルの利便性を低下させる。 ダークナレッジから有害クエリと良性クエリを対比して抽出した潜時安全信号を利用するLADEを導入する。
• 参考スコア（独自算出の注目度）: 58.89692997625976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs have advanced rapidly, raising growing concerns about their safety. Recent work has proposed approaches to detect and defend against attacks including defenses at decoding stage that leverage models' hidden states. However, existing decoding-stage defenses suffer from two limitations. First, they introduce a trade-off between safety and over-refusal, where strengthening safety degrades the model's helpfulness on benign queries. Second, many of these methods rely on internal hidden states and are thus restricted to specific architectures, incurring substantial overhead and limited generalization across models. To address these limitations, we introduce LADE (Latent Safety Signals for Defense), which leverages latent safety signals extracted by contrasting harmful and benign queries from dark knowledge (i.e., information carried by the output probability distribution beyond its argmax) in the first-token output probability distribution. Our key insight is that, beyond surface-level refusal tokens, the dark knowledge in the first-token distribution contains latent safety signals, defined as tokens whose probabilities differ sharply between harmful and benign queries. We show that these signals consistently align across LLMs, forming a model-agnostic direction that emerges from safety alignment. LADE consists of three components: (1) Extracting Latent Safety Signals from Dark Knowledge, which selects top-k safety-discriminative tokens from the first-token probability distribution; (2) Tokenizer Mapping, which maps these tokens across different tokenizers to enable model-agnostic application; and (3) kNN-based Discrimination, which classifies queries via a k-Nearest Neighbors search over the mapped tokens. Across diverse LLMs and benchmarks, LADE is robust against a wide range of jailbreak attacks and lowers attack success rates while maintaining a competitive safety-utility trade-off.
• Abstract（参考訳）: LLMは急速に進歩し、安全性への懸念が高まっている。 近年の研究では、モデルが隠された状態を利用するデコード段階での防御を含む攻撃を検知し、防御するためのアプローチが提案されている。 しかし、既存のデコードステージの防御には2つの制限がある。 まず、安全と過剰な拒絶の間のトレードオフを導入し、安全を強化することで、良質なクエリに対するモデルの利便性を低下させる。 第二に、これらの手法の多くは内部の隠蔽状態に依存しており、従って特定のアーキテクチャに制限されている。 これらの制約に対処するため,第1トーケン出力確率分布において,暗知識(argmaxを超える出力確率分布によって伝達される情報)から有害かつ良質なクエリを対比して抽出した潜時安全信号を利用するLADE(Latent Safety Signals for Defense)を導入する。 我々の重要な洞察は、表面レベルでの拒絶トークン以外にも、第1トーケン分布の暗黒知識には、有害なクエリと良心的なクエリの確率が著しく異なるトークンとして定義される潜在安全信号が含まれています。 これらの信号はLLM間で一貫して一致し、安全アライメントから生じるモデル非依存の方向を形成する。 LADEは,(1)第1の確率分布からトップkの安全識別トークンを選択するダークナレッジからの遅延安全信号の抽出,(2)これらのトークンを異なるトークン間でマッピングしてモデルに依存しないアプリケーションを実現するトークンマッピング,(3)kNNベースの識別,(3)kNNベースのクエリをk-Nearest Neighborsで検索する。 LLMとベンチマークの多種多様な分野において、LADEは幅広いジェイルブレイク攻撃に対して堅牢であり、競争力のある安全ユーティリティトレードオフを維持しながら、攻撃の成功率を下げている。

関連論文リスト

• First Token Matters: Understanding Safety Collapse in Large Reasoning Models [21.146577287391604]
  本稿では,リファレンスダイナミクスのトークンレベルの位置解析により,その故障について検討する。 その結果, LRMの拒絶関連信号は, 有害なクエリで生成した第1トークンに急降下することがわかった。 SafeTokenは、学習した継続的安全アンカーを正確に推論時に注入する軽量な推論時間介入である。
  論文  参考訳（メタデータ） (2026-09-16T11:06:22Z)
• ProbGuard: Calibrated Safety Risk Estimation from LLM Output Distributions [18.213303271775793]
  本稿では,LLM(Large Language Model)の安全性のための,完全確率的アーキテクチャに依存しないガードレールテキストscProbGuardを提案する。 我々は、この安全リスクを連続した生成ダイナミクスの不安全確率として定式化し、モンテカルロサンプリングによりこのリスクを推定する。 textscProbGuardは、9つのモデル--データセットの組み合わせ設定で最高のキャリブレーション性能を達成する。
  論文  参考訳（メタデータ） (2026-08-11T08:08:41Z)
• Token-level Data Selection for Safe LLM Fine-tuning [15.039068315115372]
  カスタムデータセット上での微調整大型言語モデル(LLM)は、これらのモデルを特定のドメインやアプリケーションに適用するための標準的なアプローチとなっている。 近年の研究では、このような微調整がモデルの安全性を著しく低下させる可能性があることが示されている。 本稿では,安全劣化モデルとユーティリティ指向モデルとの損失差を測定することにより,各トークンの安全性リスクを定量化する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-03-01T16:52:05Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)
• One Trigger Token Is Enough: A Defense Strategy for Balancing Safety and Usability in Large Language Models [20.42976162135529]
  大規模言語モデル(LLM)は、仮想アシスタント、自動コード生成、科学研究など、さまざまな領域で広く使われている。 我々は,与えられた安全対応LLMの安全トリガトークンを識別し,明示的に復号する,シンプルで効果的な防衛アルゴリズムであるtextttD-STT を提案する。
  論文  参考訳（メタデータ） (2025-05-12T01:26:50Z)
• Improving LLM Safety Alignment with Dual-Objective Optimization [81.98466438000086]
  大規模言語モデル(LLM)の既存のトレーニング時間安全アライメント技術は、ジェイルブレイク攻撃に対して脆弱なままである。 本研究では,DPOの目的を2つの構成要素にまとめる安全アライメントの改善について提案する。(1) 安全でない世代が部分的に発生しても拒否を促す頑健な拒絶訓練,(2) 有害な知識の未学習。
  論文  参考訳（メタデータ） (2025-03-05T18:01:05Z)
• SafeAligner: Safety Alignment against Jailbreak Attacks via Response Disparity Guidance [48.36220909956064]
  SafeAlignerは、ジェイルブレイク攻撃に対する防御を強化するためのデコード段階で実装された方法論である。 安全性を高めるために訓練されたセンチネルモデルと、よりリスクの高い応答を生成するように設計されたイントルーダモデルである。 SafeAlignerは有害なトークンの発生を低減しつつ、有益トークンの可能性を高めることができることを示す。
  論文  参考訳（メタデータ） (2024-06-26T07:15:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。