論文の概要: Faithful Latent Harm Monitors Work No Better Than the Models Own Behaviour at a Matched False Alarm Rate

• arxiv url: http://arxiv.org/abs/2610.30727v1
• Date: Thu, 22 Oct 2026 04:54:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.214764
• Title: Faithful Latent Harm Monitors Work No Better Than the Models Own Behaviour at a Matched False Alarm Rate
• Title（参考訳）: ファースアラームレートで自作のモデルよりはマシなハームモニター(動画あり)
• Abstract要約: 大規模な言語モデルでは、要求を拒否する決定とは別に、要求の有害性を符号化することが報告されている。 ラテントガードのような潜在安全モニターは、モデルの内部アクティベーションから有害なプロンプトを分類する。 これらの表現が分布シフトを乗り越え、モデル動作とは無関係な害のシグナルを与えるかどうかを検証する。
• 参考スコア（独自算出の注目度）: 1.6185544531149152
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models have been reported to encode the harmfulness of a request separately from their decision to refuse it, and latent safety monitors such as Latent Guard build on this report by classifying prompts as harmful from the internal activations of the model, with the aim of catching harmful intent even when the model complies. Whether these representations give a signal of harm that survives distribution shift and is independent of model behaviour is unclear. We test this on out-of-distribution prompts made by rewriting existing harmful and benign requests with surface rewording, persuasive framing and jailbreak-style wrappers. Across 15 instruction-tuned LLMs and 38 activation-based readers, we compare harm detection with that of TF-IDF and sentence-embedding classifiers, with independently trained safety classifiers, and with the refusal of each model. Activations are read at the last token of the user instruction, where the model has read the whole request, and at the last chat-template token before the reply, where the planned response can be represented. Because models disagree about which prompts to refuse, we can separate a signal of the harmfulness of the prompt from a signal of the refusal decision of the model. At the end of the instruction, the representation is largely independent of the refusal behaviour of each model but degrades under distribution shift, so that a TF-IDF classifier ranks harm better than the original Latent Guard in every model we test, and linear and MLP probes do about as well as sentence-embedding classifiers trained on the same examples. The representation just before generation detects more, catching 44 percent of harmful prompts at a matched false-alarm rate against 32 percent for the refusal of the model, but that gain follows the refusal decision itself, and part of it comes from refusals that string-matching evaluation misses.
• Abstract（参考訳）: 大規模言語モデルでは、要求の有害性を拒否する判断とは別個に符号化することが報告されており、遅延ガードのような潜在安全監視装置は、モデルが従えば有害な意図を捉えることを目的として、モデルの内部のアクティベーションから有害なプロンプトを分類することで、このレポートに基づいている。 これらの表現が分布シフトを乗り越え、モデル行動とは無関係な害のシグナルを与えるかどうかは不明である。 我々は、既存の有害で良質な要求を、表面リワード、説得フレーミング、ジェイルブレイクスタイルのラッパーで書き直して、配布外プロンプトでテストする。 15個の命令調整 LLM と38個のアクティベーションベースの読解器,TF-IDF と文埋め込み分類器,個別に訓練された安全分類器,および各モデルの拒絶例を比較した。 アクティベーションは、ユーザ命令の最後のトークン、モデルがリクエスト全体を読み取った場合、および応答前の最後のチャットテンプレートトークン、計画されたレスポンスを表現できる場合、読み込まれる。 モデルがどのプロンプトを拒否するかは一致しないので、モデルの拒絶決定のシグナルからプロンプトの有害性のシグナルを分離することができる。 命令の最後には、表現は各モデルの拒絶動作に大きく依存するが、分布シフトによって劣化するので、TF-IDF分類器は、我々がテストした全てのモデルにおいて、元の潜時ガードよりも有害であり、線形およびMLPプローブは、同じ例で訓練された文埋め込み分類器と同様である。 生成直前の表現はより検出され、一致した偽アラームレートで有害なプロンプトの44%を、モデル拒絶の32%に対して取得する。

関連論文リスト

• Can LLMs Reliably Self-Report Adversarial Prefills, and How? [9.80193616788089]
  大規模言語モデル(LLM)は,良質なタスクに対して内観的能力を示すことを示す。 本研究は,モデルが先行応答が逆プレフィル攻撃によって引き起こされたことを確実に認識できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-22T17:56:30Z)
• An Embarrassingly Simple Defense Against LLM Abliteration Attacks [47.347413305965006]
  失語症と呼ばれる最近の攻撃は、拒否行動に最も責任がある唯一の潜伏方向を特定し、抑制する。 本稿では、モデルが拒否を表現する方法を根本的に変える防衛法を提案する。 微調整のLlama-2-7B-ChatとQwen2.5-Instructは、消音下で高い断熱率を維持するモデルを生成する。
  論文  参考訳（メタデータ） (2025-05-25T09:18:24Z)
• A Generative Approach to LLM Harmfulness Mitigation with Red Flag Tokens [26.119521867045616]
  モデルの語彙を特別な赤いフラグトークンで拡張することを提案する。 有害なコンテンツが生成または差し迫ったときに、このトークンを挿入するようにモデルをトレーニングします。 このアプローチは,既存の安全技術と補完するものだ。
  論文  参考訳（メタデータ） (2025-02-22T21:48:48Z)
• Refusal Tokens: A Simple Way to Calibrate Refusals in Large Language Models [68.15108215197279]
  安全で信頼性の高い言語モデルを構築する上で重要な要素は、モデルが特定の質問に答えることを適切に拒否することである。 本稿では,学習中のモデルの応答に先立って,各拒絶カテゴリに対する1つのそのようなトークン,あるいは1つの拒絶トークンを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:40:44Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)
• MOVE: Effective and Harmless Ownership Verification via Embedded External Features [104.97541464349581]
  本稿では,異なる種類のモデル盗難を同時に防ぐために,効果的かつ無害なモデル所有者認証(MOVE)を提案する。 我々は、疑わしいモデルがディフェンダー特定外部特徴の知識を含むかどうかを検証し、所有権検証を行う。 次に、メタ分類器をトレーニングして、モデルが被害者から盗まれたかどうかを判断します。
  論文  参考訳（メタデータ） (2022-08-04T02:22:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。