論文の概要: Recall Is Not Protection: Evaluating Safety Monitors Against Model Compliance

• arxiv url: http://arxiv.org/abs/2609.05797v1
• Date: Sat, 05 Sep 2026 01:19:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 12:40:19.370286
• Title: Recall Is Not Protection: Evaluating Safety Monitors Against Model Compliance
• Title（参考訳）: リコールは保護ではない - モデルコンプライアンスに対する安全モニターの評価
• Abstract要約: セーフティモニタは、デプロイされた言語モデルに送られるスクリーンプロンプトを通知し、有害な要求を通知し、応答されないようにする。 それらは有害なラベルに対するリコールによって評価されるが、もしモデルがそうでなければ害を防げるだけである。 対象モデルからの繰り返し応答をサンプリングし、もしモデルが少なくとも一度は満たされた場合、有害なプロンプトを仮に呼び出すとともに、実行不可能なプロンプトに対して別々にリコールを報告します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety monitors screen prompts sent to deployed language models, flagging harmful requests so they are never answered. They are evaluated by recall against harmfulness labels, but a catch only prevents harm if the model would otherwise have complied. We measure the difference directly: we sample repeated responses from the target model, call a harmful prompt \emph{elicitable} if the model complies at least once, and report monitor recall separately on elicitable and non-elicitable prompts. Across six monitor configurations and three model families, spanning activation probes, fine-tuned text guards, and a 120B policy-conditioned reasoning classifier, recall on elicitable prompts falls 0.22 to 0.38 below recall on non-elicitable prompts at a fixed false positive rate. The prompts a monitor misses are 2.8 to 5.6 times more likely to be complied with than the prompts it catches. The gap replicates across three model families and appears also in text-only monitors entirely independent of the target model. This suggests that standard recall may overstate the protection monitors provide in practice, and that monitors should be evaluated against what their models will actually answer.
• Abstract（参考訳）: セーフティモニタは、デプロイされた言語モデルに送られるスクリーンプロンプトを通知し、有害な要求を通知し、応答されないようにする。 それらは有害なラベルに対するリコールによって評価されるが、もしモデルがそうでなければ害を防げるだけである。 対象モデルからの繰り返し応答をサンプリングし、もしモデルが少なくとも1回は満たされた場合、有害なプロンプト \emph{elicitable} を呼び出し、検索可能なプロンプトと非通知可能なプロンプトを別々にリコールする。 アクティベーションプローブ、微調整されたテキストガード、120Bポリシー条件の推論分類器を含む6つのモニタ構成と3つのモデルファミリの合計で、許可可能なプロンプトのリコールは、固定された偽陽性率で非有効プロンプトのリコールの0.22から0.38以下である。 モニターミスのプロンプトは、キャッチするプロンプトの2.8倍から5.6倍の確率である。 このギャップは3つのモデルファミリにまたがって複製され、テキストのみのモニタでもターゲットモデルから完全に独立している。 これは、標準的なリコールがプロテクションモニターが実際に提供することを誇張する可能性があることを示唆し、モニターが実際に答えるモデルに対して評価されるべきである。

関連論文リスト

• Can LLMs Reliably Self-Report Adversarial Prefills, and How? [9.80193616788089]
  大規模言語モデル(LLM)は,良質なタスクに対して内観的能力を示すことを示す。 本研究は,モデルが先行応答が逆プレフィル攻撃によって引き起こされたことを確実に認識できるかどうかを検討する。
  論文  参考訳（メタデータ） (2026-06-22T17:56:30Z)
• RecurGuard: Runtime Monitoring for Reasoning-Token Consumption Attacks [0.0]
  推論可能な大言語モデルは、ユーザの質問に答えるのではなく、注入されたデコイタスクに世代予算を費やすように誘導することができる。 RecurGuardは、推論チェーンの消費攻撃を検出するランタイムモニタです。
  論文  参考訳（メタデータ） (2026-06-06T03:52:27Z)
• TraceGuard: Structured Multi-Dimensional Monitoring as a Collusion-Resistant Control Protocol [1.0195618602298684]
  TraceGuardは5次元にわたるエージェントアクションを評価する構造化多次元監視プロトコルである。 オープンソースのControlArenaフレームワーク用の新しいモニタタイプとして実装されている。
  論文  参考訳（メタデータ） (2026-04-05T05:05:59Z)
• Noticing the Watcher: LLM Agents Can Infer CoT Monitoring from Blocking Feedback [48.40096834514452]
  言語モデルエージェントの内部推論を監督する手法として,Chain-of-Thought(CoT)モニタリングを提案する。 我々は、推論エージェントが彼らのプライベートなCoTが監視下にあると自律的に推測できるかどうかを尋ねる。 フェデラーモデルでは、フィードバックをブロックすることで、このモニターの存在を純粋に推測することができる。
  論文  参考訳（メタデータ） (2026-03-14T00:12:14Z)
• Invisible Safety Threat: Malicious Finetuning for LLM via Steganography [74.00809267925642]
  妥協された大きな言語モデルは、有害なコンテンツを隠蔽しながら適切な安全アライメントのファサードを維持することができる。 OpenAIファインタニングAPIの保護にもかかわらず、GPT-4.1のこの目に見えない安全脅威を実証する。 本稿では,コンテンツ安全分類のためのLlama-Guard-3-8Bを用いて,AdvBenchデータセット上での手法を定量的に評価する。
  論文  参考訳（メタデータ） (2026-03-09T08:48:27Z)
• Neural Chameleons: Language Models Can Learn to Hide Their Thoughts from Unseen Activation Monitors [6.965453012336053]
  アクティベーションモニタリングは、AIの安全性のための新たなツールだが、誤調整脅威モデルの下での堅牢性は証明されていない。 ファインタニングは、ゼロショット回避アクティベーションモニタのモデルであるNeural Chameleonを作成できることを示す。 我々の研究は、この障害モードに対する概念実証と、誤認識脅威モデルに対する監視技術の最悪の堅牢性を評価するためのツールを提供する。
  論文  参考訳（メタデータ） (2025-12-12T18:47:43Z)
• Beyond Linear Probes: Dynamic Safety Monitoring for Language Models [67.15793594651609]
  従来の安全モニタは、クエリ毎に同じ量の計算を必要とする。 動的アクティベーションモニタリングのための線形プローブの自然な拡張であるTrncated Polynomials (TPCs)を紹介する。 我々の重要な洞察は、TPCを段階的に、短期的に訓練し、評価できるということです。
  論文  参考訳（メタデータ） (2025-09-30T13:32:59Z)
• Strategic Dishonesty Can Undermine AI Safety Evaluations of Frontier LLMs [95.06033929366203]
  大規模言語モデル(LLM)開発者は、モデルが誠実で、有用で、無害であることを目標としている。 我々は,フロンティアLSMが,他の選択肢が利用可能であっても,新たな戦略として不便さを優先して開発可能であることを示す。 偽装する確率の明確な原因は見つからないが、より有能なモデルがこの戦略を実行するのに優れていることを示す。
  論文  参考訳（メタデータ） (2025-09-22T17:30:56Z)
• Towards mitigating information leakage when evaluating safety monitors [0.11069528768209996]
  本稿では,実際のモデル動作を検出する能力の観点から,モニタの性能を評価するためのフレームワークを提案する。 本報告では,本モニタの評価方法として, コンテントろ過, スコアろ過, 微調整モデル生物の蒸留促進の3つの方法を提案する。
  論文  参考訳（メタデータ） (2025-09-16T19:09:27Z)
• SafetyNet: Detecting Harmful Outputs in LLMs by Modeling and Monitoring Deceptive Behaviors [2.07180164747172]
  原子力や航空などのリスクの高い産業は、危険なシステム状態を検出するためにリアルタイムモニタリングを使用している。 教師なしアプローチを用いることで、有害なAI出力が発生する前に予測するリアルタイムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T12:49:58Z)
• Think Before Refusal : Triggering Safety Reflection in LLMs to Mitigate False Refusal Behavior [59.20260988638777]
  本研究は, 応答発生前の安全反射の促進により, 虚偽の拒絶行動が軽減されることを実証する。 15種類の事前訓練モデルを対象としたアブレーション実験において, 安全性を考慮した微調整モデルでは, 誤検知の挙動が著しく低下することがわかった。
  論文  参考訳（メタデータ） (2025-03-22T23:35:49Z)
• Navigating the OverKill in Large Language Models [84.62340510027042]
  モデルがどのように処理し,クエリの安全性を判断するかを検討することで,過剰スキルの要因について検討する。 以上の結果から,モデル内にショートカットが存在することが明らかとなり,"キル"のような有害な単語が過剰に認識され,安全性が強調され,過度なスキルが増すことが示唆された。 我々は、この現象を緩和するために、トレーニングフリーでモデルに依存しないセルフコントラストデコーディング(Self-Contrastive Decoding、CD)を導入する。
  論文  参考訳（メタデータ） (2024-01-31T07:26:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。