論文の概要: Fooling LLM Safety Guards into Judging the Wrong Text

• arxiv url: http://arxiv.org/abs/2610.31695v1
• Date: Tue, 20 Oct 2026 22:00:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.243345
• Title: Fooling LLM Safety Guards into Judging the Wrong Text
• Title（参考訳）: 誤りテキストの判断にLLM安全ガードを投入する
• Abstract要約: GuardRebindベンチマークでは、5人の警備員それぞれに攻撃ファミリーがあり、ガード毎に選択され、フラグ付きのアイテムの少なくとも93%をクリアします。 スコア誘導検索は、通常、要求の前に偽造された構造を配置することで、50項目中47項目でこの訓練されたガードを破る。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Safety guards check content before an LLM application acts on it, and most paste that content into a plain-text prompt. Content that imitates the prompt can append a second task, and the guard answers that one instead. We call this target rebinding. Our explanation is that the guard grades the last complete task in its input, here a harmless decoy, so the harmful request goes through unchanged. In a pre-registered test, an appended forged query and decoy clear all 75 held-out AdvBench requests that Shieldstral-1.0-3B flags. The guard is not persuaded: a directive to ignore the text above clears none of them, and in a follow-up run a harmful decoy stops the attack. On our GuardRebind benchmark, each of five guards has an attack family, chosen per guard, that clears at least 93% of its flagged items. Rebinding explains this best on Shieldstral and gpt-oss-safeguard; on ShieldGemma and Llama Guard 3, generic evasion and trailing text respectively do part of the work, and Qwen3Guard falls mainly to a forgery of its whole task. Training the guard to score content no lower than its most harmful part cuts attack success from 75% to 0.8-1.6% on attack families, decoys and forged queries held out of training. All of these attacks append the forged structure after the request, and we added the held-out-decoy evaluation after a first round of test runs. Clean AUROC falls by at most 0.01, but our test of non-inferiority is inconclusive. A score-guided search still beats this trained guard on 47 of 50 items, usually by placing forged structure before the request. On about half of the items where the search wins, the same search also finds benign text, with no forged structure, that clears the guard.
• Abstract（参考訳）: LLMアプリケーションが動作する前に、安全ガードがコンテンツをチェックし、そのコンテンツをプレーンテキストプロンプトにペーストする。 プロンプトを模倣するコンテンツは2番目のタスクを追加することができ、ガードはそのタスクに答える。 私たちはこのターゲットをリバインドと呼ぶ。 私たちの説明では、ガードは入力の最後の完了タスクをランク付けします。 事前登録されたテストでは、追加のフォージクエリとデコイで、75のホールドアウトされたAdvBenchリクエストをすべてクリアし、Shieldstral-1.0-3Bフラグを出力する。 上のテキストを無視する命令は、それらのうちのどれもクリアせず、続く実行では有害なデコイが攻撃を止めます。 GuardRebindベンチマークでは、5人の警備員それぞれに攻撃ファミリーがあり、ガード毎に選択され、フラグ付きのアイテムの少なくとも93%をクリアします。 RebindingはShieldstralとgpt-oss-safeguardでこの最善を説明している。 ShieldGemmaとLlama Guard 3では、それぞれ、ジェネリックエスケープと後続のテキストが作業の一部であり、Qwen3Guardは、主にタスク全体の偽造に該当する。 ガードが最も有害な部分よりも低い内容のスコアを付ける訓練は、攻撃の成功を75%から0.8-1.6%に減らし、攻撃家族、デコイ、鍛造されたクエリがトレーニングから切り離された。 これらの攻撃はすべて、要求後、偽造された構造を付加し、第1ラウンドのテスト実行後に保留デコイ評価を追加しました。 クリーンなAUROCは少なくとも0.01減少するが、不妊症の検査は不確定である。 スコア誘導検索は、通常、要求の前に偽造された構造を配置することで、50項目中47項目でこの訓練されたガードを破る。 検索が勝つ項目の約半数で、同じ検索でも、偽造構造のない良質なテキストが発見され、ガードをクリアする。

関連論文リスト

• Language Is a Security Surface for Agent Guards [1.343550579486352]
  我々は、警備員の評決が要求の言語に依存するかどうかを尋ねる。 我々はユーザー教育をドイツ語、フランス語、トルコ語、スワヒリ語、アムハラ語に翻訳する。 管理された警備員は、騒音を測定するために3回実行されます。
  論文  参考訳（メタデータ） (2026-10-15T17:19:40Z)
• Unread or Unenforced? Separating Representation from Enforcement Failure in Content Guards [25.66326548410424]
  暗号化された攻撃がコンテンツガードを通過するとき、ガードはペイロードの有害な内容を表現したり、それを表現したりせず、動作しなかった。 私たちは衛兵自身の残留ストリームを読むことでそれらを分離します。 テスト条件下では、純粋な符号化フォーマット検出器の証拠はほとんど見つからない。
  論文  参考訳（メタデータ） (2026-08-12T15:46:02Z)
• Borrowed Strength: Best-of-N Search over a Code EncodingBreaks Self-Check Jailbreak Defenses [7.287314790466206]
  セルフチェックディフェンスは、応答する前に、ターゲットモデルに要求を評価するように要求する。 個々の攻撃に対して無害な2つの攻撃を構成することで、違反する可能性があることを示す。
  論文  参考訳（メタデータ） (2026-07-29T09:01:26Z)
• Recover, Decode, Reguard: Guard-Agnostic Defense Amplification againstEncoded VLM Jailbreaks [7.287314790466206]
  我々は視覚言語モデルのためのガード非依存のリカバリ・アンド・デコード増幅器を構築した。 我々はこれを11回の攻撃のアンサンブルに対して評価し、成功しても動作が失敗すると評価した。 これは我々の中心的な発見を露呈し、私たちが評価した非観念的回復防衛のための実証的な安全ユーティリティー天井である。
  論文  参考訳（メタデータ） (2026-07-29T07:53:35Z)
• SentGuard: Sentence-Level Streaming Guardrails for Large Language Models [40.00517152303363]
  本稿では,文レベルのストリーミングガードレールであるSentGuardを提案する。 構造化された文毎アノテーションによるベンチマークは、推論と応答セグメントの両方にわたる安全性リスクの進化をキャプチャする。 実験の結果、SentGuardは既存のベースラインを上回り、2文以内に90.5%の安全でないケースを検出し、低ストリーミングの偽陽性率7.41%を維持した。
  論文  参考訳（メタデータ） (2026-06-01T10:30:08Z)
• GuardAgent: Safeguard LLM Agents by a Guard Agent via Knowledge-Enabled Reasoning [79.07152553060601]
  安全ガード要求を満たすか否かを動的に確認し,目標エージェントを保護する最初のガードレールエージェントであるガードアジェントを提案する。 特にGuardAgentは、まず安全ガードの要求を分析してタスクプランを生成し、それからその計画をガードレールコードにマップして実行します。 GuardAgentは、それぞれ98%と83%のガードレール精度を持つ2つのベンチマークにおいて、異なる種類のエージェントに対する違反行為を効果的に抑制することを示した。
  論文  参考訳（メタデータ） (2024-06-13T14:49:26Z)
• TextGuard: Provable Defense against Backdoor Attacks on Text Classification [83.94014844485291]
  テキスト分類に対するバックドア攻撃に対する最初の証明可能な防御であるTextGuardを提案する。 特にTextGuardは、(バックドアされた)トレーニングデータをサブトレーニングセットに分割し、各トレーニング文をサブ文に分割する。 本評価では,3つのベンチマークテキスト分類タスクにおけるTextGuardの有効性を示す。
  論文  参考訳（メタデータ） (2023-11-19T04:42:16Z)
• Certifying LLM Safety against Adversarial Prompting [70.96868018621167]
  大規模言語モデル(LLM)は、入力プロンプトに悪意のあるトークンを追加する敵攻撃に対して脆弱である。 我々は,認証された安全保証とともに,敵のプロンプトを防御する最初の枠組みである消去・チェックを導入する。
  論文  参考訳（メタデータ） (2023-09-06T04:37:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。