論文の概要: Did the LLM Answer the Question? A Semantic Reconstruction Game for Jailbreak Evaluation

• arxiv url: http://arxiv.org/abs/2610.19306v1
• Date: Tue, 13 Oct 2026 23:32:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.853733
• Title: Did the LLM Answer the Question? A Semantic Reconstruction Game for Jailbreak Evaluation
• Title（参考訳）: LLMは質問に答えたのか? ジェイルブレイク評価のためのセマンティックリコンストラクションゲーム
• Abstract要約: 大規模言語モデル(LLM)に対するジェイルブレイク攻撃は、攻撃成功率(ASR)を用いて評価される。 審査員 LLM のみの変更で ASR を最大 8 ドルまで変更できることを示す。 本研究では,コンプライアンス判断を制約付きセマンティック比較に分解する学習自由評価ゲームであるセマンティックリコンストラクションゲームを紹介する。
• 参考スコア（独自算出の注目度）: 8.088336043194806
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Jailbreak attacks against large language models (LLMs) are evaluated using attack success rate (ASR), which depends on correctly identifying responses that fulfill prohibited requests. Existing evaluators can mistake refusals or topically related responses for successful attacks. We show that changing only the judge LLM can alter reported ASR by up to $82$ percentage points. We introduce the semantic reconstruction game, a training-free evaluator that decomposes compliance judgments into constrained semantic comparisons. Given only a response, an LLM reconstructs the request answered by its substantive content, excluding information merely repeated or refused. The game compares this reconstruction against similar decoy requests to determine whether it matches the original request, allowing abstention when neither candidate matches. Across three off-the-shelf LLM judges, the game achieves the lowest mean error against human labels among evaluated methods and reduces variation in reported ASR. It prioritizes avoiding false positives, even at the cost of missing some successful jailbreaks.
• Abstract（参考訳）: 大規模言語モデル(LLM)に対するジェイルブレイク攻撃は、禁止された要求を満たす応答を正しく識別するアタック成功率(ASR)を用いて評価される。 既存の評価者は、攻撃を成功させるために、拒否やトポロジカルな対応を間違えることがある。 審査員 LLM のみの変更で ASR を最大 8 ドルまで変更できることを示す。 本研究では,コンプライアンス判断を制約付きセマンティック比較に分解する学習自由評価ゲームであるセマンティックリコンストラクションゲームを紹介する。 応答のみを前提として、LCMは、単に繰り返しあるいは拒否された情報を除いて、その実体的内容によって応答された要求を再構築する。 ゲームは、この再構成を類似のデコイ要求と比較し、元の要求と一致するかどうかを判断し、どちらの候補も一致しない場合の棄権を可能にする。 市販のLLM審査員3名に対して,評価手法のうち,人間ラベルに対する平均誤差が最低であり,報告されたASRの変動を減少させる。 たとえジェイルブレイクがうまくいかなかったとしても、偽陽性を避けることを優先している。

関連論文リスト

• LivingArena: Do LLMs Know What Other LLMs Don't? Peer-Probing as Scalable Evaluation [79.03892269184145]
  LivingArenaは自動汚染耐性評価フレームワークである。 モデルは質問を交互に提案し、相手が正しく答えられないアイテムを提示する。 質問者は、相手の知識境界を積極的に特定し、活用することが奨励される。
  論文  参考訳（メタデータ） (2026-06-19T06:20:58Z)
• D-Judge: Disrupting Multi-Turn Jailbreaks using Semantics-Preserving Output Rewriting [18.812968910221823]
  マルチターンジェイルブレイク攻撃は、有害な目標に向けて反復的にプロンプトを洗練するために補助裁判官モデルからのフィードバックを利用する。 本稿では,D-Judgeについて紹介する。 D-Judgeは、良質なベンチマークの性能を維持しつつ、最先端のマルチターンジェイルブレイクの成功率を低下させることを示す。
  論文  参考訳（メタデータ） (2026-05-31T06:40:02Z)
• Injecting Falsehoods: Adversarial Man-in-the-Middle Attacks Undermining Factual Recall in LLMs [20.83956587986665]
  本稿では,Xmeraを介するインジェクション下でのファクトメモリに対する第一原理的攻撃評価を提案する。 自明な命令に基づく攻撃は、最高成功率(最大85.3%)を報告し、同時に不正に答えた質問に対して高い不確実性を持つ。 我々は、攻撃されたクエリと攻撃されていないクエリを区別するために、応答不確実性レベルに基づいてランダムフォレスト分類器を訓練する。
  論文  参考訳（メタデータ） (2025-11-08T08:30:19Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。 報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。 既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• REINFORCE Adversarial Attacks on Large Language Models: An Adaptive, Distributional, and Semantic Objective [57.57786477441956]
  応答の個体群に対する適応的・意味的最適化問題を提案する。 我々の目標は、Llama3の攻撃成功率(ASR)を2倍にし、サーキットブレーカー防御でASRを2%から50%に向上させることである。
  論文  参考訳（メタデータ） (2025-02-24T15:34:48Z)
• Don't Say No: Jailbreaking LLM by Suppressing Refusal [15.350198454170895]
  DSN(Don't Say No)攻撃を導入し、コサイン崩壊スケジュール法と拒絶抑制を組み合わせ、より高い成功率を達成する。 大規模な実験により、DSNはベースライン攻撃より優れ、最先端の攻撃成功率(ASR)を達成することが示された。
  論文  参考訳（メタデータ） (2024-04-25T07:15:23Z)
• SmoothLLM: Defending Large Language Models Against Jailbreaking Attacks [99.23352758320945]
  SmoothLLMは,大規模言語モデル(LLM)に対するジェイルブレーキング攻撃を軽減するために設計された,最初のアルゴリズムである。 敵が生成したプロンプトが文字レベルの変化に対して脆弱であることから、我々の防衛はまず、与えられた入力プロンプトの複数のコピーをランダムに摂動し、対応する予測を集約し、敵の入力を検出する。
  論文  参考訳（メタデータ） (2023-10-05T17:01:53Z)
• Jailbreaker in Jail: Moving Target Defense for Large Language Models [4.426665953648274]
  大規模言語モデル(LLM)は敵攻撃に対して脆弱である。 LLMは非倫理的な答えを提示することで「無害」に失敗するか、意味のある答えを拒むことで「有害」に失敗する。 有効性と無害性を両立させるため,移動目標防御(MTD)強化LLMシステムを設計した。
  論文  参考訳（メタデータ） (2023-10-03T20:32:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。