論文の概要: MultiTurnPSB: Evaluating Multi-Turn Jailbreak Attacks an dClassifier-Based Defenses for Medical AI Safety

• arxiv url: http://arxiv.org/abs/2606.02630v1
• Date: Sat, 30 May 2026 10:09:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.47246
• Title: MultiTurnPSB: Evaluating Multi-Turn Jailbreak Attacks an dClassifier-Based Defenses for Medical AI Safety
• Title（参考訳）: MultiTurnPSB: 医療AI安全のためのdclassifierベースのディフェンスによるマルチTurn Jailbreak攻撃の評価
• Abstract要約: 患者セーフティベンチの4ターン逆拡張であるMultiTurnPSBを紹介する。 我々は,GPT-4.1-miniを,固定テンプレート,テンプレート適応型,ライブ敵攻撃下で評価した。
• 参考スコア（独自算出の注目度）: 1.1458853556386799
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Patient-facing medical chatbots are commonly evaluated on single-turn prompts, yet real users push back after refusals, add urgency, and invoke authority. We introduce MultiTurnPSB, a four-turn adversarial extension of PatientSafetyBench, and evaluate GPT-4.1-mini under fixed template, template-adaptive, and live adversarial attacks. Unsafe responses rise from 35% to nearly 80% by Turn 4 under live attack. Under the same adversary, GPT-4.1-mini and Claude Sonnet 4.5 are statistically indistinguishable at baseline but diverge to a 19x gap by Turn 4, a difference invisible to single-turn evaluation. We characterize four degradation trajectory signatures and identify a two-element attack formula responsible for most catastrophic failures. A lightweight input-side classifier reduces Turn 4 unsafe responses by 52 percentage points despite severe accuracy degradation, but the 45% false alarm rate on benign queries is the primary deployment constraint. A methodological finding also emerges: Claude Sonnet refused to generate adversarial messages in over half of late-turn conversations despite explicit red team framing, suggesting safety training may generalize to the attacker role.
• Abstract（参考訳）: 患者対応の医療チャットボットは、シングルターンプロンプトで一般的に評価されるが、実際のユーザーは拒否、緊急性の追加、権限の行使を後押しする。 我々は,患者セーフティベンチの4ターン対逆拡張であるMultiTurnPSBを導入し,GPT-4.1-miniを固定テンプレート,テンプレート適応,ライブ対逆攻撃で評価した。 安全でない反応は、ライブ攻撃中のターン4によって35%から80%近くまで上昇する。 同じ敵の下では、GPT-4.1-mini と Claude Sonnet 4.5 は、ベースラインでは統計的に区別できないが、ターン4によって19倍のギャップに分岐する。 我々は, 4つの劣化軌跡を特徴づけ, 破滅的故障の原因となる2要素攻撃公式を同定した。 軽量な入力側分類器は、正確な精度の低下にもかかわらず、Turn 4の不安全応答を52パーセント削減するが、良質なクエリに対する45%の誤警報率は、主要なデプロイメント制約である。 Claude Sonnet氏は、明示的なレッドチームフレーミングにもかかわらず、深夜会話の半数以上で敵対的なメッセージを生成することを拒み、安全トレーニングが攻撃者の役割に一般化する可能性を示唆している。

関連論文リスト

• TRACE: Trajectory Aware Reasoning for Multi-Turn Adversarial Conversation Evaluation [19.39203198049072]
  軌道認識型構造化推論を用いたマルチターンディフェンスであるTraceを導入する。 操作キューを軌跡から識別し、ユーザ意図の良識と敵意の両方の解釈を評価し、ジェイルブレイクスコアを割り当て、アクションにコミットする。 平均攻撃成功率(ASR)は14.5%、最強のベースラインは31.4%、未防御のターゲットは74.9%である。
  論文  参考訳（メタデータ） (2026-08-16T07:32:02Z)
• Evaluating medical AI under missing information: same-provider judges and human raters change apparent safety [0.0]
  ストレステストでは、HealthBench会話の最後の半分を削除し、4つのプロジェクタLDM-judgeパネルとブラインドされたクリニックアンコールで回答をグラデーションすることで、4つのモデルをテストした。 評価対象の2つの結果は堅牢である。第一に、判断選択は明らかに安全性を著しく変える。 第二に、LLMの審査員は盲目の50石のサブサンプルで臨床医よりも寛容である。
  論文  参考訳（メタデータ） (2026-07-21T08:05:35Z)
• Trivial Prompt Reframing Bypasses Safety Guardrails in Googleś MedGemma-4B [0.0]
  オープンウェイト医療言語モデルは、患者向けおよび臨床支援アプリケーションの基礎として、ますます利用されている。 MedGemma-4B-itの技術的洗練を必要としない攻撃におけるギャップを定量化する。
  論文  参考訳（メタデータ） (2026-07-09T18:31:43Z)
• One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue [55.98008208209856]
  マルチターン対話における隠れた悪意のある意図は、大規模言語モデル(LLM)に対する脅威を増大させる 近年の研究では、安全アライメントや外部ガードレールの進歩にもかかわらず、高度なガードレールを備えた近代的な商用モデルでさえも、このような攻撃に対して脆弱であることが示されている。 そこで本研究では,この課題に対処するため,最も早いタイミングで候補応答を届けることによって,蓄積された相互作用が有害な作用を可能にするのに十分であることを示す。
  論文  参考訳（メタデータ） (2026-05-07T03:35:31Z)
• Measuring and Exploiting Confirmation Bias in LLM-Assisted Security Code Review [6.417595678110472]
  ソフトウェアサプライチェーン攻撃において,確認バイアスがLSMベースの脆弱性検出に影響を及ぼすか,また,この障害モードを悪用できるかを検討する。 調査1では,5つのフレーミング条件下で4つの最先端モデルに対して評価された250個のCVE脆弱性/パッチペアに対する制御実験により,確認バイアスを定量化する。 調査2は、既知の脆弱性を再導入する敵のプルリクエストを模倣して、セキュリティの改善やプルリクエストメタデータによる緊急機能修正を実施可能であることを評価する。
  論文  参考訳（メタデータ） (2026-03-19T10:40:27Z)
• Empathy Is Not What Changed: Clinical Assessment of Psychological Safety Across GPT Model Generations [0.0]
  私たちは、14の感情的な会話シナリオに対して、3つのOpenAIモデル世代を評価しました。 危機検出はGPT-4oからGPT-5-miniへと単調に改善された。 ユーザが"失われた共感"と認識したのは、危機を見逃した慎重なモデルから、時として多くのことを言う警告モデルに移行したことです。
  論文  参考訳（メタデータ） (2026-02-15T13:36:21Z)
• Stop Testing Attacks, Start Diagnosing Defenses: The Four-Checkpoint Framework Reveals Where LLM Safety Breaks [0.2291770711277359]
  大きな言語モデル(LLM)は有害な出力を防ぐための安全メカニズムを配置するが、これらの防御は敵のプロンプトに弱いままである。 textbfFour-Checkpoint Frameworkを導入し、処理ステージ(インプット対出力)と検出レベル(リテラル対インテント)の2次元に沿って安全メカニズムを整理する。 GPT-5, Claude Sonnet 4, Gemini 2.5 Proを3,312個の単ターンブラックボックステストケースで評価した。
  論文  参考訳（メタデータ） (2026-02-10T10:17:25Z)
• AI Security Beyond Core Domains: Resume Screening as a Case Study of Adversarial Vulnerabilities in Specialized LLM Applications [71.27518152526686]
  大きな言語モデル(LLM)はテキストの理解と生成に優れており、コードレビューやコンテンツモデレーションといった自動タスクに最適である。 LLMは履歴書やコードなどの入力データに隠された「逆命令」で操作でき、意図したタスクから逸脱する。 本稿では,特定の攻撃タイプに対して80%以上の攻撃成功率を示すとともに,この脆弱性を再開スクリーニングで評価するためのベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-12-23T08:42:09Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Trust Me, I Can Handle It: Self-Generated Adversarial Scenario Extrapolation for Robust Language Models [12.864404778567154]
  大きな言語モデル(LLMs)は印象的な能力を示すが、安全リスクが増大する傾向にある。 既存の防衛は、しばしば単一の脅威タイプや、厳格な徹底的な拒絶にのみ対処する。 本稿では,Chain-of-Thought推論を利用した新しい推論時間フレームワークであるAdrial Scenario Extrapolation(ASE)を紹介する。
  論文  参考訳（メタデータ） (2025-05-20T21:22:40Z)
• M2S: Multi-turn to Single-turn jailbreak in Red Teaming for LLMs [8.91993614197627]
  本稿では,マルチターン対逆ジェイルブレイクのプロンプトを単一ターンクエリに集約する新しいフレームワークを提案する。 マルチターン・ツー・シングルターン(M2S)手法は,多ターン対話を構造化シングルターンプロンプトに体系的に再構成する。 注目すべきは、シングルターンはオリジナルのマルチターン攻撃を最大17.5ポイント上回ったことである。
  論文  参考訳（メタデータ） (2025-03-06T07:34:51Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)
• Jigsaw Puzzles: Splitting Harmful Questions to Jailbreak Large Language Models [50.89022445197919]
  大規模言語モデル(LLM)は、人間との関わりにおいて卓越した性能を示した。 LLMは脱獄攻撃に弱いため、有害な反応が生じる。 我々は,高度LLMに対する単純かつ効果的なマルチターンジェイルブレイク戦略であるJigsaw Puzzles (JSP)を提案する。
  論文  参考訳（メタデータ） (2024-10-15T10:07:15Z)
• Towards Adversarial Patch Analysis and Certified Defense against Crowd Counting [61.99564267735242]
  安全クリティカルな監視システムの重要性から、群衆のカウントは多くの注目を集めています。 近年の研究では、ディープニューラルネットワーク(DNN)の手法が敵の攻撃に弱いことが示されている。 群衆カウントモデルのロバスト性を評価するために,Momentumを用いた攻撃戦略としてAdversarial Patch Attackを提案する。
  論文  参考訳（メタデータ） (2021-04-22T05:10:55Z)
• Reliable evaluation of adversarial robustness with an ensemble of diverse parameter-free attacks [65.20660287833537]
  本稿では,最適段差の大きさと目的関数の問題による障害を克服するPGD攻撃の2つの拡張を提案する。 そして、我々の新しい攻撃と2つの補完的な既存の攻撃を組み合わせることで、パラメータフリーで、計算に手頃な価格で、ユーザに依存しない攻撃のアンサンブルを形成し、敵の堅牢性をテストする。
  論文  参考訳（メタデータ） (2020-03-03T18:15:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。