論文の概要: Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures

• arxiv url: http://arxiv.org/abs/2609.27773v1
• Date: Mon, 17 Aug 2026 00:37:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.964691
• Title: Beyond Unsafe Detection: Counterfactually Anchored Evidence Attribution for Multi-Turn LLM Safety Failures
• Title（参考訳）: 安全でない検出を超えて:マルチTurn LLMの安全性障害に対する非現実的証拠属性
• Abstract要約: 行動検証とエビデンス監視を備えたマルチターンデータセットを構築した。 データセットには、敵対的な会話、良性双生児、高リスク語彙の良性変異を含む1,762の会話が含まれている。 我々は、安全違反を予測する軽量な階層属性モデルをトレーニングし、それらがユーザのターンとトークンスパンに寄与しているとみなす。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: As Large Language Models (LLMs) move from conversational assistants to advanced agentic systems, guardrail failures can convert adversarial intents into harmful executions. However, most guardrail evaluation frameworks focus only on the result and assess whether a user request is safe or unsafe. This approach is insufficient for multi-turn failures, where adversarial intent is distributed across multiple turns. This motivates us to go beyond detection to identify the turns and tokens that push the conversation toward unsafe trajectories. To support this, we construct a multi-turn dataset with behavioral validation and tiered evidence supervision. The dataset contains 1,762 conversations, including adversarial conversations, benign twins, and benign variants with high-risk vocabulary. We train a lightweight hierarchical attribution model that predicts safety violations and attributes them to contributing user turns and token spans. The model achieves strong detection performance (F1=0.988), and removing the top 15% of attributed tokens reduces the adversarial classification confidence by 51.1%. The model preserves low false positive rates on benign conversations with high-risk vocabulary, with false positives below 1% on both borderline benign and benign high-risk vocabulary conversations, compared to 37.3% and 94.7% for a keyword-based surface-risk baseline. Independent human annotation supports the model's attribution performance, with the top-five attributed turns containing a human-identified evidence-bearing turn in 84.5% of adversarial cases.
• Abstract（参考訳）: 大規模言語モデル(LLM)が会話アシスタントから高度なエージェントシステムに移行するにつれ、ガードレールの障害は敵の意図を有害な実行に変換する。 しかしながら、ほとんどのガードレール評価フレームワークは結果のみに注目し、ユーザの要求が安全かどうかを評価する。 このアプローチは、複数のターンにまたがって敵の意図が分散されるマルチターン障害に対して不十分である。 これにより、検出を越えて会話を安全でない軌道に向かわせるターンとトークンを特定することができます。 これを支援するために,行動検証と相関した証拠監視を備えたマルチターンデータセットを構築した。 データセットには、敵対的な会話、良性双生児、高リスク語彙の良性変異を含む1,762の会話が含まれている。 我々は、安全違反を予測する軽量な階層属性モデルをトレーニングし、それらがユーザのターンとトークンスパンに寄与しているとみなす。 このモデルは、強い検出性能(F1=0.988)を達成し、属性トークンの上位15%を除去することで、敵の分類信頼性を51.1%削減する。 このモデルは、キーワードベースの表面リスクベースラインでは37.3%、94.7%に対して、境界線の良性および良性の高い高リスクの双方の良性会話では1%未満の偽陽性で、良性会話と高リスクの良性会話では低い偽陽性率を保っている。 独立な人間のアノテーションはモデルの属性のパフォーマンスをサポートし、トップ5の属性は、敵対的なケースの84.5%で人間を識別した証拠を含むターンを含む。

関連論文リスト

• TRACE: Trajectory Aware Reasoning for Multi-Turn Adversarial Conversation Evaluation [19.39203198049072]
  軌道認識型構造化推論を用いたマルチターンディフェンスであるTraceを導入する。 操作キューを軌跡から識別し、ユーザ意図の良識と敵意の両方の解釈を評価し、ジェイルブレイクスコアを割り当て、アクションにコミットする。 平均攻撃成功率(ASR)は14.5%、最強のベースラインは31.4%、未防御のターゲットは74.9%である。
  論文  参考訳（メタデータ） (2026-08-16T07:32:02Z)
• Auditable Release Control for Pedagogical Leakage in LLM Tutors [0.0]
  大規模な言語モデルチューターは、その開示が承認される前に答えや決定的な推論を明らかにするのに役立ちます。 我々は、この状態および行動依存的障害を、教育的漏洩認識認可として定式化し、完全修復境界を導入する。 グローバルA1は0の多数と54のユーティリティフラグを獲得し、自動安全と実用性において適合Qを上回っている。
  論文  参考訳（メタデータ） (2026-08-01T08:24:30Z)
• SingGuard-NSFA: Extensible Guardrails for Agentic AI via Generative Reasoning and Real-Time Classification [0.0]
  nsfaguardは、エージェントAIシステムを運用上の脅威から保護するためのガードレールフレームワークである。 まず,185種のリスク変異をCIA-Triad-grounded 階層に分類するNSFA分類について紹介する。 凍結したバックボーン上の識別的分類ヘッドと解釈可能なオフライン監査のためのSFTに基づく生成推論を組み合わせたデュアルモードアプローチを開発した。
  論文  参考訳（メタデータ） (2026-07-13T07:28:45Z)
• The Capability Paradox: How Smarter Auditors Make Multi-Agent Systems Less Secure [11.822284421559814]
  これは、有害な要求がドメイン固有の物語の中に隠され、Workerレポートを通じてマネージャに伝達される攻撃である。 労働者の能力が増加するにつれて、平均的なシステムレベルの攻撃成功率(ASR)は18.4%から63.9%に増加し、94.4%がピークである。 非対称なドメイン能力とWorkersのペアを組み合わさった異種アンサンブル検証を提案する。
  論文  参考訳（メタデータ） (2026-05-17T14:42:44Z)
• Can Adversarial Code Comments Fool AI Security Reviewers -- Large-Scale Empirical Study of Comment-Based Attacks and Defenses Against LLM Code Analysis [0.0]
  敵対的なコメントは、検出精度に小さな、統計的に重要でない効果をもたらす。 複雑な敵戦略は単純な操作的コメントに勝るものではない。 コメントストリッピングは、有用なコンテキストを削除することで、より弱いモデルの検出を減らす。
  論文  参考訳（メタデータ） (2026-02-18T00:34:17Z)
• Revisiting Backdoor Attacks on LLMs: A Stealthy and Practical Poisoning Framework via Harmless Inputs [54.90315421117162]
  完全無害データを用いた新しい毒殺法を提案する。 自己回帰型LPMの因果推論に着想を得て,トリガーと肯定的応答プレフィックスの堅牢な関連性を確立することを目指す。 LLMは最初は同意するように見えるが,その後回答を拒む興味深い抵抗現象を観察する。
  論文  参考訳（メタデータ） (2025-05-23T08:13:59Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。