論文の概要: When Safety Fails Before the Answer: Benchmarking Harmful Behavior Detection in Reasoning Chains

• arxiv url: http://arxiv.org/abs/2604.19001v1
• Date: Tue, 21 Apr 2026 02:43:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-22 22:41:49.580062
• Title: When Safety Fails Before the Answer: Benchmarking Harmful Behavior Detection in Reasoning Chains
• Title（参考訳）: 回答に先立って安全性が損なわれた場合:推論チェインにおける有害な行動検出のベンチマーク
• Authors: Ishita Kakkar, Enze Zhang, Rheeya Uppaal, Junjie Hu,
• Abstract要約: HarmThoughtsは推論トレースの段階的安全性評価のためのベンチマークである。 データセットは4つのモデルファミリーによって生成される1,018の 推論トレースから56,931文で構成されています。
• 参考スコア（独自算出の注目度）: 8.210900454317422
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large reasoning models (LRMs) produce complex, multi-step reasoning traces, yet safety evaluation remains focused on final outputs, overlooking how harm emerges during reasoning. When jailbroken, harm does not appear instantaneously but unfolds through distinct behavioral steps such as suppressing refusal, rationalizing compliance, decomposing harmful tasks, and concealing risk. However, no existing benchmark captures this process at sentence-level granularity within reasoning traces -- a key step toward reliable safety monitoring, interventions, and systematic failure diagnosis. To address this gap, we introduce HarmThoughts, a benchmark for step-wise safety evaluation of reasoning traces. \ourdataset is built on our proposed harm taxonomy of 16 harmful reasoning behaviors across four functional groups that characterize how harm propagates rather than what harm is produced. The dataset consists of 56,931 sentences from 1,018 reasoning traces generated by four model families, each annotated with fine-grained sentence-level behavioral labels. Using HarmThoughts, we analyze harm propagation patterns across reasoning traces, identifying common behavioral trajectories and drift points where reasoning transitions from safe to unsafe. Finally, we systematically compare white-box and black-box detectors on the task of identifying harmful reasoning behaviours on HarmThoughts. Our results show that existing detectors struggle with fine-grained behavior detection in reasoning traces, particularly for nuanced categories within harm emergence and execution, highlighting a critical gap in process-level safety monitoring. HarmThoughts is available publicly at: https://huggingface.co/datasets/ishitakakkar-10/HarmThoughts
• Abstract（参考訳）: 大規模推論モデル(LRM)は複雑で多段階の推論トレースを生成するが、安全評価は最終的な出力に焦点を合わせ、推論中に危害が生じるかを見極めている。 ジェイルブレイクの場合、害は瞬時に現れるのではなく、拒絶の抑制、コンプライアンスの合理化、有害なタスクの分解、リスクの隠蔽といった行動的なステップを通じて展開される。 しかしながら、既存のベンチマークでは、このプロセスを推論トレース内の文レベルの粒度でキャプチャすることはできません -- 信頼性の高い安全監視、介入、系統的な障害診断への重要なステップです。 このギャップに対処するために、推論トレースの段階的安全性評価のためのベンチマークであるHarmThoughtsを紹介します。 \ourdatasetは4つの機能群にまたがる16の有害な推論行動の害分類に基づいて構築されている。 このデータセットは、4つのモデルファミリーが生成した1,018の推論トレースから56,931の文で構成され、それぞれに微粒な文レベルの行動ラベルが付加されている。 HarmThoughtsを用いて、推論トレース間の有害な伝播パターンを分析し、推論が安全なものから安全でないものへと遷移する一般的な行動軌跡とドリフトポイントを同定する。 最後に,HarmThoughtsにおける有害な推論行動を特定するタスクにおいて,ホワイトボックスとブラックボックスを体系的に比較した。 以上の結果から,既存の検知器は,特に害発生・実行の微妙なカテゴリーにおいて,微粒な挙動検出に苦慮し,プロセスレベルの安全監視における重要なギャップを浮き彫りにしていることがわかった。 HarmThoughtsは、https://huggingface.co/datasets/ishitakakkar-10/HarmThoughts.comで公開されている。

関連論文リスト

• Beyond Content Safety: Real-Time Monitoring for Reasoning Vulnerabilities in Large Language Models [14.927545906619295]
  大規模言語モデルは、複雑なタスクを解決するために明示的なチェーン・オブ・シンク(CoT)推論にますます依存している。 LLMの安全性に関する既存の研究は、コンテンツ安全性に焦点を当てている。 我々は、推論の安全性をセキュリティの側面として認識する:モデルの推論の軌道が論理的に一貫したものであるという要求。
  論文  参考訳（メタデータ） (2026-03-26T13:08:56Z)
• The 'Sure' Trap: Multi-Scale Poisoning Analysis of Stealthy Compliance-Only Backdoors in Fine-Tuned Large Language Models [10.377264470934843]
  大きな言語モデルに対するバックドア攻撃は、通常、暗黙の悪意のある出力に秘密のトリガーを伴います。 我々はコンプライアンスのみのバックドアを導入し、ほぼ良質なデータセットで教師付き微調整を行い、プロンプトの小さなサブセットを任意の単一ワードトリガでサフィックスする。 本研究は, 毒性予算, 総微調整データセットサイズ, モデルサイズにまたがる, この良性ラベル中毒行動のマルチスケール解析を行った。
  論文  参考訳（メタデータ） (2025-11-16T02:01:58Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Annotating the Chain-of-Thought: A Behavior-Labeled Dataset for AI Safety [0.0]
  本稿では,安全行動のアクティベーションに基づくモニタリングを可能にする文レベルのラベル付きデータセットを提案する。 本データセットは,安全性に関する懸念やユーザ意図に対する憶測などの安全行動の文レベルのアノテーションを用いた推論シーケンスを含む。 モデルアクティベーションにおける安全行動の検出とステアリングを行う表現を抽出することで,データセットの有用性を実証する。
  論文  参考訳（メタデータ） (2025-10-20T23:12:12Z)
• Read the Scene, Not the Script: Outcome-Aware Safety for LLMs [22.814397376238755]
  現在のモデルでは、アクションと結果の結びつきが弱いのです。 この障害モードをコンシークエンス・ブラインドネス(Consequence-blindness)と定義する。 CS-Chain-4kで微調整されたモデルでは、セマンティックカモフラージュジェイルブレイクに対する明らかな利得を示す。
  論文  参考訳（メタデータ） (2025-10-05T18:46:49Z)
• SafetyNet: Detecting Harmful Outputs in LLMs by Modeling and Monitoring Deceptive Behaviors [2.07180164747172]
  原子力や航空などのリスクの高い産業は、危険なシステム状態を検出するためにリアルタイムモニタリングを使用している。 教師なしアプローチを用いることで、有害なAI出力が発生する前に予測するリアルタイムフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-20T12:49:58Z)
• Turning Logic Against Itself : Probing Model Defenses Through Contrastive Questions [50.40122190627256]
  非倫理的反応を引き起こすために、対照的な推論を利用する新しいジェイルブレイク手法であるPOATEを導入する。 PoATEは意味論的に意図に反し、敵のテンプレートと統合し、有害なアウトプットを驚くほど微妙に操る。 これに対応するために、悪意のある意図と理性を検出するためにクエリを分解して、有害な応答を評価し、拒否するIntent-Aware CoTとReverse Thinking CoTを提案する。
  論文  参考訳（メタデータ） (2025-01-03T15:40:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。