論文の概要: Beyond Content Safety: Real-Time Monitoring for Reasoning Vulnerabilities in Large Language Models

• arxiv url: http://arxiv.org/abs/2603.25412v1
• Date: Thu, 26 Mar 2026 13:08:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 20:52:48.305276
• Title: Beyond Content Safety: Real-Time Monitoring for Reasoning Vulnerabilities in Large Language Models
• Title（参考訳）: コンテンツの安全性を超えて:大規模言語モデルにおける推論脆弱性のリアルタイムモニタリング
• Abstract要約: 大規模言語モデルは、複雑なタスクを解決するために明示的なチェーン・オブ・シンク(CoT)推論にますます依存している。 LLMの安全性に関する既存の研究は、コンテンツ安全性に焦点を当てている。 我々は、推論の安全性をセキュリティの側面として認識する:モデルの推論の軌道が論理的に一貫したものであるという要求。
• 参考スコア（独自算出の注目度）: 14.927545906619295
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) increasingly rely on explicit chain-of-thought (CoT) reasoning to solve complex tasks, yet the safety of the reasoning process itself remains largely unaddressed. Existing work on LLM safety focuses on content safety--detecting harmful, biased, or factually incorrect outputs -- and treats the reasoning chain as an opaque intermediate artifact. We identify reasoning safety as an orthogonal and equally critical security dimension: the requirement that a model's reasoning trajectory be logically consistent, computationally efficient, and resistant to adversarial manipulation. We make three contributions. First, we formally define reasoning safety and introduce a nine-category taxonomy of unsafe reasoning behaviors, covering input parsing errors, reasoning execution errors, and process management errors. Second, we conduct a large-scale prevalence study annotating 4111 reasoning chains from both natural reasoning benchmarks and four adversarial attack methods (reasoning hijacking and denial-of-service), confirming that all nine error types occur in practice and that each attack induces a mechanistically interpretable signature. Third, we propose a Reasoning Safety Monitor: an external LLM-based component that runs in parallel with the target model, inspects each reasoning step in real time via a taxonomy-embedded prompt, and dispatches an interrupt signal upon detecting unsafe behavior. Evaluation on a 450-chain static benchmark shows that our monitor achieves up to 84.88\% step-level localization accuracy and 85.37\% error-type classification accuracy, outperforming hallucination detectors and process reward model baselines by substantial margins. These results demonstrate that reasoning-level monitoring is both necessary and practically achievable, and establish reasoning safety as a foundational concern for the secure deployment of large reasoning models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、複雑なタスクを解決するための明示的なチェーン・オブ・シンク(CoT)推論にますます依存している。 LLMの安全性に関する既存の研究は、有害、偏り、または事実的に誤ったアウトプットを検出するコンテンツ安全性に焦点を当てており、推論チェーンを不透明な中間成果物として扱う。 我々は、推論の安全性を直交的かつ等しく重要なセキュリティの次元として識別する:モデルの推論の軌道は論理的に一貫性があり、計算的に効率的であり、敵の操作に耐性があるという要求である。 私たちは3つの貢献をします。 まず、推論安全性を正式に定義し、入力解析エラー、実行エラーの推論、プロセス管理エラーを網羅した、安全でない推論行動の9つのカテゴリの分類を導入します。 第2に、自然推論ベンチマークと4つの逆攻撃方法(ハイジャックとサービス拒否)から4111の推論チェーンを注釈付けした大規模精度調査を行い、9種類のエラーが実際に発生し、各攻撃が機械的に解釈可能なシグネチャを誘導することを確認した。 第3に、ターゲットモデルと並行して動作する外部LCMベースのコンポーネントであるReasoning Safety Monitorを提案し、分類学的埋め込みプロンプトを介して各推論ステップをリアルタイムで検査し、安全でない振る舞いを検出する割り込み信号を送信する。 450チェーンの静的ベンチマークによる評価の結果,最大84.88 %のステップレベルの局所化精度と85.37 %の誤差型分類精度,幻覚検出器の性能向上,およびプロセス報酬モデルベースラインをかなりのマージンで達成した。 これらの結果から, 推論レベルのモニタリングは必要かつ現実的に達成可能であることが示され, 大規模推論モデルの安全な展開の基盤となる推論安全性が確立された。

関連論文リスト

• From Detection to Refusal: Safer LLMs via Circuit-Guided Weight Scaling [23.223636694641502]
  大規模言語モデル(LLM)は、敵対的プロンプトの下で安全でないコンテンツを生成するのに脆弱である。 機械的解釈可能性の観点から安全性を研究し、多段*安全回路を特徴付ける* 我々は、上流のハーモフル検出ヘッドの抑制が下流の拒絶動作を妨害し、安全ニューロンがこの相互作用を媒介することを示した。
  論文  参考訳（メタデータ） (2026-08-30T08:01:42Z)
• Does Reasoning Preserve Alignment? On the Trustworthiness of Large Reasoning Models [55.788110316999166]
  教師付き微調整, RL を用いた後訓練, および命令調整ベースラインに対する蒸留による推論モデルの比較を行った。 推論モデルはしばしば推論ベンチマークを改善するが、アライメント回帰を示す。 これらの回帰は、KL発散によって測定された命令調整ベースラインからの挙動ドリフトと一致している。
  論文  参考訳（メタデータ） (2026-06-09T16:14:27Z)
• Chain of Risk: Safety Failures in Large Reasoning Models and Mitigation via Adaptive Multi-Principle Steering [18.59581013500335]
  大きな推論モデルは、透明性、検証、意図的な問題解決のためのチェーンオブ思考のような推論を公開する。 有害またはポリシー違反のコンテンツは、最終回答が安全に見える場合でも、トレースを推論して現れる可能性がある。 両段階を統一された20基の安全ルーリックの下で評価することにより, 最終回答の安全性が完全な推論・回答軌道の十分なプロキシであるかどうかを検証した。
  論文  参考訳（メタデータ） (2026-05-07T05:12:56Z)
• OOD-MMSafe: Advancing MLLM Safety from Harmful Intent to Hidden Consequences [64.01706941950489]
  現在の安全パラダイムは、主に悪意のある意図や状況違反をターゲットとしている。 我々は,自律型および実施型エージェントのロバスト展開に不可欠なパラダイムである,結果駆動型安全に向けた安全フロンティアのシフトを提案する。 本稿では,トークンレベルの自己蒸留報酬の動的参照として,モデル固有の推論を統合したCASPO(Consequence-Aware Safety Policy Optimization)フレームワークを開発する。
  論文  参考訳（メタデータ） (2026-03-10T14:16:43Z)
• TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
  我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。 提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。 グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
  論文  参考訳（メタデータ） (2026-03-02T22:19:13Z)
• Mitigating Safety Tax via Distribution-Grounded Refinement in Large Reasoning Models [63.368505631152594]
  安全調整は、大きな推論モデル(LRM)の一般的な推論能力を乱す安全税を発生させる。 LRMの安全アライメントに使われる既存のデータセットは、通常、外部のLRMまたは人間のラベルから安全推論の痕跡と回答を蒸留することによって構築される。 本稿では,DGRと呼ばれる安全アライメントデータセット構築手法を提案する。DGRは,既存のアウト・オブ・ディストリビューション型安全推論データセットを改良し,目標のLLM内部分布に適合させる。
  論文  参考訳（メタデータ） (2026-02-02T14:18:48Z)
• SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
  LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。 私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。 我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
  論文  参考訳（メタデータ） (2025-11-19T06:46:33Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• LatentGuard: Controllable Latent Steering for Robust Refusal of Attacks and Reliable Response Generation [4.29885665563186]
  LATENTGUARDは、行動アライメントと教師付き潜在空間制御を組み合わせて、解釈可能で正確な安全操縦を行うフレームワークである。 本研究は, 実用性を損なうことなく, 安全性制御性と応答解釈性の両方を向上することを示す。
  論文  参考訳（メタデータ） (2025-09-24T07:31:54Z)
• ARMOR: Aligning Secure and Safe Large Language Models via Meticulous Reasoning [64.32925552574115]
  ARMORは、jailbreak戦略を分析し、コアインテントを抽出する、大規模な言語モデルである。 ARMORは最先端の安全性能を達成し、平均有害率は0.002であり、高度な最適化ベースのジェイルブレイクに対する攻撃成功率は0.06である。
  論文  参考訳（メタデータ） (2025-07-14T09:05:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。