論文の概要: TRACE: An Evidence-Grounded Benchmark for Safety Evaluation of Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2608.24232v1
• Date: Tue, 25 Aug 2026 08:35:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:34.885717
• Title: TRACE: An Evidence-Grounded Benchmark for Safety Evaluation of Large Reasoning Models
• Title（参考訳）: TRACE:大規模共振モデルの安全性評価のためのエビデンス付きベンチマーク
• Abstract要約: 大規模推論モデル(LRM)は、最終応答が安全に見える場合でも、安全でないコンテンツを含む可能性のある中間的推論トレースを生成する。 TRACEはエビデンスに基づく安全性評価ベンチマークで、プロンプト、推論トレース、最終応答をカバーしています。 各プロンプトに対して、4つのLEMが推論トレースと最終応答を生成し、各コンポーネントの安全性を注釈し、証拠を抽出する。
• 参考スコア（独自算出の注目度）: 14.234836081847364
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Reasoning Models (LRMs) generate intermediate reasoning traces that may contain unsafe content, even when their final responses appear safe. Guardrail models are designed to detect and block unsafe content, yet existing benchmarks for unsafe content detection focus primarily on prompts and final responses, leaving reasoning traces largely unexamined. Moreover, these benchmarks typically provide only binary safety labels, without evidence annotations that justify the judgments. To address these limitations, we introduce TRACE, an evidence-grounded safety evaluation benchmark that covers the entire LRM inference pipeline: prompts, reasoning traces, and final responses. TRACE includes prompts in two languages spanning nine risk categories and ten attack strategies. For each prompt, four LRMs generate reasoning traces and final responses, and we annotate the safety of each component and extract supporting evidence from the corresponding source text. Evaluating 18 guardrail models on TRACE reveals that safety judgment for reasoning traces is substantially more challenging than for prompts or final responses, and that current models struggle to accurately extract supporting evidence. These findings highlight the need for guardrail models that can reliably detect and precisely localize unsafe content across the LRM inference pipeline.
• Abstract（参考訳）: 大規模推論モデル(LRM)は、最終応答が安全に見える場合でも、安全でないコンテンツを含む可能性のある中間的推論トレースを生成する。 Guardrailモデルは、安全でないコンテンツを検出してブロックするように設計されている。 さらに、これらのベンチマークは通常、判断を正当化するエビデンスアノテーションなしでバイナリセーフティラベルのみを提供する。 これらの制限に対処するため、TRACE(エビデンスに基づく安全評価ベンチマーク)を導入し、LEM推論パイプライン全体をカバーする。 TRACEには、9つのリスクカテゴリと10の攻撃戦略にまたがる2つの言語でのプロンプトが含まれている。 各プロンプトに対して、4つのLEMが推論トレースと最終応答を生成し、各コンポーネントの安全性をアノテートし、対応するソーステキストからサポートエビデンスを抽出する。 TRACEで18のガードレールモデルを評価すると、推理の痕跡に対する安全性の判断はプロンプトや最終応答よりもかなり困難であり、現在のモデルは証拠を正確に抽出するのに苦労していることがわかる。 これらの知見は、LRM推論パイプライン全体で安全でないコンテンツを確実に検出し、正確にローカライズできるガードレールモデルの必要性を強調している。

関連論文リスト

• Beyond Content Safety: Real-Time Monitoring for Reasoning Vulnerabilities in Large Language Models [14.927545906619295]
  大規模言語モデルは、複雑なタスクを解決するために明示的なチェーン・オブ・シンク(CoT)推論にますます依存している。 LLMの安全性に関する既存の研究は、コンテンツ安全性に焦点を当てている。 我々は、推論の安全性をセキュリティの側面として認識する:モデルの推論の軌道が論理的に一貫したものであるという要求。
  論文  参考訳（メタデータ） (2026-03-26T13:08:56Z)
• DRAFT: Task Decoupled Latent Reasoning for Agent Safety [59.46137757545185]
  DRAFT(Task Decoupled Latent Reasoning for Agent Safety)を提案する。 エクストラクターは、完全な軌跡をコンパクトな連続的な潜伏ドラフトに蒸留し、リゾナーはドラフトと元の軌跡に共同で参加して安全性を予測する。 DRAFTの精度は63.27%(LoRA)から91.18%に向上した。
  論文  参考訳（メタデータ） (2026-02-11T07:45:14Z)
• GuardTrace-VL: Detecting Unsafe Multimodel Reasoning via Iterative Safety Supervision [47.99880677909197]
  GuardTrace-VLは、共同画像テキスト分析を通じてQTAパイプライン全体を監視する、視覚対応の安全監査ツールである。 本研究では,データ修正プロセスと組み合わさった3段階のプログレッシブトレーニング手法を提案する。 提案したテストセットでは、ドメイン内シナリオとドメイン外シナリオの両方を対象として、安全でない推論検出タスクにおいて、GuardTrace-VLモデルがF1スコア93.1%を達成した。
  論文  参考訳（メタデータ） (2025-11-26T02:49:51Z)
• SafeRBench: A Comprehensive Benchmark for Safety Assessment in Large Reasoning Models [60.8821834954637]
  LRMの安全性をエンドツーエンドに評価する最初のベンチマークであるSafeRBenchを紹介する。 私たちは、リスクカテゴリとレベルを入力設計に組み込んだ先駆者です。 我々は,長い推論トレースを意味的に一貫性のある単位にセグメント化するためのマイクロシンクのチャンキング機構を導入する。
  論文  参考訳（メタデータ） (2025-11-19T06:46:33Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Towards Safe Reasoning in Large Reasoning Models via Corrective Intervention [53.25106308403173]
  既存の手法は、安全推論の独特な重要性を軽視し、信頼性を損なうとともに、悪質なユーザに対して安全でない推論がアクセス可能で、悪質なユーザによって悪用された場合、アプリケーションに潜在的なリスクを生じさせることを示す。 我々は、安全トリガー付きコンプライアンスステップを代入し、強い信号による優先学習のためのペアを構築することで、安全推論を強制するアライメント手法であるIntervened Preference Optimization (IPO)を提案する。
  論文  参考訳（メタデータ） (2025-09-29T07:41:09Z)
• UnsafeChain: Enhancing Reasoning Model Safety via Hard Cases [57.69882799751655]
  さまざまなソースを持つハードプロンプトから構築された安全アライメントデータセットであるUnsafeChainをリリースする。 我々は3つの大きな推論モデル(LRM)を微調整し、それらを最近のSafeChainとSTAR-1と比較する。 UnsafeChainは、1Kサブセットのマッチングやベースラインのパフォーマンスを越えながら、従来よりも一貫してパフォーマンスが向上している。
  論文  参考訳（メタデータ） (2025-07-29T10:08:52Z)
• SafeChain: Safety of Language Models with Long Chain-of-Thought Reasoning Capabilities [21.317245896641136]
  ロングチェーン・オブ・シークレット(CoT)推論は、構造化中間ステップを生成し、推論能力を高める。 大規模言語モデル(LLM)の安全性に関する現在の研究は、通常、LRMの長いCoTスタイルの出力を見越して、短応答に焦点を当てている。
  論文  参考訳（メタデータ） (2025-02-17T16:57:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。