論文の概要: ThinkingGuard: Decoding Implicit Hazards via Step-by-Step Risk Attribution in Multimodal Large Language Models

• arxiv url: http://arxiv.org/abs/2609.36562v1
• Date: Tue, 29 Sep 2026 02:48:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.133343
• Title: ThinkingGuard: Decoding Implicit Hazards via Step-by-Step Risk Attribution in Multimodal Large Language Models
• Title（参考訳）: ThinkingGuard: マルチモーダル大規模言語モデルにおけるステップバイステップのリスク属性によるインシシデントハザードのデコード
• Abstract要約: MLLM(Multimodal Large Language Models)は、安全クリティカルなドメインにデプロイされることが多い。 明示的な脅威とは異なり、個々に良心的なテキストと中立的な視覚的実体が論理的に収束して安全でない出力を誘導すると、マルチモーダルな暗黙のリスクが生じる。 現在の検出方法は、クロスモーダルなリスクアクティベーションを管理する基本的なリスクアクティベーションメカニズムを見落としているため、この問題に対処できない。 本稿では,Step-Supervised Structured Reasoningトレーニングフレームワークを提案し,特別なガードモデルであるThinkingGuardのトレーニングに採用する。
• 参考スコア（独自算出の注目度）: 40.16011931126492
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Multimodal Large Language Models (MLLMs) are increasingly deployed in safety-critical domains, their reliability is threatened by multimodal implicit risks. Unlike explicit threats, these hazards emerge when individually benign text and neutral visual entities logically converge to induce unsafe outputs. Current detection methods fail to address this because they overlook the underlying risk activation mechanisms that govern cross-modal risk activation, leading to single-modality shortcut learning and hallucinated rationalizations. To bridge this gap, we first construct TriggerBench, the first dataset explicitly modeling risk compositionality (5,600 instances). By formally isolating Key Elements and Trigger Elements to build counterfactual contrastive pairs, TriggerBench eliminates risk residues and forces models to perform genuine logical deduction rather than superficial pattern matching, which provides a rigorous foundation for both large-scale training and fine-grained evaluation. Building on this, we propose a Step-Supervised Structured Reasoning training framework and employ it to train ThinkingGuard, a specialized guard model. Inspired by Situation Awareness theory, we decouple implicit risk identification into progressive cognitive stages, and utilize a step-reward Monte Carlo Tree Search algorithm to explore optimal reasoning trajectories, which are then distilled into the model through Dual-Constraint Preference Alignment. Extensive experiments across both standard and implicit safety benchmarks demonstrate that ThinkingGuard achieves strong performance. Project resources are available at https://github.com/FroggyChen/ThinkingGuard.
• Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、安全クリティカルなドメインにますますデプロイされているが、その信頼性はマルチモーダルな暗黙のリスクによって脅かされている。 明示的な脅威とは異なり、これらのハザードは、個々の良心的なテキストと中立的な視覚的実体が論理的に収束して安全でない出力を誘導するときに現れる。 現在の検出方法は、モダリティ間のリスクアクティベーションを管理する基本的なリスクアクティベーションメカニズムを見落とし、単一モダリティのショートカット学習と幻覚的合理化につながるため、この問題に対処できない。 このギャップを埋めるために、私たちは最初にTriggerBenchを構築しました。 キー要素とトリガー要素を正式に分離して反現実的なペアを構築することで、TriggerBenchはリスク残基を排除し、表面的なパターンマッチングよりも真の論理的推論をモデルに強制する。 そこで我々は,Step-Supervised Structured Reasoningトレーニングフレームワークを提案し,それを特別なガードモデルであるThinkingGuardのトレーニングに利用した。 状況認識理論に触発されて、暗黙的なリスク識別を進行認知段階に分離し、ステップリワードのモンテカルロ木探索アルゴリズムを用いて最適な推論軌跡を探索し、そのモデルにDual-Constraint Preference Alignmentを通して蒸留する。 標準ベンチマークと暗黙の安全性ベンチマークの両方にわたる大規模な実験は、ThinkingGuardが強力なパフォーマンスを実現していることを示している。 プロジェクトのリソースはhttps://github.com/FroggyChen/ThinkingGuard.comで入手できる。

関連論文リスト

• HomeGuard: VLM-based Embodied Safeguard for Identifying Contextual Risk in Household Task [42.665798473119516]
  CG-CoT(Context-Guided Chain-of-Thought)を特徴とするアーキテクチャ非依存型セーフガードを提案する。 CG-CoTは、リスクアセスメントをアクティブな知覚に分解し、相互作用対象や関連する空間近傍への注意を順次固定する。 実験により、我々のモデルであるHomeGuardは安全性を大幅に向上し、ベースモデルと比較してリスクマッチ率を30%以上改善することが示された。
  論文  参考訳（メタデータ） (2026-03-15T13:09:43Z)
• TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
  我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。 提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。 グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
  論文  参考訳（メタデータ） (2026-03-02T22:19:13Z)
• Self-Guard: Defending Large Reasoning Models via enhanced self-reflection [54.775612141528164]
  Self-Guardは、大規模推論モデルのための軽量な安全防御フレームワークである。 これは認識とコンプライアンスのギャップを埋め、モデルユーティリティを損なうことなく堅牢な安全性能を達成する。 セルフガードは、さまざまな未知のリスクとさまざまなモデルスケールにまたがる強力な一般化を示す。
  論文  参考訳（メタデータ） (2026-01-31T13:06:11Z)
• YuFeng-XGuard: A Reasoning-Centric, Interpretable, and Flexible Guardrail Model for Large Language Models [36.084240131323824]
  我々はYuFeng-XGuardについて紹介する。YuFeng-XGuardは大規模言語モデル(LLM)のための論理中心ガードレールモデルである。 YuFeng-XGuardは不透明な二項判定を生成する代わりに、明確なリスクカテゴリや信頼性スコアを含む構造化されたリスク予測を生成する。 リスク認識を政策執行から切り離す動的政策機構を導入し、モデルの再訓練なしに安全政策を調整できるようにした。
  論文  参考訳（メタデータ） (2026-01-22T02:23:18Z)
• ProGuard: Towards Proactive Multimodal Safeguard [48.89789547707647]
  ProGuardは視覚言語プロアクティブガードであり、アウト・オブ・ディストリビューション(OOD)の安全性リスクを特定し記述する。 まず,2次安全ラベルとリスクカテゴリの両方を付加した87Kサンプルのモダリティバランスデータセットを構築した。 次に、強化学習を通して視覚言語ベースモデルを純粋に訓練し、効率的かつ簡潔な推論を実現する。
  論文  参考訳（メタデータ） (2025-12-29T16:13:23Z)
• When Models Outthink Their Safety: Mitigating Self-Jailbreak in Large Reasoning Models with Chain-of-Guardrails [74.63933201261595]
  大規模推論モデル(LRM)は複雑な推論タスクにおいて顕著な能力を示す。 LRMは、有害なコンテンツ生成やジェイルブレイク攻撃など、深刻な安全リスクに弱いままである。 安全でない推論ステップを再構成またはバックトラックするトレーニングフレームワークであるChain-of-Guardrail(CoG)を提案する。
  論文  参考訳（メタデータ） (2025-10-24T09:32:25Z)
• Building a Foundational Guardrail for General Agentic Systems via Synthetic Data [76.18834864749606]
  LLMエージェントは、計画段階で介入するマルチステップタスクを計画できる。 既存のガードレールは主にポスト・エグゼクティブ(英語版)を運用しており、スケーリングが困難であり、計画レベルで制御可能な監督を行う余地がほとんどない。 我々は、良性軌道を合成し、カテゴリーラベル付きリスクを困難に注入し、自動報酬モデルを介して出力をフィルタリングする制御可能なエンジンであるAuraGenを紹介する。
  論文  参考訳（メタデータ） (2025-10-10T18:42:32Z)
• Exploring the Secondary Risks of Large Language Models [26.00748215572094]
  良心的衝動時の有害または誤解を招く行動に特徴付けられる二次的リスクを導入する。 敵の攻撃とは異なり、これらのリスクは不完全な一般化から生じ、しばしば標準的な安全メカニズムを回避する。 本研究では,ブラックボックス型多目的検索フレームワークSecLensを提案する。
  論文  参考訳（メタデータ） (2025-06-14T07:31:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。