論文の概要: Detecting Chain-of-Thought Hijacking in Backdoored Multimodal Large Reasoning Models

• arxiv url: http://arxiv.org/abs/2610.16598v1
• Date: Mon, 12 Oct 2026 11:18:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 22:20:56.383271
• Title: Detecting Chain-of-Thought Hijacking in Backdoored Multimodal Large Reasoning Models
• Title（参考訳）: バックドア型マルチモーダル大共振モデルにおけるチェーン・オブ・サートハイジャックの検出
• Abstract要約: CoT推論(Chain-of-Thought reasoning)は、複雑な視覚的問題を解決するマルチモーダル大推論モデル(MLLM)を実現する。 敵は、微調整により毒を盛ったバックドアを移植し、視覚的トリガーがハイジャックのターンを誘導し、そうでなければ忠実な推論チェーンを攻撃長答にリダイレクトする。 MLLM向けに設計された既存のマルチモーダルバックドアディフェンスは、それを検出するのに直接苦労している。 InertiaGuardは、トレーニング不要なテスト時間検出装置で、VBIが少量のクリーントレースのしきい値以下になると、トレースにフラグを付ける。
• 参考スコア（独自算出の注目度）: 22.92263176676239
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-thought (CoT) reasoning enables multimodal large reasoning models (MLRMs) to solve complex visual problems, but also exposes them to CoT hijacking: an adversary implants a backdoor through poisoned fine-tuning so that a visual trigger induces a hijacking turn, redirecting an otherwise faithful reasoning chain to an attacker-chosen answer. However, since the hijack acts within the reasoning chain, existing multimodal backdoor defenses designed for MLLMs that answer directly struggle to detect it. Moreover, inspecting the chain itself does not reliably expose the hijack, since the hijacking turn can resemble honest self-correction in form. In this paper, we find that honest reasoning tends to revise its answer at high-entropy "aha moments", whereas a hijack can overturn a confident answer through a near-deterministic turn. To quantify this contrast, we formalize this phenomenon as belief inertia, the cumulative next-token entropy of a reasoning span minus the answer-belief revision it induces, with markedly lower values for hijacked spans than for honest reasoning spans. Since hijacking tokens are also image-dependent, we further improve detection by restricting the measure to image-dependent spans, yielding visual belief inertia (VBI). Building on this, we propose InertiaGuard, a training-free, test-time detector that flags a trace when its VBI falls below a threshold calibrated on a small set of clean traces. Across various attacks and benchmarks, InertiaGuard achieves higher detection performance than existing baselines, while generalizing to different model architectures and trigger types.
• Abstract（参考訳）: CoT推論(Chain-of- Thought reasoning)は、複雑な視覚的問題を解決するマルチモーダルな大推論モデル(MLRM)を可能にするが、CoTハイジャック(英語版)にそれらを公開する: 敵は毒を盛った微調整を通してバックドアをインプラントし、視覚的トリガーがハイジャックのターンを誘導し、それ以外は忠実な推論チェーンを攻撃チョン応答にリダイレクトする。 しかし、ハイジャックは推論チェーン内で動作するため、MLLM向けに設計された既存のマルチモーダルバックドアディフェンスは、それを検出するのに直接苦労している。 さらに、チェーン自体の検査は、ハイジャックのターンが正直な自己補正に形式的に似ているため、確実にハイジャックを露出しない。 本稿では,高エントロピーの「アハモーメント」において,誠実な推論が解答を再考する傾向にあるのに対し,ハイジャックはほぼ決定論的回転によって自信ある解答を覆すことができることを示す。 このコントラストを定量化するために、我々はこの現象を信念慣性として定式化し、推論の累積的次トーケンエントロピーは、それが引き起こす答えの信頼性を損なうものであり、ハイジャックされたスパンの値は正直な推論のスパンよりも著しく低い。 ハイジャックトークンも画像に依存しているため、画像依存スパン(VBI)に制限することで、検出をさらに改善し、視覚的信念慣性(VBI)をもたらす。 InertiaGuardは、トレーニング不要なテスト時間検出装置で、VBIが少量のクリーントレースで調整されたしきい値以下に落ちたときに、トレースをフラグする。 さまざまな攻撃やベンチマークを通じて、InertiaGuardは既存のベースラインよりも高い検出性能を実現し、異なるモデルアーキテクチャやトリガタイプに一般化している。

関連論文リスト

• Evading Chain-of-Thought Monitoring Through Model Poisoning [1.6951239729573633]
  チェーンオブ思想(CoT)監視は、AI安全スタックの重要なコンポーネントとしてますます重要になっている。 本研究は, モデル毒のレンズによるCoTモニタリングの限界について検討した。 バックドアを推論モデルに埋め込むことで、攻撃的・攻撃的動作を誘発し、CoTトレースは完全に良さそうに見えます。
  論文  参考訳（メタデータ） (2026-08-03T19:32:13Z)
• One Turn Too Late: Response-Aware Defense Against Hidden Malicious Intent in Multi-Turn Dialogue [55.98008208209856]
  マルチターン対話における隠れた悪意のある意図は、大規模言語モデル(LLM)に対する脅威を増大させる 近年の研究では、安全アライメントや外部ガードレールの進歩にもかかわらず、高度なガードレールを備えた近代的な商用モデルでさえも、このような攻撃に対して脆弱であることが示されている。 そこで本研究では,この課題に対処するため,最も早いタイミングで候補応答を届けることによって,蓄積された相互作用が有害な作用を可能にするのに十分であることを示す。
  論文  参考訳（メタデータ） (2026-05-07T03:35:31Z)
• TraceGuard: Process-Guided Firewall against Reasoning Backdoors in Large Language Models [19.148124494194317]
  我々は,小規模モデルを堅牢な推論ファイアウォールに変換するプロセス誘導型セキュリティフレームワークであるTraceGuardを提案する。 提案手法は,推理トレースを信頼できないペイロードとして扱い,詳細な防衛戦略を確立する。 グレーボックス設定における適応的敵に対する堅牢性を実証し、TraceGuardを実用的で低レイテンシなセキュリティプリミティブとして確立する。
  論文  参考訳（メタデータ） (2026-03-02T22:19:13Z)
• One Token Embedding Is Enough to Deadlock Your Large Reasoning Model [91.48868589442837]
  我々は, LRMの生成制御フローをハイジャックする資源枯渇手法であるDeadlock Attackを提案する。 提案手法は4つの先進LEMにおいて100%の攻撃成功率を達成する。
  論文  参考訳（メタデータ） (2025-10-12T07:42:57Z)
• BadReasoner: Planting Tunable Overthinking Backdoors into Large Reasoning Models for Fun or Profit [12.189197763012409]
  大規模言語モデル(LRM)は人工知能の重要な進歩として現れている。 本稿では,LRMに対する未探索攻撃ベクトルを同定し,これを「過度なチューナブル」と呼ぶ。 そこで本研究では,単純なオン/オフ攻撃を超越して,攻撃者がモデルの推論冗長性の範囲を正確に制御できるような,新たな調整可能なバックドアを提案する。
  論文  参考訳（メタデータ） (2025-07-24T11:24:35Z)
• Trigger without Trace: Towards Stealthy Backdoor Attack on Text-to-Image Diffusion Models [70.03122709795122]
  テキストと画像の拡散モデルをターゲットにしたバックドア攻撃が急速に進んでいる。 現在のバックドアサンプルは良性サンプルと比較して2つの重要な異常を示すことが多い。 我々はこれらの成分を明示的に緩和することでTwT(Trigger without Trace)を提案する。
  論文  参考訳（メタデータ） (2025-03-22T10:41:46Z)
• Mask and Restore: Blind Backdoor Defense at Test Time with Masked Autoencoder [50.1394620328318]
  既存のバックドア防御手法では、いくつかのバリデーションデータとモデルパラメータにアクセスする必要があることが多い。 Masked AutoEncoder (BDMAE) を用いたブラインドバックドアディフェンスの提案 BDMAEは、画像の構造的類似性と、テスト画像とMAE復元の間のラベルの整合性を用いて、可能な局所的なトリガを検出する。
  論文  参考訳（メタデータ） (2023-03-27T19:23:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。